23 juillet 2024
Les chercheurs en vecteurs ont présenté plus de 50 communications lors de la Conférence internationale sur l’apprentissage automatique (ICML) 2024. 35 articles coécrits par des membres du corps professoral de Vector ont été acceptés à la conférence, avec 15 autres provenant d’affiliés de Vector Faculty Affiliates. La conférence de cette année s’est tenue à Vienne, en Autriche, du 21 au 27 juillet.
Parmi les 50 articles, quatre ont reçu des prix du meilleur article :
Voici des résumés simplifiés des articles acceptés et des séances d’affiches par les membres du corps professoral de Vector.
Descriptions d’articles rédigées par IA et éditées par des coauteurs d’articles.
Ignat Georgiev, Krishnan Srinivasan, Jie Xu, Eric Heiden, Animesh Garg
Session d’affiches 4
Cet article présente une nouvelle approche de l’apprentissage par renforcement appelée Adaptive Horizon Actor-Critic (AHAC). Les chercheurs visaient à améliorer la façon dont les robots apprennent des tâches de mouvement complexes, comme marcher ou courir.
Les méthodes traditionnelles ont souvent du mal à accomplir ces tâches en raison de la complexité des interactions physiques, surtout lorsque des objets entrent en contact. L’AHAC répond à cela en adaptant la distance qu’il regarde vers le futur lors de ses décisions, en mettant l’accent sur des mouvements plus fluides et en évitant les collisions problématiques. L’équipe a testé AHAC sur diverses simulations robotiques, incluant de simples robots sautant et des figures humanoïdes complexes. Ils ont constaté que l’AHAC surpassait les méthodes existantes, obtenant 40% de meilleurs résultats dans différentes tâches. Notamment, l’AHAC était particulièrement efficace pour des robots plus complexes comportant de nombreuses pièces mobiles. Une innovation clé est que l’AHAC peut ajuster son horizon de planification pendant le processus d’apprentissage, ce qui lui permet d’éviter les difficultés liées aux prédictions à long terme dans des interactions physiques complexes.
Cette recherche représente une avancée majeure dans l’enseignement des robots pour accomplir des tâches physiques complexes de façon plus efficace et efficiente. Cela pourrait mener à des robots plus capables et adaptables dans diverses applications réelles.
Amirmojtaba Sabour, Sanja Fidler, Karsten Kreis
Session d’affiches 1
Cet article présente « Align Your Steps » (AYS), une nouvelle méthode pour améliorer le processus d’échantillonnage dans les modèles de diffusion, qui sont un type d’IA utilisé pour générer des images et des vidéos. Les modèles de diffusion fonctionnent en éliminant progressivement le bruit des données aléatoires, mais ce processus peut être lent et produire des résultats de moindre qualité s’il est fait rapidement. Les chercheurs ont développé un cadre mathématique pour optimiser le « calendrier d’échantillonnage » – les étapes que le modèle suit lors de la génération d’images. Ils ont constaté qu’en ajustant soigneusement ces étapes, ils pouvaient améliorer significativement la qualité du contenu généré, surtout en utilisant moins d’étapes. L’équipe a testé sa méthode sur diverses tâches, notamment la génération de formes 2D, d’images et de vidéos. Dans presque tous les cas, AYS a surpassé les méthodes existantes, produisant des résultats de meilleure qualité avec les mêmes ressources de calcul. Par exemple, dans les tâches de génération d’images, AYS obtenait jusqu’à 40% de meilleurs résultats que les méthodes précédentes.
Cette recherche est importante car elle rend les modèles de diffusion plus efficaces et performants, menant potentiellement à un contenu généré par IA plus rapide et de meilleure qualité dans diverses applications, de la création artistique à la synthèse vidéo.
Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon
Session d’affiches 6
Cet article étudie l’asymétrie dans l’adaptation à bas rang (LoRA), une méthode populaire pour affiner les grands modèles de langage. LoRA adapte les modèles en ajoutant un produit de deux matrices, A et B, aux poids originaux du modèle. Les chercheurs ont découvert que ces matrices jouent des rôles différents : A extrait des caractéristiques de l’entrée, tandis que B utilise ces caractéristiques pour créer la sortie désirée.
L’étude montre, tant théoriquement qu’empiriquement, que l’ajustement fin seulement de la matrice B est plus efficace que l’ajustement fin seulement de la matrice A. Étonnamment, utiliser une matrice A aléatoire et non entraînée fonctionne presque aussi bien qu’une matrice finement réglée. Cette constatation suggère que l’optimisation de B seule peut obtenir des performances similaires à une LoRA complète tout en utilisant moins de paramètres.
Les chercheurs ont testé leur approche sur diverses tâches et modèles, incluant RoBERTa, BART, LLaMA-2 et Vision Transformers. Dans la plupart des cas, leur méthode a surpassé la LoRA standard et d’autres références, surtout en utilisant moins d’étapes d’entraînement.
Ce travail est important car il offre un moyen plus efficace d’ajuster les grands modèles de langage, réduisant potentiellement les coûts de calcul et améliorant la généralisation. Il offre aussi des informations sur la façon dont ces modèles s’adaptent aux nouvelles tâches.
Karan Chadha, Matthew Jagielski, Nicolas Papernot, Christopher A. Choquette Choo, Milad Nasresfahani
Session d’affiches 3
Cet article présente le premier cadre pour auditer des algorithmes de prédiction privée en apprentissage automatique. Bien que la confidentialité différentielle offre des limites supérieures théoriques à la fuite de la vie privée, ce travail établit des limites inférieures pratiques grâce à un audit empirique. Les chercheurs se concentrent sur quatre algorithmes : PATE, CaPC, PromptPATE et Private-kNN.
Le cadre utilise des adversaires avec différentes capacités d’empoisonnement et de requête pour évaluer les fuites de confidentialité. De nouvelles techniques sont développées pour évaluer les fuites en termes de Renyi DP.
Les principales conclusions incluent :
Ce travail est important car il fournit un cadre d’audit complet pour les algorithmes de prédiction privée, complétant les garanties théoriques par des limites inférieures pratiques. Il aide les chercheurs et les praticiens à mieux comprendre et à améliorer les garanties de confidentialité réelles des modèles d’apprentissage automatique lors de l’inférence.
Wu Lin, Felix Dangel, Runa Eschenhagen, Juhan Bae, Richard E Turner, Alireza Makhzani
Session d’affiches 6
Cet article examine si l’opération de racine carrée peut être retirée des méthodes de gradient adaptatif en apprentissage automatique, particulièrement pour l’entraînement de grands modèles de langage. Les méthodes adaptatives comme Adam sont populaires pour entraîner les transformateurs, mais elles sont souvent moins performantes que la descente du gradient stochastique (SGD) sur les réseaux neuronaux convolutionnels (CNN).
Les chercheurs proposent un cadre théorique appelé « Align Your Steps » (AYS) pour optimiser les calendriers d’échantillonnage dans les modèles de diffusion sans utiliser de racines carrées. Ils analysent la méthode sous une perspective d’optimisation de second ordre et démontrent son efficacité à travers divers modèles et ensembles de données.
Les principales conclusions incluent :
L’étude offre de nouvelles perspectives sur les méthodes d’optimisation adaptative, remettant en question la nécessité de l’opération à racine carrée. Cela suggère que l’adaptivité, plutôt que les simples mises à jour basées sur les signes, joue un rôle crucial dans le succès de ces méthodes. Ce travail ouvre de nouvelles voies pour développer des algorithmes d’optimisation plus efficaces et efficaces pour l’apprentissage profond.
Ziyi Liu, Daniel Roy, Idan Attias
Session d’affiches 1
Cet article explore le défi de s’adapter aux structures causales dans les problèmes de bandits multi-armes, un type de scénario décisionnel. Les chercheurs étudient comment concevoir des algorithmes capables de bien fonctionner, tant lorsqu’il y a des informations causales utiles que lorsqu’il n’y en a pas.
L’étude introduit le concept de « frontière du regret de Pareto », qui représente les meilleurs compromis possibles entre la performance dans différents types d’environnements. Ils prouvent qu’il est impossible d’atteindre une performance optimale dans tous les scénarios simultanément, mais ils développent un algorithme qui s’approche des meilleurs compromis possibles.
Les chercheurs montrent aussi comment réduire les problèmes causaux de bandits à des problèmes linéaires de bandits, permettant des solutions plus efficaces dans certains cas. Ils fournissent les limites de regret dépendantes de la première instance pour les bandits causals, ce qui peut mener à de meilleures performances dans des scénarios spécifiques.
Enfin, l’article examine l’hypothèse courante selon laquelle les algorithmes ont une connaissance parfaite de certaines distributions de probabilité. Ils montrent que cette hypothèse est nécessaire pour obtenir une meilleure performance, mais qu’un certain niveau de connaissance imparfaite peut tout de même être utile.
Cette recherche fait progresser notre compréhension de l’inférence causale dans les problèmes de prise de décision et offre de nouveaux outils pour concevoir des algorithmes adaptatifs.
Kirill Neklyudov, Rob Brekelmans, Alexander Tong, Lazar Atanackovic, qiang liu, Alireza Makhzani
Session d’affiches 4
Cet article présente un cadre computationnel unifié pour résoudre les « flux lagrangiens de Wasserstein », qui sont des problèmes d’optimisation sur l’espace des distributions de probabilité minimisant une action lagrangienne donnée ou un « coût ». Par le choix du lagrangien, les écoulements lagrangiens de Wasserstein englobent des problèmes de transport optimal et leurs variantes, incluant les ponts de Schrödinger, le transport physiquement contraint et le transport optimal déséquilibré.
Les auteurs se concentrent sur des applications en biologie unicellulaire, qui cherchent à comprendre l’évolution des populations cellulaires. Le choix du lagrangien peut être utilisé pour intégrer des connaissances préalables sur la dynamique réelle, de sorte que la solution optimale de minimisation des coûts corresponde mieux aux données données. Après l’apprentissage, un modèle de réseau neuronal de la dynamique peut être utilisé pour simuler les trajectoires du processus sous-jacent, ce qui peut correspondre à la prédiction des effets du traitement ou à la compréhension de la différenciation cellulaire ou des processus développementaux
Sriram Ganapathi Subramanian, Guiliang Liu, Mohammed Elmahgiubi, Kasra Rezaee, Pascal Poupart
Session d’affiches 4
Cet article présente l’apprentissage par renforcement inverse contraint conscient de la confiance (CA-ICRL), une approche novatrice dans le domaine de l’apprentissage par renforcement. La méthode répond à un problème crucial dans les applications réelles : apprendre les contraintes à partir de démonstrations d’experts lorsque ces contraintes sont trop nombreuses ou complexes pour être entièrement spécifiées.
CA-ICRL améliore les méthodes existantes d’apprentissage par renforcement contraint inverse en incorporant une mesure de confiance dans les contraintes apprises. Cela permet aux utilisateurs de spécifier un niveau de confiance désiré, et l’algorithme apprend des contraintes qui sont au moins aussi restrictives que les vraies contraintes sous-jacentes avec ce niveau de confiance.
Une innovation clé du CA-ICRL est sa capacité à déterminer si les démonstrations d’experts disponibles suffisent à apprendre les contraintes avec les niveaux de confiance et de performance désirés. Cette fonctionnalité peut guider les utilisateurs dans la collecte de données d’experts supplémentaires si nécessaire.
Les auteurs démontrent l’efficacité du CA-ICRL à travers des expériences dans divers environnements simulés et un scénario réaliste de conduite autonome. La méthode surpasse constamment les approches existantes en termes de taux de violation des contraintes et de récompenses obtenues.
Dans l’ensemble, le CA-ICRL offre une approche plus flexible et informative des contraintes d’apprentissage issues des démonstrations, améliorant potentiellement la sécurité et l’efficacité de l’apprentissage par renforcement dans des applications concrètes complexes.
Ruicheng Xian, Qiaobo Li, Gautam Kamath, Han Zhao
Session d’affiches 5
Cet article présente un algorithme de post-traitement différentiellement privé pour apprendre des régresseurs équitables qui satisfont à la parité statistique. La méthode répond à la fois aux préoccupations de confidentialité dans le traitement des données sensibles et aux questions d’équité dans les modèles d’apprentissage automatique.
L’algorithme se compose de trois étapes principales :
Les auteurs fournissent une analyse théorique de la complexité de l’échantillon et des garanties d’équité de l’algorithme. Ils révèlent un compromis entre le biais statistique et la variance induit par le choix du nombre de bins dans l’histogramme. Utiliser moins de bacs améliore toujours l’équité au prix d’une erreur plus élevée.
La méthode peut être appliquée au post-traitement de n’importe quel régresseur donné afin d’améliorer l’équité en remappant ses sorties. Des expériences sur les ensembles de données des facultés de droit et des communautés & criminalité démontrent l’efficacité de l’algorithme pour équilibrer la confidentialité, l’équité et la précision.
Ce travail contribue au domaine croissant de l’apprentissage automatique équitable qui préserver la vie privée, offrant une approche flexible qui permet aux praticiens d’ajuster le compromis entre la vie privée, l’équité et la précision selon leurs besoins spécifiques.
Yiwei Lu, Matthew Yang, Zuoqiu Liu, Gautam Kamath, Yaoliang Yu
Session d’affiches 5
Cet article introduit le concept de violation du droit d’auteur « déguisée » dans les modèles de diffusion latente (LDM), remettant en question la compréhension actuelle de ce qui constitue l’accès au matériel protégé par le droit d’auteur. Les auteurs démontrent qu’il est possible de créer des « déguisements » – des images visuellement différentes du contenu protégé par le droit d’auteur mais qui partagent des informations latentes similaires lorsqu’elles sont traitées par des LDM.
L’article présente un algorithme pour générer ces déguisements et montre comment ils peuvent être utilisés pour entraîner des modèles basés sur LDM (comme l’inversion textuelle et DreamBooth) afin de reproduire du contenu protégé par le droit d’auteur sans inclure directement les images originales dans l’ensemble d’entraînement. Cela soulève des inquiétudes quant aux méthodes actuelles de détection des violations du droit d’auteur dans les données d’entraînement de l’IA.
Pour y remédier, les auteurs proposent une notion plus large de « reconnaissance » et introduisent des méthodes de détection, notamment la recherche par similarité de caractéristiques et l’examen encodeur-décodeur. Ces outils pourraient compléter les pratiques d’audit existantes pour les données d’entraînement de l’IA.
L’étude a des implications importantes pour le droit d’auteur, la gouvernance de l’IA et le débat en cours sur l’utilisation de matériel protégé par le droit d’auteur dans l’entraînement de modèles d’IA générative. Il appelle à une compréhension plus nuancée de « l’accès » dans le contexte de la violation du droit d’auteur pour les systèmes d’IA.
Daniel D. Johnson, Daniel Tarlow, David Duvenaud, Chris Maddison
Session d’affiches 4
Cet article présente une approche novatrice pour quantifier l’incertitude dans les modèles génératifs, abordant le défi de distinguer entre l’incertitude aléatoire (aléa inhérente) et l’incertitude épistémique (manque de connaissances) dans les prédictions probabilistes. Les auteurs proposent d’entraîner des modèles pour prédire des paires de réponses indépendantes tirées de la vraie distribution, permettant au modèle de « tricher » en observant une réponse tout en prédisant l’autre.
L’idée clé est que le degré de « tricherie » révèle l’incertitude épistémique du modèle. L’article démontre que cette stratégie incite les modèles à devenir calibrés du second ordre, permettant une estimation précise des écarts entre les prédictions du modèle et la distribution réelle. Les auteurs introduisent une métrique de « confiance épistémique corrigée par triche » qui peut être utilisée pour filtrer les échantillons potentiellement hallucinés.
Des garanties théoriques sont fournies pour détecter les hallucinations statistiques, et l’approche est démontrée sur des tâches synthétiques, incluant la description de chiffres de π et une tâche d’apprentissage par renforcement partiellement observable. La méthode surpasse les techniques de filtrage existantes dans ces scénarios.
Ce travail contribue au domaine de la quantification de l’incertitude en apprentissage automatique, offrant une nouvelle perspective sur la manière d’identifier ce qu’un modèle ne sait pas, avec des applications potentielles pour améliorer la sécurité et la fiabilité des systèmes d’IA générative.
Hongyi Peng, Han Yu, Xiaoli Tang, Xiaoxiao Li
Session d’affiches 6
Cet article présente FedCal, une approche novatrice pour aborder l’étalonnage des modèles dans les contextes d’apprentissage fédéré (FL). Les auteurs identifient que l’hétérogénéité des données en FL pose des défis importants pour l’étalonnage des modèles, affectant à la fois la performance locale et mondiale. FedCal vise à atteindre à la fois l’étalonnage local et mondial sans dépendre d’un ensemble de données de validation global, ce qui est souvent impraticable dans les scénarios FL.
La méthode proposée utilise des scaleurs spécifiques au client pour l’étalonnage local, qui sont ensuite agrégés pour former un scaleur global. Cette approche corrige efficacement le désalignement des sorties sans sacrifier la précision de la prédiction. Les auteurs fournissent une analyse théorique montrant que, malgré la variance contraignante dans la distribution des labels des clients, l’erreur globale d’étalonnage demeure asymptotiquement la borne inférieure.
Des expériences approfondies réparties sur quatre ensembles de données de référence démontrent que FedCal surpasse significativement les références existantes, réduisant l’erreur d’étalonnage mondiale en moyenne de 47,66%. La méthode s’avère robuste face à l’augmentation de l’hétérogénéité des données et peut être intégrée aux cadres FL existants.
FedCal introduit également le concept de « reconnaissance » pour traiter l’accès indirect au matériel protégé par le droit d’auteur en Floride, élargissant ainsi la compréhension de l’utilisation des données dans les environnements d’apprentissage collaboratif.
Theresa Stadler, Bogdan Kulynych, Michael Gastpar, Nicolas Papernot, Carmela Troncoso
Session d’affiches 4
Cet article examine les limites fondamentales de l’apprentissage à privilège minimum en apprentissage automatique, particulièrement dans les contextes où les représentations des données sont partagées au lieu de données brutes afin d’éviter une mauvaise utilisation. Les auteurs fournissent la première définition formelle du principe du moindre privilège pour l’apprentissage automatique, le présentant comme une limite sur le gain d’inférence à propos des données au-delà de ce qui est déjà révélé par la fuite fondamentale d’une tâche.
La recherche prouve un compromis crucial : sous des hypothèses réalistes sur la distribution des données, toute représentation ayant une utilité pour une tâche donnée doit inévitablement divulguer des informations au-delà de ce qui est requis pour cette tâche. Cette découverte remet en question l’idée qu’il est possible de créer des représentations utiles pour une tâche spécifique tout en ne révélant rien d’autre sur les données sous-jacentes.
Grâce à une analyse théorique et à des expériences approfondies sur divers ensembles de données, architectures de modèles et techniques d’apprentissage, les auteurs démontrent que ce compromis est fondamental et ne peut être contourné par des méthodes existantes comme la censure des attributs ou la confidentialité différentielle.
Les conclusions de l’article ont des implications importantes pour l’apprentissage automatique préservant la vie privée, suggérant que les approches actuelles visant à limiter l’accès aux données par des représentations de fonctionnalités n’offrent peut-être pas le niveau de protection de la vie privée souvent supposé. Elle appelle à une réévaluation des attentes en matière de vie privée dans les scénarios d’apprentissage collaboratif et de partitionnement de modèles.
Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
Vidéo orale 1x
Genie est un modèle novateur d’IA générative qui crée des environnements virtuels interactifs et contrôlables par l’action à partir de vidéos Internet non identifiées. Entraîné avec plus de 200 000 heures de vidéos de jeu accessibles au public, ce modèle à 11 paramètres peut générer des mondes diversifiés et jouables à partir de textes, d’images synthétiques, de photographies et même de croquis dessinés à la main.
Le modèle comprend trois composantes clés : un tokeniseur vidéo spatio-temporel, un modèle dynamique autorégressif et un modèle d’action latente. Cette architecture permet un contrôle image par image sans nécessiter d’étiquettes d’action de base lors de l’entraînement. Genie démontre des avantages en évolutivité avec l’augmentation de la taille du modèle et de la taille du lot, suggérant un potentiel d’améliorations supplémentaires avec des ressources computationnelles supplémentaires.
Les capacités de Genie vont au-delà des environnements de jeu. Lorsqu’il est entraîné sur des ensembles de données robotiques, il apprend avec succès des actions distinctes et cohérentes, suggérant des applications potentielles en simulation et contrôle robotiques.
Il est important de noter que Génie montre du potentiel pour former des agents généralistes. Ses actions latentes apprises peuvent être utilisées pour déduire des politiques à partir de vidéos invisibles sans action, ce qui pourrait débloquer d’énormes quantités de données pour l’entraînement futur de l’IA.
Bien que des limites existent, telles que des hallucinations occasionnelles et une mémoire limitée, Genie représente une étape importante vers la création d’environnements virtuels divers et interactifs et la formation d’agents IA plus performants.
Idan Attias, Gintare Karolina Dziugaite, Mahdi Haghifam, Roi Livni, Daniel Roy
Optimisation orale 5x 2
Cet article explore la relation entre la mémorisation et l’apprentissage dans l’optimisation convexe stochastique (SCO). Les auteurs quantifient la mémorisation à l’aide de l’information mutuelle conditionnelle (CMI), qui mesure l’information qu’un algorithme d’apprentissage révèle sur ses données d’entraînement. Ils établissent un compromis fondamental entre la précision d’un algorithme d’apprentissage et son CMI.
Pour la SCO bornée par Lipschitz, les auteurs démontrent que chaque apprenant de ε a un CMI borné par Ω(1/ε²). Pour une SCO fortement convexe, cette borne est Ω(1/ε). Ces résultats sont confirmés malgré la complexité optimale de l’échantillon, ce qui indique qu’un apprentissage précis nécessite une mémorisation substantielle.
L’article démontre la nécessité de mémorisation en concevant un adversaire capable d’identifier une fraction significative des échantillons d’entraînement dans des problèmes spécifiques de l’OCS. Cette découverte remet en question l’intuition selon laquelle les algorithmes d’apprentissage idéaux devraient éviter de mémoriser des informations non pertinentes.
Les auteurs discutent de plusieurs implications de leurs résultats, notamment les limites de généralisation basées sur le CMI pour l’OCS et l’impossibilité de schémas de compression d’échantillons de taille constante. Ces résultats contribuent à notre compréhension du rôle de la mémorisation dans l’apprentissage et ont des implications pour la vie privée et la généralisation dans l’apprentissage automatique.
Gezheng Xu, Qi Chen, Charles X. Ling, Boyu Wang, Changjian Shui
Session d’affiches 4
Cet article présente le Réseau Génératif Guidé par biais (BGGN), une approche novatrice pour découvrir l’injustice intersectionnelle dans les systèmes d’IA. Contrairement aux méthodes traditionnelles qui se concentrent sur des attributs sensibles uniques ou s’appuient sur des techniques d’énumération et de recherche, BGGN formule le processus de découverte comme une tâche générative. Cela permet une génération efficace et diversifiée d’attributs intersectionnels sensibles à haut biais.
Les chercheurs démontrent l’efficacité de BGGN sur les ensembles de données textuels (Toxic) et d’images (CelebA) réels. Le modèle découvre non seulement des biais connus, mais génère aussi des attributs intersectionnels invisibles mais potentiellement à fort biais. Pour valider ces découvertes, les auteurs utilisent des modèles modernes d’IA générative comme LLaMA et Midjourney pour produire de nouveaux textes et images à partir des attributs découverts.
BGGN surpasse les algorithmes de recherche conventionnels et les modèles génératifs pour identifier des sous-groupes diversifiés et à fort biais. Il offre aussi des informations sur les injustices potentielles dans les systèmes d’IA générative populaires, car le contenu généré présente souvent des biais.
Ce travail contribue à la compréhension de l’équité intersectionnelle en IA et offre une méthode évolutive pour découvrir de manière proactive des injustices qui peuvent être présentes mais ignorées dans des systèmes complexes à multiples attributs sensibles.
Jinsoo Yoo, Yunpeng Liu, Frank Wood, Geoff Pleiss
Session d’affiches 5
Cet article présente la relecture proximale par couches (LPR), une approche novatrice de l’apprentissage continu en ligne qui combine la relecture de l’expérience avec une méthode de point proximal. Les auteurs identifient une limitation dans les méthodes actuelles basées sur la relecture : des trajectoires d’optimisation instables qui entravent la précision globale. Le LPR répond à cela en modifiant la géométrie d’optimisation pour équilibrer l’apprentissage à partir de nouvelles données et de relecture tout en ne permettant que des changements graduels dans les activations cachées des données passées.
La méthode est largement évaluée à travers plusieurs paramètres de problèmes et ensembles de données, démontrant constamment une amélioration des performances par rapport aux méthodes existantes basées sur la relecture. Notamment, le LPR montre des avantages même avec une mémoire illimitée, ce qui suggère que ses améliorations vont au-delà de la simple prévention d’oublis catastrophiques.
Le cadre du LPR implique un préconditionneur couche appliqué aux gradients de perte, conçu pour favoriser l’apprentissage continu tout en limitant la dégradation soudaine des performances sur les données passées. Les auteurs fournissent une formulation mathématique détaillée et une analyse des effets de la méthode sur les représentations internes et la stabilité de l’optimisation.
Les comparaisons avec des méthodes de pointe démontrent la supériorité de la LPR dans divers indicateurs et contextes de problèmes. L’article discute également de la relation entre la LPR et les méthodes existantes de projection de gradient, mettant en lumière les différences clés qui rendent la LPR plus adaptée à l’apprentissage continu en ligne avec des tampons de relecture.
Weikang Qiu, Huangrui Chu, Selena Wang, Haolan Zuo, Xiaoxiao Li, Yize Zhao, ZHITAO YING
Session d’affiches 5
Cet article présente HyBRiD, une méthode novatrice permettant d’identifier les relations de haut ordre entre les régions du cerveau à partir de données IRMf. Les auteurs proposent que ces relations devraient être maximalement informatives et minimalement redondantes (MIMR) en ce qui concerne les résultats phénotypiques. HyBRiD représente les régions du cerveau sous forme de nœuds dans un hypergraphe, les hyperarêtes représentant des relations de haut ordre.
La méthode utilise un constructeur pour identifier les structures d’hyperarêtes et un poids pour calculer les poids d’hyperarêtes. Un cadre de goulot d’étranglement à plusieurs têtes est introduit pour atteindre l’objectif MIMER, avec des garanties théoriques. HyBRiD évite de chercher dans l’espace exponentiel en apprenant des masques pour identifier les hyperedges, assurant ainsi efficacité et cohérence entre les sujets.
Des expériences sur les ensembles de données ABIDE et ABCD démontrent que HyBRiD surpasse en moyenne les modèles prédictifs de pointe de 11,2%. Les résultats montrent que les hyperedges de plus haut degré sont plus significatifs pour prédire les résultats cognitifs, soulignant l’importance des relations de haut ordre dans le fonctionnement cérébral.
Les auteurs fournissent une analyse qualitative des hyperedges les plus importants, révélant des interactions coordonnées de plusieurs régions cérébrales dans les tâches cognitives. Ce travail contribue à la compréhension des fonctions cérébrales complexes et peut bénéficier aux études cliniques et aux outils diagnostiques en neurologie.
Xue Yu, Muchen Li, Yan Leng, Renjie Liao
Session d’affiches 5
Cet article présente GPGVAE, un modèle d’apprentissage non supervisé permettant d’inférer les types d’interactions latentes et les structures réseau dans les jeux en réseau. Le modèle répond au défi de révéler des relations cachées entre les individus à partir de leurs actions observées, sans connaissance préalable des fonctions utilitaires ou des connexions partielles au réseau.
GPGVAE utilise un encodeur spectral basé sur le GNN pour prédire les types d’interaction (complémentaire stratégique vs. substitut) et un encodeur à portes dépendant des données avant les structures du réseau modèle. Il propose également un mélange basé sur Transformer d’encodeur Bernoulli pour les structures réseau et d’un décodeur basé sur GNN pour les actions de jeux.
Les auteurs proposent une stratégie d’entraînement par étapes et étudient diverses méthodes d’estimation du gradient de Monte Carlo. Ils démontrent que GPGVAE surpasse les modèles de pointe sur des ensembles de données synthétiques et réels, montrant une amélioration moyenne de 11,2% dans l’inférence des structures réseautiques.
Le modèle capture efficacement à la fois les interactions stratégiques complémentaires et substitutives, fournissant un aperçu de l’importance des relations de haut ordre dans les structures de réseau. Les auteurs mènent également des études d’ablation approfondies et analysent la performance du modèle dans différents contextes de jeu.
Ce travail contribue à la compréhension de la dynamique complexe des réseaux et peut avoir des applications dans des domaines tels que l’analyse des réseaux sociaux, l’économie et l’élaboration des politiques.
Mohammed Muqeeth, Haokun Liu, Yufan Liu, Colin Raffel
Session d’affiches 2
Cet article présente PHATGOOSE, une méthode novatrice pour améliorer la généralisation du zéro tir en routant entre des modèles experts spécialisés. La méthode répond au défi de recycler une grande collection de modèles spécialisés pour améliorer les capacités zéro shot d’un modèle de langage de base sans nécessiter un accès simultané aux ensembles de données utilisés pour créer ces modèles.
PHATGOOSE apprend à router entre des modules spécialisés produits grâce à un ajustement fin efficace en termes de paramètres. Il permet le routage par jeton et par module, ce qui, selon l’hypothèse, améliore la généralisation du zero-shot en permettant d’utiliser différentes capacités expertes à différents stades et pour différents jetons.
La méthode est post-hoc, nécessitant seulement une quantité modeste de calcul supplémentaire après chaque entraînement de modèle expert. Dans des expériences couvrant diverses collections de modèles spécialisés et des benchmarks de généralisation zéro-shot, PHATGOOSE surpasse les méthodes antérieures de routage post-hoc et, dans certains cas, surpasse l’entraînement multitâche explicite.
L’analyse qualitative valide que la performance de PHATGOOSE provient de sa capacité à effectuer un routage par jeton et par module. Les auteurs apportent des aperçus sur les stratégies de routage apprises par le modèle et discutent des pistes potentielles pour des travaux futurs dans ce domaine.
Ce travail jette les bases d’un nouveau cadre prometteur pour le développement décentralisé des systèmes d’IA généralistes.
Kai Zhang, Yi Luan, Hexiang Hu, Kenton Lee, Siyuan Qiao, Wenhu Chen, Yu Su, Ming-Wei Chang
Prélèvement oral 4x
MagicLens est une approche novatrice pour la récupération d’images auto-supervisée qui supporte des instructions ouvertes. L’innovation clé réside dans son pipeline de construction de données, qui exploite des paires d’images naturelles provenant de pages web et utilise de grands modèles de langage pour générer des instructions diverses et ouvertes décrivant les relations entre ces images.
L’architecture du modèle MagicLens se compose d’un constructeur qui identifie les structures hyperarêtes et d’un pondérateur qui calcule les poids des hyperarêtes. Il utilise un cadre multi-têtes de chute-goulot d’étranglement pour l’optimisation, assurant que les représentations apprises soient maximalement informatives et minimalement redondantes.
Des expériences approfondies démontrent que MagicLens surpasse les méthodes de pointe sur plusieurs benchmarks de récupération d’images, notamment CIRCO, DTIN et GeneCIS. Notamment, elle atteint cette performance avec beaucoup moins de paramètres que les méthodes précédentes, démontrant une grande efficacité des paramètres.
Une force clé de MagicLens est sa capacité à gérer des intentions de recherche complexes et au-delà du visuel, comme l’ont démontré des évaluations humaines sur un vaste pool de récupération de 1,4 million d’images. Le modèle fait preuve d’une polyvalence remarquable pour comprendre et satisfaire diverses instructions de recherche, même celles nécessitant un raisonnement abstrait ou une compréhension contextuelle.
Ce travail établit une nouvelle référence pour la recherche d’images avec des instructions ouvertes et ouvre des possibilités pour des systèmes de recherche d’images plus flexibles et puissants.
Nathan Ng, Roger Grosse, Marzyeh Ghassemi
Session d’affiches 3
Cet article présente IF-COMP, une méthode novatrice pour estimer la complexité stochastique des données dans les réseaux de neurones profonds à l’aide de fonctions d’influence de Boltzmann (BIF) à échelle de température. L’approche vise à approximer la distribution prédictive du maximum de vraisemblance normalisée (pNML), en répondant au défi d’estimer l’incertitude dans les prédictions des modèles, particulièrement pour les données hors distribution.
IF-COMP introduit un objectif proximal de Bregman à échelle de température pour adoucir la courbure locale, permettant une approximation plus précise des résultats optimaux avec le recul. En linéarisant le modèle, IF-COMP estime efficacement la distribution pNML sans étapes d’optimisation explicites, ce qui entraîne une accélération de 7 à 15 fois comparée aux méthodes existantes comme ACNML.
La méthode démontre de solides performances sur trois tâches clés : l’étalonnage de l’incertitude, la détection des erreurs d’étiquetage et la détection hors distribution. Notamment, l’IF-COMP surpasse diverses références, y compris les approches bayésiennes et les approches d’optimisation-traçage, souvent avec moins d’informations disponibles.
Des expériences approfondies valident la capacité de l’IF-COMP à estimer avec précision la complexité pNML sur le terrain et son efficacité à travers différentes architectures et ensembles de données de réseaux neuronaux. Les résultats mettent en lumière le potentiel des approches basées sur la longueur minimale de description (MDL) pour améliorer les estimations d’incertitude dans les réseaux neuronaux profonds, offrant une orientation prometteuse pour améliorer la fiabilité et l’étalonnage des modèles sous les décalages de distribution.
Saber Malekmohammadi, Yaoliang Yu, Yang Cao
Session d’affiches 5
Cet article présente ROBUST-HDP, un algorithme novateur pour les systèmes d’apprentissage fédéré différemment privé hétérogène (DPFL). La méthode répond au défi de l’hétérogénéité dans les exigences de confidentialité des clients, la taille des lots et la taille des ensembles de données, ce qui peut entraîner des niveaux de bruit variables dans les mises à jour des modèles des clients.
ROBUST-HDP utilise la PCA robuste pour estimer efficacement le niveau de bruit réel dans les mises à jour des clients, permettant une agrégation plus efficace des mises à jour des modèles. Cette approche améliore les méthodes existantes qui reposent sur des stratégies d’agrégation potentiellement sous-optimales ou vulnérables basées sur les paramètres de confidentialité rapportés par les clients.
Les auteurs fournissent des analyses théoriques et des garanties de convergence pour ROBUST-HDP, démontrant son efficacité dans divers scénarios d’hétérogénéité. Des expériences approfondies sur plusieurs ensembles de données montrent que ROBUST-HDP surpasse les méthodes de pointe en termes d’utilité et de vitesse de convergence. Notamment, l’algorithme maintient une grande efficacité des paramètres avec une taille de modèle nettement plus petite comparée aux approches précédentes. Ça
ROBUST-HDP démontre également sa robustesse face à une éventuelle falsification des paramètres de confidentialité par les clients, ce qui le rend adapté aux paramètres de serveur non fiables. Les résultats de l’article suggèrent que ROBUST-HDP offre une approche prometteuse pour améliorer la performance et la fiabilité des systèmes DPFL hétérogènes tout en maintenant de fortes garanties de confidentialité.
Benjamin Eyre, Elliot Creager, David Madras, Vardan Papyan, Richard Zemel
Session d’affiches 1
Cet article présente le Spectral Adapted Regressor (SpAR), une méthode novatrice pour améliorer la performance hors distribution (OOD) dans les tâches de régression. Les auteurs commencent par analyser comment la régression des moindres carrés ordinaires (OLS) est sensible au décalage des covariables, caractérisant le risque d’OOD en termes de décomposition du spectre propre des données sources et cibles.
L’idée clé est le concept d'« inflation spectrale », où les sous-espaces avec de petites variations pendant l’entraînement voient une variation accrue lors de l’évaluation. Cela motive SpAR, une méthode légère qui adapte les poids de la dernière couche d’un modèle de régression neuronale pré-entraîné en utilisant des données de test non étiquetées pour estimer les sous-espaces avec inflation spectrale et les projeter ailleurs.
SpAR utilise la PCA robuste pour identifier les sous-espaces où la variance train/test diffère le plus. La méthode est théoriquement fondée et validée empiriquement sur des ensembles de données synthétiques et du monde réel, démontrant une amélioration des performances en mode hors-jeu par rapport aux approches existantes.
Les auteurs fournissent une analyse complète, incluant des démonstrations de théorèmes, des études d’ablation et des comparaisons avec des méthodes de pointe. SpAR montre du potentiel pour relever le défi de la généralisation de l’OOD dans les tâches de régression, offrant une approche de post-traitement efficace en calcul pouvant être appliquée à divers modèles pré-entraînés.
Chun-Yin Huang, Kartik Srinivas, Xin Zhang, Xiaoxiao Li
Session d’affiches 1
Cet article présente DeSA, une approche novatrice de l’apprentissage fédéré décentralisé qui aborde à la fois l’hétérogénéité des données et du modèle sans nécessiter un serveur central. L’innovation clé réside dans l’utilisation de données d’ancrage synthétiques, générées par correspondance de distribution, afin de faciliter le transfert mutuel de connaissances entre les clients.
DeSA intègre deux composantes principales : une perte REG qui régularise la distribution des embeddings latents du client avec les ancrages, et une perte KD qui permet aux clients d’apprendre les uns des autres. Les auteurs fournissent une analyse théorique montrant comment ces composantes contribuent à améliorer les bornes de généralisation.
Des expériences approfondies sur divers ensembles de données démontrent que DeSA surpasse les algorithmes d’apprentissage fédéré décentralisé existants tant en performance inter- qu’intra-client. La méthode démontre une robustesse à travers diverses tâches et distributions de données, même dans des scénarios avec des changements de domaine importants.
L’une des principales forces de DeSA est sa capacité à gérer simultanément l’hétérogénéité des données et des modèles, un défi que les méthodes précédentes ont eu du mal à résoudre dans un environnement sans serveur. En synthétisant des ancrages mondiaux basés sur la distribution brute des données, DeSA offre une solution flexible et efficace pour l’apprentissage collaboratif dans des environnements décentralisés.
Florian Tramer, Gautam Kamath, Nicholas Carlini
Positions orales 1x sur la façon dont nous faisons de la recherche en apprentissage automatique
Cet article examine de manière critique la pratique d’utiliser des données publiques à grande échelle pour des modèles de préentraînement qui sont ensuite affinés avec une confidentialité différentielle sur les données sensibles. Les auteurs soulèvent trois préoccupations principales :
Les auteurs soutiennent que ces enjeux pourraient mener à un faux sentiment de protection de la vie privée et appellent à une réflexion plus rigoureuse sur ce qui constitue des données « publiques », à l’élaboration de repères plus appropriés pour l’apprentissage privé, et à l’exploration de techniques de protection de la vie privée qui ne nécessitent pas d’externalisation du calcul. L’article conclut en encourageant les chercheurs à relever ces défis et à développer des approches plus robustes pour l’apprentissage automatique préservant la vie privée.
David Glukhov, Ilia Shumailov, Yarin Gal, Nicolas Papernot, Vardan Papyan
Session d’affiches 1
Ce document de position examine de manière critique la pratique d’utiliser des données publiques à grande échelle pour préentraîner des modèles d’apprentissage automatique, qui sont ensuite affinés avec une confidentialité différentielle sur les données sensibles. Les auteurs soulèvent trois préoccupations principales :
Les auteurs soutiennent que ces problèmes peuvent mener à un faux sentiment de protection de la vie privée. Ils appellent à une réflexion plus approfondie sur ce qui constitue des données « publiques », au développement de repères plus appropriés pour l’apprentissage privé, et à l’exploration de techniques de protection de la vie privée qui ne nécessitent pas d’externalisation du calcul. L’article conclut en encourageant les chercheurs à relever ces défis et à développer des approches plus robustes pour l’apprentissage automatique préservant la vie privée, tout en reconnaissant l’importance des travaux récents pour démontrer que la confidentialité différentielle peut être préservée pour des problèmes complexes d’apprentissage automatique.
Stephen Zhao, Rob Brekelmans, Alireza Makhzani, Roger Grosse
Inférence probabiliste orale 3x
Cet article introduit une nouvelle approche appelée « Monte Carlo séquentiel torsadé » (SMC) pour améliorer les résultats des modèles de langage. L’objectif est de faire en sorte que les modèles de langage génèrent un texte répondant à des critères spécifiques, comme avoir un certain sentiment ou éviter le contenu nuisible. Les chercheurs proposent d’utiliser SMC, une méthode d’échantillonnage statistique, combinée à des « fonctions de torsion » qui guident le processus de génération de texte. Ils développent une nouvelle façon d’apprendre ces fonctions de torsion appelée « apprentissage par torsion contrastive ». L’article démontre que cette approche peut orienter efficacement les résultats des modèles de langage vers les caractéristiques souhaitées tout en maintenant la qualité du texte. Il introduit également de nouvelles méthodes pour évaluer l’efficacité des différentes techniques pour contrôler les sorties des modèles de langage. Les chercheurs testent leur approche sur des tâches comme la génération d’avis positifs ou négatifs, le remplissage du texte manquant et la création d’histoires non toxiques. Ils démontrent que leur méthode fonctionne souvent mieux que les techniques existantes. Ce travail offre un cadre flexible pour la génération de texte contrôlée, ce qui pourrait être utile pour diverses applications, notamment rendre les modèles de langage IA plus sûrs et plus fiables.
Li Ding, Jenny Zhang, Jeff Clune, Lee Spector, Joel Lehman
Session d’affiches 1
L’article présente une méthode novatrice appelée Quality Diversity through Human Feedback (QDHF) qui vise à améliorer les systèmes d’intelligence artificielle en les rendant plus capables de générer des solutions diverses et de haute qualité. Les méthodes d’optimisation traditionnelles se concentrent sur la recherche de la meilleure solution unique; Cependant, de nombreuses tâches complexes bénéficient d’une variété de solutions.
L’innovation clé de cette recherche est d’intégrer directement la rétroaction humaine dans les algorithmes de diversité de qualité (QD). Les algorithmes QD excellent à produire des solutions diversifiées, mais s’appuient souvent sur des métriques définies manuellement pour mesurer la diversité. QDHF améliore cela en apprenant ce que la diversité signifie pour les humains grâce à leur rétroaction, ce qui la rend plus adaptable et efficace pour des tâches nécessitant créativité et exploration.
Des études empiriques démontrent que le QDHF obtient des performances supérieures dans la génération de solutions diverses et de haute qualité comparativement aux méthodes existantes. Il s’avère particulièrement efficace dans des tâches comme la génération texte-image, où il améliore considérablement la variété et la qualité des images générées.
En combinant l’intuition humaine avec des algorithmes avancés, le QDHF offre une approche robuste pour résoudre des problèmes ouverts et complexes.
Parand Alizadeh Alamdari, Toryn Q Klassen, Elliot Creager, Sheila McIlraith
Session d’affiches 4
La recherche explore l’équité dans la prise de décision séquentielle, affectant plusieurs parties prenantes au fil du temps. Les études traditionnelles sur l’équité se concentrent sur des décisions uniques et isolées, mais ce travail met en lumière que l’équité dans une séquence de décisions dépend de l’ensemble de l’historique décisionnel, ce qui le rend intrinsèquement non markovienne (et non seulement dépendante de l’état actuel). L’étude souligne la nécessité d’évaluer l’équité tout au long du processus, et pas seulement à sa conclusion.
Contributions clés incluent :
Cette enquête élargit la compréhension de l’équité dans les processus décisionnels, en soulignant l’importance du contexte historique et de l’évaluation continue de l’équité.
Agustinus Kristiadi, Felix Strieth-Kalthoff, Marta Skreta, Pascal Poupart, Alan Aspuru-Guzik, Geoff Pleiss
Session d’affiches 4
L’article de recherche examine l’utilisation de grands modèles de langage (LLM) comme ChatGPT pour l’optimisation bayésienne (BO) dans la découverte de matériaux, en se concentrant particulièrement sur les molécules. L’optimisation bayésienne est une technique utilisée pour optimiser des fonctions complexes avec des données limitées en tirant parti des connaissances préalables. L’étude évalue si les LLM, qui se sont révélés prometteurs dans les tâches impliquant le traitement du langage naturel, sont efficaces pour faciliter ce processus d’optimisation en chimie moléculaire.
Les principales conclusions incluent :
Cette étude met l’accent sur une approche équilibrée et fondée sur des preuves pour intégrer les LLM dans des applications scientifiques spécialisées.
Wu Lin, Felix Dangel, Runa Eschenhagen, Kirill Neklyudov, Agustinus Kristiadi, Richard E Turner, Alireza Makhzani
Session d’affiches 5
Cet article présente le Structured Inverse-Free Natural Gradient Descent (SINGD), une nouvelle méthode d’optimisation pour l’entraînement des réseaux de neurones. Les auteurs visent à répondre à deux principaux problèmes avec les méthodes existantes de second ordre comme le KFAC : la forte consommation de mémoire et l’instabilité numérique dans les environnements de basse précision.
SINGD s’appuie sur la méthode Inverse-Free Natural Gradient Descent (INGD), l’étendant pour qu’elle soit plus efficace en mémoire et numériquement stable. Les principales innovations sont :
Les auteurs démontrent que SINGD peut surpasser les méthodes de premier ordre comme AdamW sur diverses architectures de réseaux neuronaux (CNN, Transformers, GNN) tout en utilisant une mémoire similaire ou moindre. Il est important de noter que le SINGD demeure stable dans les paramètres de basse précision (demi-précision) où le KFAC devient instable.
Ce travail comble le fossé entre les méthodes d’optimisation de premier et second ordre dans l’entraînement moderne de réseaux de neurones à basse précision, permettant potentiellement un entraînement plus efficace de modèles à grande échelle.
Yujia Huang, Adishree Ghatare, Yuanzhe Liu, Ziniu Hu, Qinsheng Zhang, Chandramouli Shama Sastry, Siddharth Gururani, Sageev Oore, Yisong Yue
Oral 2x Musique et audio
Cet article présente une méthode novatrice appelée Stochastic Control Guidance (SCG) pour générer de la musique symbolique (comme les rouleaux de piano) en utilisant des modèles de diffusion tout en respectant des règles musicales non différentiables. Le principal défi est que de nombreuses règles musicales, comme la densité des notes ou la progression d’accords, ne sont pas différenciables, ce qui rend les méthodes traditionnelles de guidage inefficaces.
Les chercheurs abordent ce problème en le présentant comme un problème de contrôle stochastique. Ils développent SCG, qui peut fonctionner avec des modèles de diffusion pré-entraînés de façon plug-and-play, permettant un guidage sans entraînement même avec des règles non différentiables. SCG fonctionne en échantillonnant plusieurs prochaines étapes possibles à chaque itération et en sélectionnant celle qui suit le mieux les règles cibles.
De plus, l’article introduit une architecture de diffusion latente pour la génération de musique symbolique à haute résolution. Combiné à SCG, ce cadre surpasse les générateurs de pointe actuels dans divers contextes, démontrant une meilleure qualité musicale et une maîtrise basée sur des règles.
L’importance de cette œuvre réside dans sa capacité à produire de la musique symbolique de haute qualité et conforme aux règles, sans avoir besoin de réadapter les modèles pour chaque nouvelle règle, ce qui en fait potentiellement un outil précieux pour les compositeurs et producteurs de musique.
Xinyi Wang, Alfonso Amayuelas, Kexun Zhang, Liangming Pan, Wenhu Chen, William Wang
Session d’affiches 3
Cet article étudie comment les modèles de langage (LM) développent des capacités de raisonnement par le biais de l’entraînement préalable. Les auteurs proposent que les LM peuvent agréger les chemins de raisonnement indirects observés lors de la pré-formation, leur permettant ainsi de tirer de nouvelles conclusions. Ils testent cette hypothèse dans deux scénarios : le raisonnement logique avec des graphes de connaissance et le raisonnement en chaîne de pensée pour les problèmes mathématiques.
Pour les graphes de connaissances, ils montrent que les LM pré-entraînés sur des chemins de marche aléatoires peuvent déduire des relations manquantes. Pour les problèmes mathématiques, ils démontrent que l’entraînement sur des chemins de raisonnement de marche aléatoire non identifiés améliore la performance sur plusieurs ensembles de données.
L’étude révèle que les LM peuvent utiliser efficacement des chemins de raisonnement non étiquetés, et qu’il y a généralement une longueur de chemin optimale pour l’entraînement. Ces résultats appuient l’hypothèse des auteurs et suggèrent des moyens d’améliorer la pré-formation des LM pour améliorer les capacités de raisonnement.
Ce travail offre des perspectives sur la façon dont les gestionnaires de logiciel acquièrent des compétences de raisonnement et propose des stratégies potentielles pour améliorer leur performance sur des tâches complexes de raisonnement.
