Les chercheurs en vecteurs font progresser l’IA générative, l’IA responsable et la découverte scientifique à l’ICML 2026

Malgré les avancées en inférence à long contexte, les grands modèles de langage (LLM) demeurent fondamentalement limités par les mécanismes de mise en cache clé-valeur (KV) nécessaires à un calcul stable. Les techniques de gestion, telles que l’expulsion sélective des jetons et l’élagage, ont grandement atténué les problèmes survenus, mais éliminent souvent des informations potentiellement utiles pour gérer les besoins croissants en mémoire du cache. Dans cet article, nous nous appuyons sur ces approches pour proposer Attention with Routed Memory ARM, une nouvelle structure de mise en cache KV qui introduit un système de mémoire entièrement différentiable de taille fixe, organisé comme une structure de routage hiérarchique qui apprend à sélectionner les emplacements mémoire via Gumbel-Softmax et effectue des mises à jour sigmoïdes verrouillées qui combinent doucement des informations nouvelles et stockées, évitant ainsi l’expulsion brutale et réduisant ainsi la perte d’information. En combinant cela avec une politique de sélection dynamique de différentes quantités de mémoire lors de l’inférence, ARM adapte ses accès aux contextes simples et étend la récupération pour les entrées nécessitant un raisonnement plus profond, permettant une récupération plus évolutive et efficace sur des contextes courts et longs. Les résultats expérimentaux sur les benchmarks standards de bon sens et de raisonnement à long contexte démontrent qu’ARM obtient des performances et une efficacité supérieures comparées aux approches fixes de mise en cache KV, tout en restant efficients et évolutifs tant en mémoire qu’en latence de génération.

Atteindre une synergie robuste perception-raisonnement est un objectif central pour les modèles vision-langage (VLM) avancés. Les avancées récentes ont poursuivi cet objectif via des conceptions architecturales ou des flux de travail agents. Cependant, ces approches sont souvent limitées par un raisonnement textuel statique ou compliquées par le fardeau important de calcul et d’ingénierie lié à la complexité des agents externes. Pire encore, cet investissement important ne génère pas de gains proportionnels, observant souvent un « effet de bascule » sur la perception et le raisonnement. Cela pousse à repenser fondamentalement le véritable goulot d’étranglement. Dans cet article, nous soutenons que la cause profonde de ce compromis est une ambiguïté dans l’attribution des crédits par modalité : lorsqu’un VLM échoue, est-ce dû à une perception erronée (« mauvaise vision ») ou à une logique défaillante (« mauvaise pensée »)? Pour résoudre cela, nous introduisons un cadre d’apprentissage par renforcement qui améliore la synergie perception-raisonnement en récompensant de façon fiable la fidélité de la perception. Nous décomposons explicitement le processus de génération en étapes entrelacées de perception et de raisonnement. Ce découplage permet une supervision ciblée sur la perception. De manière cruciale, nous introduisons la Vérification de la Perception (PV), utilisant un proxy de « raisonnement bandé » pour récompenser la fidélité perceptuelle indépendamment des résultats du raisonnement. De plus, pour étendre l’entraînement à des tâches VL libres, nous proposons la Vérification Verbale Structurée, qui remplace le jugement LLM à haute variance par une exécution algorithmique structurée. Ces techniques sont intégrées dans un mécanisme d’attribution de crédits conscient de la modalité (MoCA), qui dirige les récompenses vers la source spécifique de l’erreur — soit une mauvaise vision, soit une mauvaise pensée — permettant à un seul VLM d’obtenir des gains de performance simultanés sur un large spectre de tâches.

Nous étudions la détection par boîte noire du texte généré par machine sous contraintes pratiques : le modèle de notation (proxy LM) peut ne pas correspondre au modèle source inconnu, et la génération de contraste par entrée est coûteuse. Nous proposons SurpMark, un détecteur basé sur la référence qui résume un passage par la dynamique de ses surprises symboliques. SurpMark discrétise les surprises en états interprétables, estime une matrice de transition d’état pour le texte de test, et la note via un intervalle généralisé de Jensen–Shannon (GJS) entre les transitions de test et deux références fixes (humain vs. machine) construites une fois à partir de corpus existants. Théoriquement, nous dérivons des directives de conception sur la façon dont les compartiments de discrétisation devraient s’adapter aux données et fournirons une justification de principe pour notre statistique de test. Empiriquement, à travers plusieurs ensembles de données, modèles sources et scénarios, SurpMark correspond ou dépasse systématiquement les références, démontrant une forte robustesse à travers les domaines et générateurs; Nos expériences sur la sensibilité aux hyperparamètres présentent des tendances que nos résultats théoriques aident à expliquer.

Les approches récentes de génération de vidéos longues en temps réel utilisent généralement des stratégies de réglage en streaming, tentant d’entraîner un élève à long contexte à l’aide d’un enseignant à court contexte (sans mémoire). Dans ces cadres, l’élève effectue de longs déploiements mais reçoit la supervision d’un enseignant limité à de courtes fenêtres de 5 secondes. Cette disparité structurelle crée un décalage critique **élève-enseignant** : l’incapacité de l’enseignant à accéder à l’historique à long terme l’empêche de guider l’élève sur les dépendances temporelles globales, limitant ainsi ainsi la longueur du contexte de l’élève. Pour résoudre cela, nous proposons **Context Forcing**, un cadre novateur qui forme un élève à long contexte via un enseignant à long contexte. En veillant à ce que l’enseignant soit au courant de toute l’histoire des générations, nous éliminons le décalage de supervision, permettant une formation robuste de modèles capables d’assurer une cohérence à long terme. Pour rendre cela calculationnellement réalisable pour des durées extrêmes (par exemple, 2 minutes), nous introduisons un système de gestion du contexte qui transforme le contexte en croissance linéaire en une architecture **Mémoire Lente-Rapide**, réduisant considérablement la redondance visuelle. De nombreux résultats démontrent que notre méthode permet des durées de contexte efficaces dépassant 20 secondes—

6 à 10 fois plus longue que les méthodes de pointe comme LongLive et Infinite-RoPE. En tirant parti de ce contexte étendu, le Contexte Forcing conserve une cohérence supérieure sur de longues durées, dépassant les références de pointe sur diverses métriques d’évaluation vidéo longue.

La modélisation basée sur les données dans les tâches de régression réelles souffre souvent d’échantillons d’entraînement limités, de coûts de collecte élevés et d’observations bruyantes. Inspirés par l’impact de l’augmentation des données sur la vision et le langage, nous proposons une nouvelle technique d’augmentation des données résiduelles contrafactuelles (CRDA) pour la régression tabulaire. Notre idée clé est qu’une fois qu’un régresseur a modélisé la composante systématique des données, le bruit restant peut être vu comme un résidu invariant qui reste stable sous de petites perturbations de caractéristiques soigneusement sélectionnées. Nous exploitons cette invariance résiduelle pour générer de nouveaux échantillons d’entraînement, mais réalistes, élargissant ainsi l’ensemble de données sans nécessiter de données réelles supplémentaires. Notre méthode est indépendante du modèle et s’applique facilement à divers types de régresseurs. Dans des expériences menées sur divers ensembles de données provenant de divers dépôts de références, en moyenne, la CRDA réduit la MSE d’un régresseur MLP de 22,9% et celle d’un régresseur XGBoost de 6,4%. Comparée aux générateurs de données et techniques d’augmentation de pointe existants, la CRDA surpasse constamment la réduction de la MSE. En ajoutant des variations contrafactuelles de principe aux données d’entraînement, notre méthode offre un remède simple et efficace pour les paramètres de régression à petits échantillons sujets au bruit.

La théorie de la fonction de la densité (DFT) est la méthode la plus utilisée pour calculer les propriétés moléculaires; cependant, sa précision est souvent insuffisante pour les prédictions quantitatives. La théorie des grappes couplées (CC) est la méthode la plus efficace pour atteindre une précision au-delà de la DFT et prédire des propriétés qui correspondent étroitement à l’expérience. Elle est connue comme la « référence d’or » de la chimie quantique. Malheureusement, le coût computationnel élevé du CC limite son application généralisée. Dans ce travail, nous présentons le Molecular Orbital Learning Model (MoLe), un modèle équivariant d’apprentissage automatique qui prédit directement les objets mathématiques centraux de CC, les amplitudes d’excitation, à partir des orbitales moléculaires de Hartree-Fock en champ moyen comme entrées. Nous testons divers aspects de notre modèle et démontrons sa très grande efficacité des données ainsi que sa remarquable généralisation hors distribution vers des molécules plus grandes et des géométries hors équilibre, malgré notre entraînement uniquement sur de petites géométries d’équilibre. Enfin, nous examinons aussi sa capacité à réduire le nombre de cycles nécessaires pour converger les calculs de CC. Le MoLe peut poser les bases d’architectures d’apprentissage automatique basées sur des fonctions d’onde à haute précision afin d’accélérer la conception moléculaire et de compléter les approches de champs de force.

L’apprentissage incrémental de classes fédéré (FCIL) vise à accroître continuellement la capacité de reconnaissance d’un modèle dans un environnement distribué, lui permettant d’apprendre de nouvelles classes tout en conservant les connaissances de celles déjà vues. Exemplar replay s’est imposé comme une stratégie prometteuse grâce à sa simplicité et son efficacité. Les méthodes existantes sélectionnent soit des exemples basés sur la dynamique locale, soit construisent des espaces de caractéristiques globaux pour identifier des échantillons représentatifs. Cependant, ils font face à des défis inhérents pour trouver un équilibre entre efficacité et vie privée. Pour répondre à ce problème, cet article propose une méthode de fusion de Lewis à vue croisée pour la reprise exemplaire dans FCIL, appelée CLIF, qui fusionne des scores d’importance multi-vues pour guider la sélection représentative d’échantillons dans des contextes fédérés. Plus précisément, le CLIF se compose de deux modules principaux : 1) le module de fusion de poids de Lewis en vue croisée calcule et intègre les poids de Lewis à partir de plusieurs perspectives de caractéristiques afin d’obtenir une estimation cohérente de l’importance, assurant que les échantillons sélectionnés reflètent mieux la distribution globale des données et améliorant ainsi la représentativité du sous-ensemble de relecture. En s’appuyant sur cela, 2) le module d’entraînement pondéré basé sur la fréquence ajuste la contribution aux pertes de chaque échantillon selon sa fréquence de sélection entre les vues, ce qui met l’accent sur la contribution des échantillons critiques. De plus, nous fournissons une analyse théorique pour garantir la solidité et l’efficacité du CLIF. Des expériences approfondies sur trois ensembles de données démontrent que notre méthode améliore constamment les références de 1% à 6%, appuyant ainsi les affirmations ci-dessus.

Le réentraînement récursif des modèles génératifs pose un défi critique de représentation : lorsque les sorties synthétiques sont sélectionnées selon un signal de récompense fixe, le modèle tend à s’effondrer sur un ensemble restreint de sorties qui sur-optimisent cet objectif, ce qui fait disparaître la diversité et ne parvient pas à représenter toute la gamme des préférences. Des travaux antérieurs ont suggéré qu’un tel effondrement est inévitable sans ajouter de données réelles à l’ensemble. Dans cet article, nous reprenons cette conclusion d’un point de vue d’alignement et montrons que l’effondrement peut être atténué par la curation basée sur plusieurs fonctions de récompense. Nous formalisons la dynamique de l’entraînement récursif sous des préférences hétérogènes et démontrons que, sous certaines conditions, le modèle converge vers une distribution stable qui alloue la masse de probabilité entre les régions concurrentes à haute récompense. La distribution limite préserve la diversité et satisfait de manière prouvée une solution de négociation de Nash pondérée, offrant une interprétation formelle de l’agrégation de valeur dans les boucles de réentraînement synthétique.

Les fonctionnelles XC par apprentissage automatique (ML) visent à remplacer les approximations de la fonction de densité conçues par l’humain en apprenant directement à partir des données de référence, mais elles ne surpassent pas systématiquement les fonctionnelles hybrides traditionnelles à échelle $\mathcal{O}(N^4)$. Nous étudions donc un contexte de distillation hybride, où des fonctionnelles semi-locales ML-XC à échelle $\mathcal{O}(N^3)$ sont entraînées à reproduire des cibles B3LYP/def2-SVP. Nous introduisons la Derivative Informed XC-Loss (DI-Loss), une perte qui intègre des informations supplémentaires provenant de la fonctionnelle hybride de référence en supervisant les première et deuxième dérivées de l’énergie sur le Grassmannian des matrices de densité admissibles. Plutôt que de seulement faire correspondre le point fixe auto-cohérent, la perte DI aligne la réponse locale de premier et second ordre de la fonctionnelle apprise avec celle de la fonctionnelle cible. À travers quatre architectures évaluées, la DI Loss améliore constamment les principales métriques énergétiques. En moyenne uniforme entre les architectures, l’EMA d’énergie totale diminue de 66% par rapport à la supervision d’énergie et de densité seule. La métrique d’énergie du champ moyen sensible à la densité $E_\rho$ passe de 1,2 à 0,8 mEh en moyenne, tandis que les erreurs de dipôle et de densité $\mathcal{L}_2$ ne s’améliorent pas uniformément. Nous montrons également que les densités issues des fonctionnels distillés réduisent les itérations hybrides-fonctionnelles SCF jusqu’à 55%. Dans les calculs TDDFT en aval, la supervision hessienne améliore les prédictions à l’état excité, le XCdiff réduisant l’énergie d’excitation moyenne de l’EMA de 24 à 35% à travers les tailles moléculaires sur le QM40.

L’adaptation de domaine sans source (SFDA) permet l’adaptation du modèle sous des décalages de distribution sans accès aux données sources, offrant une solution pratique pour les applications sensibles à la vie privée et ayant montré des progrès substantiels dans la classification. En revanche, la régression implique des variables cibles ordonnées et continues, posant des défis uniques pour l’adaptation de la représentation et le raffinement des pseudo-étiquettes dans le cadre de la SFDA. Pour combler cette lacune, nous proposons un algorithme novateur pour la prédiction continue de cibles en SFDA qui exploite des signaux de supervision informés par la densité discrétisée dépendants de l’instance pour affiner les pseudo-étiquettes dans un paradigme conscient de l’incertitude. En incorporant l’apprentissage auxiliaire de la distribution discrétisée, notre méthode favorise également des représentations de caractéristiques plus compactes et structurées, atténuant ainsi les difficultés inhérentes à l’adaptation des modèles de régression sous décalage de distribution. Nous démontrons théoriquement que la structure de densité résultante est robuste aux perturbations potentielles, soutenant un SFDA fiable pour la régression. Des expériences approfondies sur plusieurs références valident l’efficacité de l’approche proposée.

Les modèles de fondation génomique ont le potentiel de décoder la syntaxe de l’ADN, mais font face à un compromis fondamental. Les tokenizateurs de sous-mots standards fragmentent des motifs biologiquement significatifs tels que les codons et les éléments régulateurs, tandis que les modèles au niveau des nucléotides préservent la cohérence biologique mais engendrent des coûts computationnels prohibitifs pour de longs contextes. Nous introduisons dnaHNet, un modèle autorégressif de pointe sans tokeniseur qui segmente et modélise les séquences génomiques de bout en bout. Grâce à un mécanisme de segmentation dynamique différentiable, dnaHNet comprime les nucléotides bruts en jetons latents de manière adaptative, équilibrant la compression avec la précision prédictive. Pré-entraîné sur des génomes procaryotes, dnaHNet surpasse des architectures de premier plan comme StripedHyena2 en termes de mise à l’échelle et d’efficacité. Ce chunking récursif produit des réductions quadratiques FLOP, permettant une accélération d’inférence de $>3 \times$ sur les Transformers. Sur les tâches zéro injection, dnaHNet obtient une performance supérieure dans la prédiction de l’adaptation des variantes protéiques et de l’essentialité des gènes, tout en découvrant automatiquement des structures biologiques hiérarchiques sans supervision. Ces résultats établissent dnaHNet comme un cadre évolutif et interprétable pour la modélisation génomique de nouvelle génération.

L’entraînement avec la confidentialité différentielle (DP) garantit aux membres du jeu de données qu’ils ne peuvent pas être identifiés par les utilisateurs du modèle publié. Cependant, ces fournisseurs de données, et en général le public, manquent de méthodes pour vérifier efficacement que les modèles entraînés sur leurs données respectent les garanties DP. La quantité de calcul nécessaire pour vérifier les garanties DP pour les algorithmes actuels évolue avec la quantité de calcul requise pour entraîner le modèle. Dans cet article, nous concevons le premier algorithme DP avec des compromis quasi optimaux entre la confidentialité et l’utilité, mais dont les garanties DP peuvent être vérifiées à moindre coût que l’entraînement. Nous nous concentrons sur l’optimisation convexe stochastique DP (DP-SCO), où les compromis optimaux entre vie privée et utilité sont connus. Ici, nous montrons que nous pouvons obtenir des compromis stricts entre la confidentialité et l’utilité en minimisant privément une série d’objectifs régularisés et en n’utilisant que la borne standard de composition DP. Surtout, cette méthode peut être vérifiée avec beaucoup moins de calcul qu’en entraînement. Cela conduit au premier algorithme DP-SCO connu avec une utilité de confidentialité quasi optimale, dont la vérification DP évolue mieux que le coût d’entraînement, réduisant significativement les coûts de vérification sur de grands ensembles de données.

Pour déployer de grands modèles de langage (LLM) dans des domaines d’application à enjeux élevés qui exigent des réponses substantiellement précises à des prompts ouverts, nous avons besoin de méthodes fiables et peu coûteuses en calcul qui évaluent la fiabilité des réponses longues générées par les LLM. Cependant, les approches existantes reposent souvent sur la vérification des faits affirmation par affirmation, qui est coûteuse en calcul et fragile dans les réponses longues aux questions ouvertes. Dans ce travail, nous introduisons l’isotropie sémantique — le degré d’uniformité entre les embeddings de texte normalisés sur la sphère unité — et l’utilisons pour évaluer la fiabilité des réponses longues générées par les LLM. Pour ce faire, nous générons plusieurs réponses de longue forme, les incorporons, et estimons le niveau d’isotropie sémantique de ces réponses comme la dispersion angulaire des plongements sur la sphère unité. Nous constatons qu’une isotropie sémantique plus élevée — c’est-à-dire une plus grande dispersion d’immersion — signale de manière fiable une cohérence factuelle plus faible entre les échantillons. Notre approche ne nécessite aucune donnée notée, aucun ajustement fin, aucune sélection d’hyperparamètres, et peut être utilisée avec des modèles d’embedding à poids ouvert ou fermé. Dans plusieurs domaines, notre méthode surpasse systématiquement les signaux de confiance agrégés existants en prédisant la non-factualité en utilisant seulement quelques échantillons, offrant un signal pratique et à faible coût en premier passe qui complète la vérification au niveau des réclamations dans les flux de travail LLM réels.

De nombreuses techniques d’apprentissage automatique reposent sur l’approximation de la courbure d’une fonction de perte, mais cela est notoirement difficile à réaliser à l’échelle des réseaux profonds modernes. Fait surprenant, aucun travail précédent n’a exploité les contraintes de courbure qui découlent des symétries bien connues de l’espace poids dans les paysages de pertes. En faisant la moyenne analytique sur des actions de groupe qui laissent la perte invariante, nous construisons des approximations hessiennes structurées à partir de gradients simples qui peuvent être estimées, stockées et inversées de manière tractable. Le choix du groupe de symétrie spécifié par l’utilisateur régit directement le compromis entre la précision d’approximation et le coût computationnel. De plus, notre cadre offre une perspective théorique unificatrice pour visualiser les méthodes existantes; en particulier, un choix spécifique du groupe de symétrie permet d’obtenir des estimations de courbure de type Shampoo/Muon. Nous validons notre méthode sur une gamme d’architectures réseau, et la déployons sur des benchmarks d’optimisation de second ordre, y compris un petit modèle de langage. Notre cadre d’estimation de courbure pourrait trouver des applications dans d’autres problèmes d’apprentissage automatique tels que l’estimation de l’incertitude, l’apprentissage continu, la compression/élagage, l’attribution des données d’entraînement, et plus encore.

La distillation de jeux de données vise à compresser un grand ensemble de données en un petit ensemble synthétique tout en maintenant la performance prédictive. Nous montrons qu’à mesure que différents groupes démographiques présentent des schémas prédictifs distincts, le processus de distillation peine à préserver simultanément les signaux informatifs pour tous les sous-groupes, que la taille des groupes soit légèrement ou gravement déséquilibrée. Par conséquent, les modèles entraînés sur des données distillées peuvent connaître des baisses de performance substantielles pour certains sous-groupes, ce qui entraîne des écarts d’équité. De manière cruciale, ces écarts ne disparaissent pas simplement en corrigeant le déséquilibre de groupe, puisqu’ils proviennent de désajustements fondamentaux dans les schémas prédictifs des sous-groupes plutôt que de disparités de taille d’échantillon seules. Nous analysons donc formellement l’interaction entre ces deux sources de biais et présentons la solution comme identifiant un barycentre indépendant du déséquilibre de groupe de l’information prédictive qui induit des représentations similaires à travers tous les sous-groupes. En distillant vers cette représentation agrégée partagée, nous montrons que les préoccupations liées à l’équité des groupes peuvent être réduites. Notre approche est compatible avec les méthodes de distillation existantes, et les résultats empiriques montrent qu’elle réduit substantiellement les biais introduits par la distillation des ensembles de données. Le code est disponible à https://github.com/mhmoslemi/COBRA.

L’apprentissage de la représentation fédérée (FRL) vise à apprendre des modèles fédérés personnalisés avec une extraction efficace de caractéristiques à partir de données locales. Les algorithmes FRL qui partagent la majorité des paramètres du modèle font face à des défis importants avec une surcharge de communication énorme. Cette surcharge provient des millions de paramètres de réseaux neuronaux et de la lenteur de l’agrégation de l’heuristique de moyenne. Pour réduire la surcharge, nous proposons FedLog, qui partage suffisamment de résumés de données au lieu des paramètres bruts du modèle. Les résumés de données encodent des statistiques minimales suffisantes d’une famille exponentielle, et l’inférence bayésienne est utilisée pour l’agrégation globale. FedLog aide à réduire la taille des messages et la fréquence des communications. Nous démontrons que les messages partagés sont des statistiques minimales et analysons théoriquement le taux de convergence de FedLog. Pour assurer davantage des garanties formelles de confidentialité, nous étendons FedLog avec le cadre de confidentialité différentiel. Les résultats empiriques démontrent une grande précision d’apprentissage avec une faible surcharge de communication de notre méthode.

De nombreux problèmes de conception réels impliquent l’optimisation d’une fonction boîte noire coûteuse f(x), pour laquelle l’optimisation bayésienne est un cadre efficace en échantillonnage. Cependant, bien que le cadre de boîte noire de base offre une récompense scalaire, les expériences réelles génèrent souvent une mine d’informations utiles. Nous introduisons un nouveau cadre où une expérience génère des informations auxiliaires de haute dimension h(x) avec f(x); De plus, un historique des tâches pertinentes déjà résolues est disponible pour accélérer l’optimisation. Nous développons une méthode novatrice basée sur un modèle neuronal qui prédit f(x) pour des conceptions invisibles à partir d’un contexte de quelques plans contenant des observations de h(x). Nous évaluons notre méthode sur deux domaines complexes : la conception matérielle robotique et l’accord des hyperparamètres. Dans les deux domaines, notre méthode permet d’améliorer la prédiction en peu de coups et d’optimiser la conception plus rapidement, surpassant plusieurs méthodes d’optimisation multitâche.

Déterminer la complexité, ou dimension intrinsèque (DI), des données est fondamental pour un apprentissage efficace et interprétable des représentations. C’est particulièrement difficile dans les contextes multimodaux lorsqu’on essaie d’apprendre des représentations démêlées pour des informations partagées et privées. Les techniques existantes laissent un vide critique : elles sont souvent statiques, unimodales ou, dans le cas des méthodes contrastives, ne s’adaptent implicitement qu’à la DI partagée. Nous introduisons l’optimisation de rang guidée par fidélité (FiGuRO), un cadre pour approximer l’ID des données uni- et multimodales sous des contraintes de capacité du modèle et d’hyperparamètres. FiGuRO apprend les dimensions des projections de bas rang à l’aide de la décomposition en valeurs singulières tronquées et d’un algorithme qui détermine quand réduire ou augmenter la dimension et dans quel espace latent. Le désentremêlement de l’information partagée et privée apparaît comme une propriété émergente de cette optimisation, éliminant le besoin de fonctions auxiliaires complexes de perte. Nous démontrons que FiGuRO surpasse les techniques existantes d’estimation des identifiants et est plus robuste aux changements d’hyperparamètres. À travers des simulations et des données réelles, FiGuRO capture des échelles de DI distinctes et des rapports de sous-espace variables, et décompose avec succès des informations partagées et privées. De plus, nous montrons que FiGuRO peut être appliqué à des modèles modernes uni-modaux pré-entraînés, permettant un désentremêlement efficace et post-hoc de représentations multimodales.

L’échelle croissante des réseaux de neurones profonds, englobant de grands modèles de langage (LLM) et des transformateurs de vision (ViTs), a rendu la formation à partir de zéro prohibitivement coûteuse et le déploiement de plus en plus coûteux. Ces modèles sont souvent utilisés comme des monolithes computationnels à coût fixe, ce qui nuit au déploiement adaptatif selon différents budgets de coûts.

Nous soutenons que les composants imbriqués, ordonnés par importance, peuvent être extraits de modèles préentraînés et activés sélectivement dans le budget computationnel disponible. À cette fin, notre méthode FlexRank proposée exploite la décomposition en poids de bas rang avec une consolidation imbriquée basée sur l’importance pour extraire des sous-modèles de capacités croissantes. Notre approche permet un paradigme « entraîner une fois, déployer partout », offrant un compromis élégant entre coût et performance sans formation à partir de zéro pour chaque budget – faisant progresser le déploiement pratique de grands modèles.

Les modèles de fondation basés sur des réseaux ajustés par données préalables (PFN) ont démontré une forte performance empirique en inférence causale en présentant la tâche comme un problème d’apprentissage en contexte. Cependant, il n’est pas clair si les estimateurs causaux basés sur PFN fournissent une quantification de l’incertitude cohérente avec les estimateurs fréquentistes classiques. Dans ce travail, nous comblons cette lacune en analysant la cohérence fréquentiste des estimateurs basés sur le PFN pour l’effet moyen du traitement (ATE). (1) Nous montrons que les PFN existants, lorsqu’ils sont interprétés comme des estimateurs bayésiens ATE, peuvent présenter un biais de confusion induit à priori : le prior n’est pas écrasé asymptotiquement par les données, ce qui, à son tour, empêche la cohérence fréquentiste. (2) Comme remède, nous suggérons d’utiliser une procédure d’étalonnage basée sur une correction postérieure en une étape (OSPC). Nous montrons que l’OSPC aide à restaurer la cohérence fréquentiste et peut fournir un théorème semi-paramétrique de Bernstein-von Mises pour les PFN calibrés (c’est-à-dire que les estimateurs calibrés basés sur PFN et les estimateurs semi-paramétriques classiques efficaces convergent en distribution avec la taille croissante des données). (3) Enfin, nous mettons en œuvre l’OSPC en adaptant les postérieurs martingale au-dessus des PFN. De cette façon, nous pouvons récupérer des postérieurs fonctionnels nuisants à partir de PFN, exigés par l’OSPC. Dans de multiples expériences (semi-)synthétiques, les PFN calibrées avec notre OSPC postérieur martingale produisent une incertitude ATE qui (i) correspond asymptotiquement à l’incertitude fréquentiste et (ii) est bien calibrée dans des échantillons finis comparativement à d’autres estimateurs bayésiens ATE.

Les avancées récentes dans les modèles vision-langage (VLM) mettent l’accent sur le raisonnement à longue chaîne de pensée; Pourtant, on constate que leur performance sur les tâches visuelles est principalement limitée par un manque de perception visuelle plutôt que par le raisonnement lui-même. Dans ce travail, nous étudions systématiquement l’interaction entre la perception et le raisonnement dans la VLM après l’entraînement en décomposant leurs capacités en trois étapes distinctes : perception visuelle, raisonnement visuel et raisonnement textuel, en incorporant des données d’entraînement spécialisées. Nous démontrons que la perception visuelle (a) nécessite une optimisation ciblée avec des données spécialisées; (b) sert d’échafaudage fondamental qui doit être solidifié par une formation progressive avant d’affiner le raisonnement visuel; et (c) s’apprend plus efficacement par RL que par la SFT basée sur sous-titres. Nos expériences sur plusieurs VLM démontrent que l’entraînement par étapes améliore constamment à la fois la perception visuelle et la performance de raisonnement par rapport à l’entraînement fusionné. Notamment, les modèles entraînés avec notre approche atteignent une précision de raisonnement supérieure de 1,5% avec des traces de raisonnement plus courtes de 20,8%, ce qui suggère qu’une perception supérieure réduit le besoin d’un raisonnement excessif. De plus, nous montrons que cette mise en scène basée sur les capacités représente une nouvelle dimension du programme orthogonale aux programmes traditionnels basés sur la difficulté, et que la combinaison des deux apporte des gains additifs supplémentaires. Nos modèles d’entraînement par étapes obtiennent des performances supérieures parmi les VLM à poids ouvert, établissant des résultats avancés sur plusieurs tâches mathématiques visuelles et de perception (par exemple, +5,2% sur WeMath et +3,7% sur RealWorldQA) comparativement à la version de base.

Les exemples non apprenables (UE) protègent les données d’entraînement en injectant des perturbations imperceptibles afin que les modèles ne parviennent pas à extraire des représentations exploitables. Dans cet article, nous révélons que les EE existants présentent une défaillance critique une fois le filtrage passe-bas appliqué, ce qui indique que les signaux de perturbation effectifs pour l’inapprentabilité se concentrent principalement dans les hautes fréquences. Par conséquent, nous soutenons que les UE fiables devraient rester efficaces sur l’ensemble du spectre. À cette fin, nous proposons des exemples **F**ull-spectre **U**nlearnable via **S**pectral **E**qualisation (**FUSE**), qui vise à générer des perturbations spectraux indépendantes du spectre en égalisant les contributions des différentes bandes et en imposant la cohérence inter-bandes. Plus précisément, FUSE adopte une stratégie de masquage spectrale aléatoire (RSM) lors de l’entraînement du générateur, qui supprime aléatoirement une bande de fréquences contiguë, forçant les bandes restantes à maintenir leur inapprentissabilité. De plus, FUSE intègre davantage le guidage interbande (CBG), qui assure une cohérence mutuelle entre les composants des hautes et basses fréquences, renforçant ainsi l’inapprentissage des basses fréquences et régulant les perturbations des hautes fréquences afin de préserver la fidélité sémantique des images. Des expériences approfondies sur plusieurs ensembles de données, architectures et filtrage spectral démontrent la forte protection obtenue par FUSE.

Nous introduisons ELECTRAFI, un modèle rapide et différentiable de bout en bout pour prédire les densités de charge périodiques dans les matériaux cristallins. ELECTRAFI construit des gaussiennes anisotropes dans l’espace réel et exploite leurs transformées de Fourier en forme fermée pour évaluer analytiquement les coefficients d’ondes planes via la formule de sommation de Poisson. Cette formulation délègue un comportement non local et périodique aux transformations analytiques, permettant la reconstruction de la densité complète de charge périodique avec une seule FFT inverse. En évitant les sondages explicites en grille dans l’espace réel, la somme périodique d’images et les expansions harmoniques sphériques, ELECTRAFI égale ou dépasse la précision de pointe de la technologie sur des benchmarks périodiques tout en étant jusqu’à 633 $/fois plus rapide que la méthode concurrente la plus forte, reconstruisant les densités de charge cristallines en une fraction de seconde. Lorsqu’il est utilisé pour initialiser les calculs DFT, ELECTRAFI réduit le coût total de calcul DFT jusqu’à $\sim$20%, tandis que les modèles plus lents à densité de charge annulent les économies dues à des temps d’inférence élevés. Nos résultats montrent que la précision et le coût d’inférence déterminent conjointement les accélérations de la DFT de bout en bout et motivent notre attention à l’efficacité.

Les réseaux neuronaux profonds avec des blocs répétés, comme les transformers et les ResNets, présentent souvent des relations structurées à travers des couches qui émergent lors de l’entraînement. Motivés par cette observation, nous introduisons un paradigme général d'*Augmentation du gradient par profondeur*, dans lequel la mise à jour appliquée à une couche peut dépendre des mises à jour de l’optimiseur de base calculées pour d’autres couches. Nous étudions une instanciation de cette idée, appelée *Gradient Smoothing*, qui couple les mises à jour des optimiseurs à travers la profondeur et admet une interprétation naturelle comme une méthode de préconditionnement structurée. Notre cadre fonctionne directement sur des vecteurs de mise à jour bloc par bloc produits par des optimiseurs de base arbitraires (par exemple, SGD, Adam, Muon), appliquant des opérateurs de lissage structuré en profondeur tels que la moyenne pondérée locale avec un minimum de surcharge de calcul. Nous évaluons le lissage de gradient à travers un ensemble diversifié d’architectures et de régimes d’entraînement, incluant le préentraînement des modèles de langage, la post-formation RL des LLM sur des tâches de raisonnement, la modélisation de diffusion et la classification d’images avec des transformateurs de vision. Dans ces contextes, le lissage du gradient améliore systématiquement la convergence et la généralisation sans modifier les architectures de modèles ni les objectifs d’entraînement. Nous montrons en plus que le lissage favorise une évolution plus structurée des représentations en profondeur, suggérant un lien entre le couplage structuré des mises à jour et l’organisation interne des représentations apprises. Ces résultats positionnent le lissage de gradient comme une approche simple et largement applicable pour améliorer la formation dans les réseaux profonds modernes.

Dans cet article, nous identifions une décomposition sémantique dans les séquences d’actions robotiques, séparant l’intention de mouvement au niveau de la tâche des raffinements au niveau de l’exécution. En analysant les actions dans le domaine spectral à l’aide de la transformée cosinus discrète (DCT), on observe que les composantes basse fréquence capturent les trajectoires du mouvement global, tandis que les composantes hautes fréquences codent un timing précis, un alignement et des comportements de contact. Motivés par cette structure, nous proposons la Politique Spectrale Causale (CSP), qui modélise la génération d’actions comme un processus causal grossier à fin : le mouvement grossier est prédit à partir de l’observation et du langage, et les corrections fines sont produites conditionnellement sur la trajectoire réalisée. À travers la simulation et les évaluations réelles, le CSP surpasse constamment les références solides sur les tâches de manipulation sensibles à la précision. De plus, nous proposons l’injection de bruit par téléopération inspirée par l’humain comme méthode d’augmentation de données, dans laquelle notre approche démontre une forte robustesse face à des démonstrations bruyantes.

L’innovation est une force motrice clé de la civilisation humaine. À mesure que le corpus de connaissances a considérablement grandi, le pont entre différentes disciplines, où des innovations importantes émergent souvent, est devenu de plus en plus difficile. Les avancées récentes dans les modèles d’apprentissage automatique, en particulier les grands modèles de langage (LLM), ont permis un accès efficace à de vastes sources de connaissances et démontré des capacités impressionnantes de raisonnement, offrant d’importantes opportunités de découverte interdisciplinaire. Nos recherches visent à comprendre les capacités des LLM à la fine pointe de la technologie à intégrer les connaissances de différents domaines pour la recherche interdisciplinaire (IDR). Pour répondre à ce problème fondamental, nous introduisons IDRBench, un cadre novateur qui inclut à la fois des ensembles de données et des tâches d’évaluation : (1) l’identification des articles IDR, (2) l’intégration des idées IDR, et (3) la recommandation d’idées IDR. Notre étude sur dix LLM traditionnels fournit une analyse complète de leur comportement et établit des repères et des références pour des recherches futures. À notre connaissance, IDRBench est le premier à fournir une enquête complète sur la capacité IDR des LLM.

L’apprentissage des distributions conditionnelles $\pi^\star(\cdot|x)$ est un problème central en apprentissage automatique, qui est généralement abordé via des méthodes supervisées avec des données appariées $(x,y) \sim \pi^\star$. Cependant, l’acquisition d’échantillons de données appariés est souvent difficile, surtout dans des problèmes comme la traduction de domaine. Cela nécessite le développement de modèles *semi-supervisés* qui utilisent à la fois des données appariées limitées et des échantillons i.i.d. non appariés supplémentaires $x \sim \pi^\star_x$ et $y \sim \pi^\star_y$ à partir des distributions marginales. L’utilisation de telles données combinées est complexe et repose souvent sur des approches heuristiques. Pour remédier à ce problème, nous proposons un nouveau paradigme d’apprentissage qui intègre harmonieusement les données jumelées et non appariées en utilisant des techniques de maximisation de la vraisemblance des données. Nous démontrons que notre approche se connecte aussi, de façon intrigante, au transport optimal entropique inverse (OT). Cette découverte nous permet d’appliquer les avancées récentes en OT computationnelle pour établir un algorithme d’apprentissage *de bout en bout* afin d’obtenir $\pi^\star(\cdot|x)$. De plus, nous dérivons la propriété d’approximation universelle, démontrant que notre approche peut théoriquement récupérer de vraies distributions conditionnelles avec une erreur arbitrairement faible. Enfin, nous démontrons par des tests empiriques que notre méthode apprend efficacement les distributions conditionnelles en utilisant simultanément des données appariées et non appariées.

L’échantillonnage postérieur par diffusion (DPS) offre une approche bayésienne de principe pour les problèmes inverses en échantillonnant à partir de $p(x_0 \mid y)$. Bien que l’échantillonnage postérieur soit précieux pour capter l’incertitude et la multimodalité, de nombreux contextes classiques et pratiques de problèmes inverses priorisent finalement une estimation ponctuelle précise — notamment l’estimateur MAP, qui a longtemps servi d’objectif standard de reconstruction en imagerie et en applications scientifiques. Nous introduisons l’échantillonnage local MAP (LMAPS), un nouveau cadre d’inférence qui résout de manière itérative les sous-problèmes locaux de MAP le long de la trajectoire de diffusion. Cette perspective clarifie leur lien avec le MAP global et le DPS, offrant une interprétation probabiliste unifiée pour les méthodes basées sur l’optimisation. Sur cette base, nous développons des algorithmes pratiques avec une approximation de covariance motivée par l’hypothèse a priori gaussienne, un objectif reformulé pour la stabilité et l’interprétabilité. À travers un large éventail de tâches de restauration d’images et scientifiques, le LMAPS atteint des performances à la fine pointe de la technologie.

Malgré des progrès rapides, le raisonnement multimodal manque encore d’une approche systématique pour synthétiser des ensembles de données centrés sur la vision à grande échelle, au-delà des mathématiques visuelles. Nous introduisons un cadre capable de synthétiser des problèmes centrés sur la vision couvrant divers niveaux de complexité, et le jeu de données résultant avec plus de 1 million de problèmes de haute qualité, incluant : traces de raisonnement, données de préférences et prompts d’instruction supportant la SFT, hors ligne et en ligne RL.  Notre cadre de synthèse centré sur la vision utilise un processus en deux étapes axé sur : (1) la génération de questions diverses et vérifiables à partir d’images existantes à grande échelle, et (2) la création de problèmes visuels compositionnels complexes en fusionnant des questions plus simples. 

Fait remarquable, l’ajustement précis de Qwen2.5-VL-7B sur nos données surpasse les bases de données ouvertes existantes sur les benchmarks évalués centrés sur la vision, et nos meilleures configurations égalent ou surpassent des modèles solides de données fermées comme MiMo-VL-7B-RL sur V*Bench, CV-Bench et MMStar-V. Notamment, bien qu’entièrement centrées sur la vision, nos données se transfèrent positivement vers le raisonnement uniquement textuel (MMLU-Pro, +3,7%) et le raisonnement audio (MMAU, +1,32%), démontrant son efficacité. De même, malgré l’absence de données visuelles incorporées, nous observons des gains notables (NiEH, +8,8%) lors de l’évaluation de l’assurance qualité incorporée ouverte. Enfin, nous utilisons nos données pour analyser de manière exhaustive, à l’échelle (1M+), l’ensemble du pipeline post-entraînement du VLM, montrant que (i) la SFT sur des données de haute qualité avec des comportements cognitifs sur des traces de raisonnement est essentielle pour étendre le RL en ligne, (ii) la RL hors ligne pourrait égaler la performance du RL en ligne tout en désagrégant les besoins de calcul, et, (iii) la SFT sur des données de haute qualité améliore également hors domaine, Transfert intermodal.

L’ancrage symbolique (Harnad, 1990) décrit comment des symboles tels que les mots acquièrent leur sens en se connectant à des expériences sensorimotrices réelles. Des travaux récents ont montré des preuves préliminaires que le grounding peut émerger dans des modèles de langage (vision-)entraînés à grande échelle sans utiliser d’objectifs explicites de grounding. Pourtant, les lieux spécifiques de cette émergence et les mécanismes qui la motivent restent largement inexplorés. Pour résoudre ce problème, nous introduisons un cadre d’évaluation contrôlée qui retrace systématiquement comment le fondement symbolique apparaît dans les calculs internes par l’analyse mécaniste et causale. Nos résultats montrent que l’ancrage se concentre dans les calculs de couche intermédiaire et est mis en œuvre par le mécanisme d’agrégats, où les têtes d’attention agrégent le terrain environnemental pour soutenir la prédiction des formes linguistiques. Ce phénomène se réplique dans le dialogue multimodal et entre architectures (Transformers et modèles d’espace d’états), mais pas dans les LSTM unidirectionnels. Nos résultats fournissent des preuves comportementales et mécanistiques que l’ancrage symbolique peut émerger dans les modèles de langage, avec des implications pratiques pour la prédiction et le contrôle potentiel de la fiabilité de la génération.

Malgré les progrès rapides des modèles de génération vidéo, le rôle des données dans l’influence du mouvement est mal compris. Nous présentons Motive (MOTIon attribution pour Video gEneration), un cadre d’attribution de données centré sur le mouvement et basé sur des gradients, qui s’adapte à des ensembles de données vidéo modernes, volumineux et de haute qualité. Nous utilisons cela pour étudier quels clips d’ajustement fin améliorent ou dégradent la dynamique temporelle. Le motif isole la dynamique temporelle de l’apparence statique via des masques de perte pondérés par le mouvement, permettant un calcul d’influence spécifique au mouvement efficace et évolutif. Sur les modèles texte en vidéo, Motive identifie des extraits qui influencent fortement le mouvement et guide la curation des données qui améliore la cohérence temporelle et la plausibilité physique. Avec des données à forte influence sélectionnées par Motive, nous améliorons à la fois la fluidité du mouvement et le degré dynamique sur VBench, atteignant un taux de victoire par préférence humaine de 74,1% comparé au modèle de base pré-entraîné. À notre connaissance, c’est le premier cadre à attribuer le mouvement plutôt qu’à l’apparence visuelle dans les modèles vidéo génératifs et à l’utiliser pour organiser l’ajustement fin des données.

La perception et la prise de décision dans le monde réel sont intrinsèquement multimodales, intégrant des signaux complémentaires entre différentes modalités. Cependant, l’entraînement de modèles multimodaux rencontre deux principaux obstacles. Premièrement, collecter des ensembles de données multimodaux appariés à grande échelle, bien alignés, est souvent impraticable, ce qui rend la formation multimodale de bout en bout difficile. Deuxièmement, les représentations multimodales existantes entremêlent fréquemment l’information partagée entre modalités avec des informations spécifiques à chaque modalité, ce qui nuit à l’interprétabilité et au contrôle. Nous introduisons MultiLoReFT, un cadre d’ajustement fin de représentation de bas rang efficace et évolutif pour l’apprentissage multimodal avec des modèles unimodaux pré-entraînés. MultiLoReFT étend l’adaptation de bas rang au contexte multimodal et apprend des sous-espaces de projection interprétables qui découplent l’information partagée de l’information spécifique à la modalité. À travers des benchmarks simulés et réels, elle produit des représentations qui soutiennent la prédiction multimodale tout en révélant explicitement comment l’information partagée et spécifique à la modalité est distribuée entre les modalités.

Recent benchmarks reveal that single-cell perturbation response models are often outperformed by simply predicting the dataset mean. Through large-scale *in silico* simulations, together with analyses of two real-world perturbation datasets, we trace this anomaly to a metric artifact: unweighted error metrics systematically reward mean predictions when perturbation effects are sparse. To address this limitation, we introduce differentially expressed gene (DEG)-aware metrics—weighted mean-squared error (WMSE) and weighted delta $R^{2}$ ($R^{2}_{w}(\Delta)$)—that sensitively measure error in niche, perturbation-specific signals. We further propose explicit negative and positive performance baselines to calibrate these metrics. Under this framework, the mean baseline sinks to null performance, while genuinely informative predictors are correctly rewarded. Finally, we show that using WMSE as a training objective reduces mode collapse and improves predictive performance across multiple model architectures.

L’apprentissage par renforcement (RL) intégré aux outils (TI) permet aux grands modèles de langage (LLM) d’effectuer un raisonnement en plusieurs étapes en interagissant avec des outils externes tels que les moteurs de recherche et les récupérateurs. Group Relative Policy Optimization (GRPO), illustrée par le récent Search-R1, offre une convergence rapide et une formulation sans valeur qui la rend attrayante pour ce contexte, tout en souffrant constamment d’un effondrement de l’entraînement. Nous identifions le déplacement paresseux de la vraisemblance (LLD), une réduction systématique ou stagnation de la probabilité de réponses correctes et incorrectes, comme le mécanisme central à l’origine de cette défaillance. La LLD apparaît tôt et déclenche une spirale de mort de LLD auto-renforçante, où la probabilité décroissante entraîne des réponses de faible confiance, gonflent les gradients et, ultimement, provoquent un effondrement. Nous caractérisons empiriquement ce processus à travers des modèles selon une tâche de réponse intégrée à la recherche à la Search-R1, révélant une trajectoire cohérente en trois phases : stagnation précoce, décroissance progressive et effondrement accéléré. Pour y remédier, nous proposons un LLDS de régularisation préservant la probabilité qui ne s’active que lorsque la vraisemblance d’une action de réponse diminue, et qui régularise uniquement les jetons responsables. Cette structure à grain fin atténue la LLD avec un minimum d’interférence. Notre méthode stabilise l’entraînement, prévient l’explosion du gradient et offre des améliorations substantielles de performance sur sept benchmarks, incluant des améliorations relatives de +45,2% sur Qwen2,5-3B et de +37,1% sur Qwen2,5-7B par rapport à l’entraînement GRPO classique. Nos résultats établissent le LLD comme un goulot d’étranglement auparavant négligé dans le TIRL basé sur GRPO et offrent une voie pratique vers une formation stable et évolutive du RL intégré par outils.

L’audit de la vie privée s’est imposé comme un outil pratique pour estimer empiriquement la fuite de données d’entraînement dans les modèles d’apprentissage automatique, contrairement aux limites démontrables mais souvent trop pessimistes fournies par l’analyse différentielle de la vie privée. Une stratégie courante consiste à utiliser des attaques d’inférence d’appartenance pour détecter la présence de canaris spécifiques — des points de données choisis pour maximiser le succès des attaques — dans les données d’entraînement. Cependant, les conceptions existantes de canaris sont en grande partie heuristiques, reposant sur des échantillons mal étiquetés ou hors distribution. Nous comblons cette lacune en formulant la conception du canari comme un problème d’optimisation à deux niveaux, où le modèle est entraîné dans la boucle interne et le canari est optimisé dans la boucle extérieure pour maximiser sa détectabilité. Pour résoudre ce problème, nous développons OptiFluence, un cadre d’optimisation évolutif qui combine (i) l’initialisation en sélectionnant des candidats à l’aide de fonctions d’influence et (ii) l’optimisation déroulée avec des techniques efficaces en mémoire. Notre approche atteint des performances empiriques remarquables sur quatre ensembles de données. Les canaris optimisés atteignent des taux de détection quasi parfaits de 99,6% à 0,1% de taux de faux positifs sur CIFAR-10, surpassant les références dans la distribution de 4 $ et plusieurs fois. De manière cruciale, ces canaris se transfèrent efficacement entre différentes architectures de modèles sans réentraînement, ce qui permet des audits pratiques de confidentialité par des tiers. Cette transférabilité permet aux régulateurs et auditeurs d’évaluer la confidentialité des modèles sans avoir à avoir accès à une infrastructure de formation propriétaire ou à des ressources computationnelles substantielles.

Les systèmes d’IA agents fonctionnent selon des trajectoires : ils planifient, invoquent des outils, mettent à jour la mémoire et coordonnent à travers plusieurs étapes. Cependant, l’interprétabilité demeure largement centrée sur le modèle, axée sur l’explication de prédictions uniques plutôt que sur le tracé du comportement à long horizon et de la responsabilité à travers les composantes interagissantes. En conséquence, les échecs critiques, tels que l’utilisation abusive des outils, les défaillances de coordination ou la dérive des objectifs, échappent souvent aux audits existants jusqu’à ce qu’un dommage survienne. Nous soutenons que l’interprétabilité des systèmes agents doit devenir centrée sur le système, en abordant les trajectoires, l’attribution des responsabilités et la dynamique du cycle de vie plutôt que les seuls mécanismes internes du modèle. Nous avançant trois affirmations : l’interprétabilité doit (1) co-évoluer avec les capacités agentiques, (2) traiter des couches distinctes d’opacité avec des méthodes adaptées, et (3) s’intégrer tout au long du cycle de vie du déploiement. Pour mettre en œuvre ce poste, nous introduisons ATLIS (Agentic Trajectory and Layered Interpretability Stack), un cadre intégrant cinq couches d’interprétabilité sur un cycle de vie de déploiement en cinq étapes. ATLIS permet une surveillance continue légère avec une escalade consciente des risques vers une analyse systématique plus approfondie lorsque des incidents sont détectés. ATLIS fournit un plan directeur pour combler l’écart croissant entre les capacités agentiques et l’infrastructure d’interprétabilité nécessaire pour les gouverner.

En plus de soixante ans depuis sa création, le domaine de la planification a apporté des contributions significatives tant à la théorie qu’à la pratique de la construction de logiciels de planification capables de résoudre un problème d’urbanisme jamais vu auparavant. Cela s’est fait grâce à des pratiques établies de conception rigoureuse et d’évaluation des systèmes de planification. Notre position est que cette rigueur devrait être appliquée à la tendance actuelle du travail sur la planification avec de grands modèles de langage. Une façon d’y parvenir est d’intégrer correctement les informations, outils et données de la communauté de planification automatisée dans la conception et l’évaluation des planificateurs basés sur LLM. L’expérience et l’expertise de la communauté de la planification pourraient jouer un rôle crucial dans l’accélération du développement des planificateurs basés sur les LLM. Cette position est particulièrement importante à la lumière de l’abondance de travaux récents qui reproduisent et propagent les mêmes pièges que la communauté de la planification a rencontrés et dont elle a tiré des leçons. Nous croyons que l’établissement de pratiques qui évitent ces pièges connus contribuera grandement aux progrès dans la construction de planificateurs basés sur les LLM et à la planification en général.

L’IA open source évolue rapidement, et les centres de modélisation hébergent maintenant des millions d’artefacts. Chaque modèle de fondation peut générer un grand nombre d’ajustements fins, d’adaptateurs, de quantifications, de fusions et de forks. Nous soutenons que l’efficacité de calcul seule est insuffisante pour la durabilité de l’IA open source. Des coûts par course plus faibles peuvent accélérer l’expérimentation et le déploiement, augmentant l’empreinte globale à moins que les impacts ne soient mesurables et comparables entre les lignées de dérivés. Cependant, la consommation d’énergie, la consommation d’eau et les émissions de ces lignées dérivées sont rarement mesurées ou divulguées de manière cohérente et comparable, laissant l’impact global sur l’écosystème largement invisible. Nous soutenons que l’IA open source durable nécessite une infrastructure de coordination qui suit les impacts à travers les lignées de modèles, et pas seulement les modèles de base. Nous proposons la comptabilité des données et de l’impact (DIA), une couche de transparence légère et non restrictive qui (i) standardise les métadonnées de rapport carbone et eau, (ii) intègre la mesure à faible friction dans des pipelines de formation et d’inférence communs, et (iii) agrége les rapports via des tableaux de bord publics pour résumer les impacts cumulatifs entre les publications et les dérivés. La DIA rend visibles les coûts dérivés et soutient la responsabilité à l’échelle de l’écosystème tout en préservant l’ouverture.

L’autoformalisation, c’est-à-dire traduire le langage naturel informel en langages formels et vérifiables par machine, a été présentée comme un outil pour générer des données d’entraînement pour les probateurs de théorèmes neuronaux, la plupart des travaux se concentrant sur des énoncés individuels. Cet article de position défend l’autoformalisation au niveau théorique : formaliser des théories complètes, incluant axiomes, définitions, théorèmes, démonstrations, tactiques et leurs interdépendances sous forme de bibliothèques structurées. Nous examinons l’importance de ce changement, abordons 3 points de vue alternatifs, identifions 5 défis ouverts et proposons 3 voies prometteuses à suivre.

Les grands modèles de langage contemporains sont principalement entraînés à l’aide de l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF), optimisant pour l’approbation immédiate des utilisateurs plutôt que pour le bien-être à long terme. Ce document de position soutient que, à mesure que les systèmes d’IA remplissent de plus en plus des fonctions socioémotionnelles, cette stratégie d’optimisation présente des risques importants. Des preuves récentes démontrent que les modèles de pointe manifestent une flagornerie systématique, affirmant des comportements inappropriés des utilisateurs et préservant leur visage à des taux bien supérieurs aux références humaines, tout en étant environ 40% plus susceptibles de renforcer les croyances incorrectes que leurs homologues non-RLHF. Nous soutenons que la communauté de l’IA doit fondamentalement reconsidérer ses objectifs d’entraînement afin d’équilibrer la satisfaction à court terme avec les résultats à long terme des utilisateurs. Nous proposons trois directions : (1) intégrer des métriques longitudinales dans la formation qui capturent l’atteinte durable des objectifs et la réduction du regret plutôt que la préférence momentanée, (2) permettre un choix explicite de l’utilisateur entre modes d’interaction (concierge, collaborateur, coach) avec une justification transparente de la résistance du modèle, et (3) développer des cadres offrant un défi constructif sans paternalisme. Les récentes réactions négatives de l’industrie contre l’adéquation excessive et insuffisante des modèles soulignent l’urgence de ce changement. Nous soutenons que l’optimisation des systèmes d’IA pour l’épanouissement humain, et non seulement pour l’approbation humaine, représente à la fois un impératif éthique et une voie vers un déploiement de l’IA plus durable et fiable.

Les systèmes d’IA agentique, en particulier ceux construits sur de grands modèles de langage (LLM) et déployés comme agents autonomes et spécialisés dans les rôles, émergent rapidement dans la prise de décision clinique. Ce document de position soutient que sans équité et explicabilité comme contraintes fondamentales de conception, de tels systèmes aggraveront les disparités en soins de santé. En utilisant des preuves empiriques issues d’une simulation multi-agents d’un comité de sélection de transplantation hépatique, nous démontrons que même des agents performants peuvent désavantager systématiquement les patients en fonction du sexe, de l’ethnie et du statut socioéconomique. Ces disparités découlent de la dépendance des agents à des variables indirectes non cliniques (type d’assurance, niveau d’éducation, indice de privation de zone) et sont aggravées par l’absence d’explications au niveau du cas et de raisonnement temporel. Nous soutenons en outre que sans stratégies de déploiement conscientes de l’équité, de tels systèmes ne peuvent pas être audités de manière fiable ni intégrés éthiquement dans les soins réels. En réponse, nous proposons une feuille de route technique avec des objectifs d’apprentissage sensibles aux sous-groupes, des modules de raisonnement contrefactuel, une gouvernance du clinicien dans la boucle et des protocoles de déploiement qui répondent à la fracture numérique. Nous encourageons la communauté de l’apprentissage automatique à mettre au centre l’explicabilité et l’équité en santé dans le développement et le déploiement de l’IA agente pour la médecine, surtout dans les domaines à enjeux élevés où les décisions algorithmiques peuvent déterminer qui vit et qui ne vit pas.

Nous étudions des modèles autorégressifs linéaires post-entraînement avec des récompenses de résultats et de processus. Étant donné un contexte $x$, le modèle doit prédire la réponse $y \in \mathcal{Y}^N$, une suite de longueur $N$ qui satisfait une condition de marge $\gamma$, une extension de la séparabilité standard des séquences. Nous démontrons que sur des échantillons de test où le modèle de base atteint une vraisemblance non triviale $\alpha$, une variante du gradient de politique (PG) peut atteindre la vraisemblance $1 – \varepsilon$ avec un nombre essentiellement minimax optimal de requêtes de récompense $\tilde{\mathcal{O}}((\alpha^{-1} + \varepsilon^{-1})/\gamma^2)$. Cependant, un obstacle se présente pour aller au-delà du support du modèle de base. Nous démontrons que l’erreur globale attendue après l’entraînement avec des récompenses de résultat est régie par une propriété du modèle de base appelée *Quantile de vraisemblance* (LQ), et que les variantes de PG, bien que minimax optimales, peuvent nécessiter un certain nombre de requêtes de récompense exponentielles en $N$ pour dépasser ce support, peu importe l’algorithme de pré-entraînement. Pour surmonter cette barrière, nous étudions l’après-entraînement avec un modèle de récompense de processus, et démontrons comment les variantes PG dans ce contexte évitent la malédiction de la dimensionnalité en $N$ grâce à la dépendance à un LQ de niveau jeton. En cours de route, nous démontrons que sous la condition de marge, SGD avec taux d’apprentissage adaptatif (LR) atteint une erreur de test quasi optimale pour l’apprentissage statistique, et PG avec LR adaptatif produit un nombre quasi optimal d’erreurs pour l’apprentissage en ligne tout en étant efficace computationnellement chaque fois que possible, ce qui peut être d’intérêt indépendant.

Les modèles de langage génomique (gLM) ont le potentiel d’approfondir la compréhension de la génomique régulatrice sans nécessiter de données marquées. La plupart des gLM sont pré-entraînés à l’aide de tâches de reconstruction de séquences inspirées du traitement du langage naturel, mais des études récentes ont montré que ces gLM ne capturent souvent pas le signal biologique. Pour surmonter cela, nous introduisons des tâches de préentraînement qui prédisent le taux d’évolution. Ces tâches sont conçues de façon à pouvoir être composées par reconstruction de séquences, permettant une comparaison contrôlée entre la prédiction de la séquence seulement, la vitesse d’évolution seulement, ou les deux. Pour combler les lacunes dans les évaluations existantes, nous avons développé une série de repères fondés sur le plan biologique. 

À travers ces tâches, et pour les références établies de prédiction d’effets variants, les modèles pré-entraînés à la fois sur le taux de séquence et évolutif surpassent ceux entraînés uniquement sur la séquence, et l’entraînement sur le taux évolutif peut rendre même les modèles relativement petits de notre travail compétitifs avec des gLM existants beaucoup plus grands pour certaines tâches sur le génome humain. Ces résultats établissent l’évolution comme une cible clé d’entraînement pour les modèles à l’échelle du génome.

Nous introduisons un modèle prédictif qui estime la perte avant entraînement des grands modèles à partir de la taille du modèle ($N$), de la taille du lot ($B$) et du nombre de mises à jour de poids ($K$). C’est le premier modèle de prédiction des pertes capable de gérer la variation de la taille du lot. Le modèle surpasse le modèle de perte de Chinchilla, un modèle de la perte de test utilisant la taille du lot et le nombre de jetons, en termes de projection de la perte à des budgets de calcul extrapolés (jusqu’à 1000 fois). Une utilisation naturelle du modèle est de trouver des configurations optimales $N,B,K$ sous des contraintes explicites et composées de ressources comme le temps, la mémoire et le calcul. Dans nos expériences, les configurations sélectionnées par le modèle sont proches de l’optimale de la vérité du terrain. Notre travail préconise la prédiction des pertes comme une meilleure alternative aux lois basées sur l’heuristique, qui deviennent de plus en plus complexes. L’implémentation est disponible sur https://github.com/chuningxdy/Noisy-Quadratic-System.

L’adaptation en temps de test (TTA) peut réduire l’erreur sur les données nouvelles et différentes en mettant à jour le modèle sur ces entrées lors de l’inférence. Cependant, ces mises à jour soulèvent la question de la confidentialité par rapport aux données de test, car les paramètres du modèle dépendent désormais de toutes les entrées passées. Pour contrôler ce risque de confidentialité, nous intégrons plusieurs méthodes TTA populaires (Tent, EATA, SAR, DeYO et COME) dans des formulaires de confidentialité différentielle (DP) qui appliquent le découpage de gradient par échantillon et le bruit gaussienne pour toutes les mises à jour. Sur ImageNet-C, nos méthodes DP-TTA offrent une confidentialité adéquate à faible coût pour la précision, et dans un régime de faible confidentialité, le mécanisme de clipping de DP peut même améliorer la précision et la stabilité de l’adaptation en continu. Ces améliorations en matière de confidentialité et de précision n’entraînent qu’une surcharge computationnelle modeste. Ces premiers résultats sur la TTA privée sensibilisent au problème, orientent le développement de nouvelles mises à jour privées lors des essais et identifient le clipping par échantillon comme une technique efficace pour améliorer la précision et la stabilité de l’adaptation.

Les architectures prédictives d’intégration conjointe (JEPA) apprennent les représentations invariantes en vue et admettent l’appariement de distributions basé sur la projection pour prévenir l’effondrement. Les approches existantes régularisent les représentations vers des distributions gaussiennes isotropes, mais favorisent intrinsèquement les représentations denses et ne capturent pas la propriété clé de la parcimonie observée dans les représentations efficaces. Nous introduisons la régularisation par correspondance de distribution rectifiée (RDMReg), une perte de correspondance de distribution à deux échantillons tranchés qui aligne les représentations à une distribution Gaussienne généralisée rectifiée (RGG). RGG permet un contrôle explicite sur la norme $\ell_0$ attendue par rectification, tandis que sa composante tronquée continue admet une caractérisation à entropie maximale sous les contraintes et contraintes de support $\ell_p$ attendues. Équiper les JEPA avec RDMReg donne un LpJEPA rectifié, qui généralise strictement les JEPA basés sur les gaussiens antérieurs. Empiriquement, Rectified LpJEPA apprend des représentations clairsemées et non négatives avec des compromis favorables entre parciune et performance et une performance compétitive en aval sur les benchmarks de classification d’image, montrant que RDMReg peut imposer la parcimonie tout en préservant l’information pertinente pour la tâche.

Nous introduisons RedDebate, un nouveau cadre de débat multi-agents qui sert de base aux grands modèles de langage (LLM) pour identifier et atténuer leurs propres comportements dangereux. Les approches existantes de sécurité de l’IA reposent souvent sur des évaluations humaines coûteuses ou une évaluation isolée d’un seul modèle, toutes deux limitées par l’évolutivité et sujettes à des défaillances de surveillance. RedDebate utilise l’argumentation collaborative entre plusieurs LLM à travers divers scénarios de débat, leur permettant d’évaluer de manière critique le raisonnement des autres et de découvrir systématiquement des modes de défaillance dangereux grâce au red-teaming entièrement automatisé. Nous intégrons en outre des modules de mémoire à long terme distincts qui préservent des informations pertinentes pour la sécurité issues des interactions de débat et les exploitons lors des inférences ultérieures, facilitant ainsi un affinement continu du comportement du modèle. L’évaluation empirique des benchmarks de sécurité à travers un ensemble diversifié de modèles démontre que RedDebate réduit substantiellement les résultats dangereux. Bien que le débat seul permette aux LLM d’affiner leur comportement, l’ajout de modules mémoire entraîne d’autres réductions significatives. À notre connaissance, RedDebate est le premier cadre entièrement automatisé à unifier le débat multi-agents et le red-teaming afin d’améliorer progressivement la sécurité des LLM sans intervention humaine.

Nous introduisons les processus décisionnels de Markov sporadiquement tracables déclenchés par l’action (ATST-MDP), un cadre d’apprentissage par renforcement pour l’observabilité partielle dans lequel les observations à état complet se produisent de manière stochastique à chaque étape, la probabilité étant déterminée par l’action choisie. Nous dérivons des équations de Bellman adaptées à ce contexte et établissons l’existence d’une politique optimale. En exploitant le fait que des observations sporadiques révèlent l’état complet, nous fournissons une formulation équivalente dans laquelle les agents s’engagent dans des séquences d’actions entre des observations consécutives. Sous l’hypothèse linéaire MDP, nous montrons que la fonction de valeur sur de telles séquences d’actions admet une représentation linéaire dans une carte de caractéristiques de dimension finie, permettant des méthodes standard basées sur la régression. En tant qu’application, nous dérivons ATST-LSVI-UCB, un algorithme optimiste obtenant regret $\widetilde{O}(\sqrt{Kd^3(1-\gamma)^{-3}})$ pour l’apprentissage épisodique avec des horizons géométriquement distribués, où $K$ est le nombre d’épisodes, $d$ la dimension des caractéristiques, et $\gamma$ le facteur d’actualisation (probabilité de continuation des épisodes), correspondant au taux connu pour les MDP linéaires avec une observabilité complète.

Les évaluations actuelles de l’intelligence spatiale peuvent être systématiquement invalides dans les contextes modernes du modèle vision-langage (VLM). Premièrement, de nombreux benchmarks dérivent des paires questions-réponses (QA) à partir d’annotations 3D basées sur un nuage de points, initialement sélectionnées pour la perception 3D traditionnelle. Lorsque de telles annotations sont traitées comme des éléments fondamentaux pour une évaluation vidéo, la reconstruction et les artefacts d’annotation peuvent manquer des objets clairement visibles dans la vidéo, mal étiqueter les identités des objets ou corrompre des réponses dépendantes de la géométrie (par exemple, la taille), ce qui donne des paires d’assurance qualité incorrectes ou ambiguës. Deuxièmement, les évaluations supposent souvent un accès complet à la scène, tandis que de nombreux VLM fonctionnent sur des images peu échantillonnées (par exemple, 16-64), ce qui rend de nombreuses questions pratiquement sans réponse sous les entrées réelles du modèle. Nous améliorons la validité de l’évaluation en introduisant ReVSI, un benchmark et un protocole qui garantissent que chaque paire QA est responsable et correcte selon les entrées réelles du modèle. À cette fin, nous réannotons les étiquettes d’objets et la géométrie sur 413 scènes à partir de 5 ensembles de données afin d’améliorer la qualité des données, et régénérons toutes les paires QA avec une rigoureuse atténuation des biais et une vérification humaine à l’aide d’outils professionnels de visualisation et d’annotation 3D. Nous améliorons encore la contrôlabilité de l’évaluation en fournissant des variantes sur plusieurs budgets d’images (16/32/64/toutes) et des métadonnées de visibilité d’objets à grain fin, permettant des analyses diagnostiques contrôlées. Les évaluations des VLM généraux et spécifiques au domaine sur ReVSI révèlent des modes de défaillance systématiques qui sont obscurcis par les benchmarks antérieurs, offrant une évaluation plus fiable et diagnostique de l’intelligence spatiale.

Les grands modèles de langage (LLM) permettent le raisonnement sur des structures 2D et 3D, mais les méthodes existantes restent spécifiques à chaque modalité et compressent généralement les entrées structurelles via la tokenisation basée sur la séquence ou des connecteurs de requête à longueur fixe. De telles architectures omettent soit l’ancrage géométrique requis pour atténuer les hallucinations structurelles, soit imposent des goulots d’étranglement inflexibles dans la fusion modale qui compressent et allouent sous-optimalement les jetons structurels, entravant ainsi la réalisation d’un raisonnement généralisé sur tous les atomes. Nous introduisons **Cuttlefish**, un LLM multimodal unifié qui ancre le raisonnement du langage sur des indices géométriques tout en adaptant des jetons de modalité avec complexité structurelle. Premièrement, le **Scaling-Aware Patching** exploite un mécanisme de verrouillage conditionné par l’instruction pour générer des patches de taille variable sur des graphiques structurels, en adaptant ainsi le budget des jetons de requête avec la complexité structurelle afin d’atténuer les goulots d’étranglement de connecteurs à longueur fixe. Deuxièmement, **Geometry Grounding Adapter** affine ces jetons adaptatifs par une attention croisée aux inclusions de modalité et injecte les jetons de modalité résultants dans le LLM, exposant des indices géométriques explicites pour réduire les hallucinations structurales. Des expériences à travers des repères interdisciplinaires entièrement atomiques démontrent que Cuttlefish obtient une performance supérieure dans un raisonnement hétérogène fondé sur la structure. Code : github.com/zihao-jing/Cuttlefish.

Les grands modèles de langage ont connu un succès remarquable sur les problèmes mathématiques à réponse finale, principalement grâce à la facilité d’application de l’apprentissage par renforcement avec des récompenses vérifiables. Cependant, le raisonnement sous-jacent à ces solutions est souvent erroné. Passer à des mathématiques rigoureuses basées sur la preuve nécessite des capacités fiables de vérification des preuves. Nous commençons par analyser plusieurs configurations d’évaluation et montrons que se concentrer sur un seul benchmark peut mener à des conclusions fragiles ou trompeuses. Pour y remédier, nous évaluons à la fois le raisonnement basé sur la preuve et la réponse finale afin d’obtenir une mesure plus fiable de la performance du modèle. Nous mettons ensuite à l’échelle deux grandes méthodes de vérification générative (GenSelect et LLM-as-a-Judge) à des millions de jetons et identifions leur combinaison comme le cadre le plus efficace pour la vérification et la sélection des solutions. Nous montrons en outre que le choix de l’invite pour LLM-as-a-Judge affecte significativement la performance du modèle, mais l’apprentissage par renforcement peut réduire cette sensibilité. Cependant, malgré l’amélioration des métriques au niveau des démonstrations, l’apprentissage par renforcement n’améliore pas la précision des réponses finales, ce qui indique que les modèles actuels récompensent souvent la correction stylistique ou procédurale plutôt que la validité mathématique. Nos résultats établissent des lignes directrices pratiques pour concevoir et évaluer des systèmes évolutifs de vérification et de sélection.

La demande insatiable de données d’entraînement à l’échelle web a exposé les LLM à une menace subtile mais conséquente : l’absorption de contenus frauduleux malveillants dans les poids des modèles et leur reproduction subséquente lors de l’inférence. En novembre 2024, ce risque s’est matérialisé lorsqu’un développeur aurait perdu 2 500 USD après que ChatGPT ait généré un script de trading de cryptomonnaies autrement routinier contenant une URL d’hameçonnage en direct. Pour enquêter de façon systématique sur ce problème, nous introduisons Scam2Prompt, un cadre d’audit automatisé qui explore les sites web connus de l’arnaque, en déduit l’intention fonctionnelle et synthétise des demandes de type développeur anodines — le genre de demandes de codage légitimes qu’un programmeur pourrait naturellement soumettre — afin d’évaluer si les LLM reproduisent les points d’extrémité sous-jacents de l’arnaque. Il est important de noter que notre approche ne nécessite ni déverrouillage ni incitation conflictuelle; les 1 377 prompts de notre benchmark, Innoc2Scam-bench, construit automatiquement par Scam2Prompt, ont été validés par des humains comme des tâches de codage bénignes. L’évaluation de sept LLM de production publiés en 2025 sur Innoc2Scam-bench montre que la vulnérabilité s’avère à la fois persistante et grave : les taux de génération de code malveillant varient de 12,9% à 47,3% pour les modèles évalués, et aucun modèle testé ne s’avère immunisé. Les garde-fous à la fine pointe de la technologie et les agents basés sur RAG offrent une protection limitée, soulignant un besoin urgent de validation explicite des URL dans les pipelines de développement logiciel assisté par LLM.

Les modèles de langage visuel (VLM) à grande échelle, entraînés sur de vastes ensembles de données de paires image-texte, démontrent de fortes capacités de compréhension multimodale en apprenant implicitement les associations entre descriptions textuelles et régions d’image. Cette capacité émergente permet la détection et la segmentation d’objets à zéro plan, en utilisant des techniques qui reposent sur des cartes d’attention texte-image, sans nécessairement s’entraîner sur de nombreux ensembles de données de segmentation notés. Cependant, la performance de ces méthodes dépend fortement de l’ingénierie des prompts et des choix manuels de couches ou de têtes sélectionnés pour les couches d’attention. Dans ce travail, nous proposons une mesure basée sur l’entropie sans entraînement, InfoScore, afin d’identifier les meilleures couches d’attention image-texte pour la segmentation, offrant une solution plus flexible et évolutive pour la segmentation à vocabulaire ouvert sans entraînement, réduisant ainsi la charge supplémentaire de la recherche par hyperparamètre. Nous montrons empiriquement que notre stratégie de sélection sans entraînement est supérieure aux stratégies de sélection naïves. De plus, nous démontrons qu’au lieu de se fier uniquement aux prompts textuels, affiner la couche d’attention image-texte avec un seul exemple visuel de chaque classe améliore significativement la segmentation sans avoir besoin de paramètres ou de décodeurs supplémentaires. De plus, nous montrons que nos méthodes et découvertes sont générales et peuvent être appliquées à divers modèles de vision-langage (VLM).

Les soupes de modèles sont des combinaisons étranges et étrangement efficaces de paramètres. Ils prennent un modèle (le stock), l’ajustent en plusieurs modèles (les ingrédients), puis mélangent leurs paramètres en un seul modèle (la soupe) pour améliorer les prédictions. Bien que toutes les soupes connues nécessitent un apprentissage supervisé et optimisent la même perte sur les données étiquetées, nos recettes pour l’auto-soupervision généralisent les soupes à l’apprentissage auto-supervisé (SSL). Notre Self-Souping nous permet d’aromatiser les ingrédients sur de nouvelles sources de données, par exemple à partir de données non étiquetées d’une tâche pour un transfert ou d’un décalage pour la robustesse. Nous montrons que l’auto-souping sur des données de test corrompues, puis un ajustement fin sur des données de train non corrompues, augmente la robustesse de +3,5% (ImageNet-C) et de +7% (LAION-C). Self-Soupervision débloque aussi d’innombrables algorithmes SSL pour cuisiner les ingrédients variés nécessaires à des soupes plus robustes. Nous montrons pour la première fois que les ingrédients peuvent différer dans leurs hyperparamètres SSL — et, plus surprenant encore, dans leurs algorithmes SSL. Nous cuisinons des soupes d’ingrédients MAE, MoCoV3, MMCR et LeJEPA qui sont plus précis que n’importe quel ingrédient SSL individuel.

Les méthodes modernes hors ligne d’apprentissage par renforcement (RL) trouvent des acteurs-critiques performants, cependant, affiner ces acteurs-critiques en ligne avec des algorithmes RL basés sur la valeur provoque généralement des baisses immédiates de performance. Nous fournissons des preuves cohérentes avec l’hypothèse que, dans le paysage des pertes, les maxima hors ligne pour les algorithmes antérieurs et les maxima en ligne sont séparés par des vallées à faible performance que l’ajustement fin basé sur le gradient traverse. Ensuite, nous présentons Score Matched Actor-Critic (SMAC), une méthode de RL hors ligne conçue pour apprendre les critiques acteurs-critiques qui passent à des algorithmes RL basés sur la valeur en ligne sans baisse de performance. Le SMAC évite les vallées entre les maxima hors ligne et en ligne en régularisant la fonction Q pendant la phase hors ligne afin de respecter une égalité de la dérivée du premier ordre entre le score de la politique et le gradient d’action de la fonction Q. Nous démontrons expérimentalement que le SMAC converge vers des maxima hors ligne qui sont connectés à de meilleurs maxima en ligne via des chemins avec une récompense croissante de façon monotone trouvée par l’optimisation du premier ordre. SMAC permet un transfert fluide vers Soft Actor-Critic et TD3 dans les tâches D4RL 6/6. Dans 4 environnements sur 6, il réduit le regret de 34 à 58% par rapport à la meilleure référence.

Les méthodes d’entraînement dynamique et parcipien (DST) entraînent les réseaux neuronaux en maintenant la parcimonie tout en adaptant dynamiquement la topologie du réseau. Malgré la promesse d’un calcul réduit, les méthodes DST convergent nettement plus lentement que l’entraînement dense, nécessitant souvent un temps d’entraînement comparable pour atteindre une précision similaire. Nous démontrons à la fois analytiquement et empiriquement que la normalisation par lots (BN) affecte négativement l’entraînement parcimonieux, et proposons SparseOpt — un optimiseur conscient de la parcimonie — pour y remédier. Les expériences sur les modèles ResNet à travers CIFAR-100 et ImageNet démontrent une convergence constamment plus rapide et une généralisation améliorée avec notre méthode proposée. Notre travail met en lumière les limites des couches actuelles de normalisation dans l’entraînement clairsemé et fournit la première étude systématique de l’interaction entre la normalisation par lots, les couches clairsemées et la DST, franchissant une étape importante pour rendre la DST pratiquement compétitive avec l’entraînement dense.

Bien que l’adaptation de flux soit élégante, sa dépendance à des vitesses conditionnelles d’un seul échantillon conduit à des cibles d’entraînement à haute variance qui déstabilisent l’optimisation et ralentissent la convergence. En caractérisant explicitement cette variance, nous identifions 1) un *régime à haute variance* près du prior, où l’optimisation est difficile, et 2) un régime *à faible variance* près de la distribution des données, où les vitesses conditionnelle et marginale coïncident presque. En tirant parti de cette idée, nous proposons **Stable Velocity**, un cadre unifié qui améliore à la fois l’entraînement et l’échantillonnage. Pour l’entraînement, nous introduisons le Stable Velocity Matching (StableVM), un objectif de réduction de la variance non biaisé, ainsi que l’alignement de représentation conscient de la variance (VA-REPA), qui renforcent de manière adaptative la supervision auxiliaire dans le régime *faible variance*. Pour l’inférence, nous montrons que la dynamique dans le régime *faible variance* admet des simplifications en forme fermée, permettant l’échantillonnage stable à vitesse (StableVS), une accélération sans affinage. Des expériences approfondies sur ImageNet $256\times256$ et de grands modèles préentraînés texte-to-image et texte-vers-vidéo, incluant SD3.5, Flux, Qwen-Image et Wan2.2, démontrent des améliorations constantes en efficacité d’entraînement et un échantillonnage plus rapide de plus de $2 fois plus rapide dans le régime *faible variance* sans dégrader la qualité de l’échantillon. Notre code est disponible sur https://github.com/linYDTHU/StableVelocity.

Les benchmarks existants pour les agents IA conversationnelles simulent des environnements *à contrôle unique*, où seul l’agent IA peut utiliser des outils pour interagir avec le monde, tandis que l’utilisateur reste un fournisseur d’information passif. Cela diffère des scénarios réels comme le support technique, où les utilisateurs doivent participer activement à la modification de l’état du monde (partagé). Pour combler cette lacune, nous introduisons 

τ²-bench, avec quatre contributions clés : 

1. Un nouveau **domaine à double contrôle des télécommunications** modélisé comme un Dec-POMDP, où l’agent et l’utilisateur utilisent des outils pour agir dans un environnement partagé et dynamique qui teste à la fois la coordination et la communication des agents, 
2. Un **générateur de tâches compositionnel** qui crée de façon programmatique des tâches diverses et vérifiables à partir de composants atomiques, assurant une couverture de domaine et une complexité contrôlée, 
3. Un **simulateur utilisateur fiable** étroitement connecté à l’environnement, dont le comportement est limité par des outils et des états observables, améliorant la fidélité de la simulation, 
4. **analyse fine de la performance de l’agent** à travers plusieurs ablations, incluant la séparation des erreurs liées au raisonnement et à la communication/coordination. 

En particulier, nos expériences montrent des baisses significatives de performance lorsque les agents passent du contrôle sans utilisateur au contrôle double, soulignant les défis liés au guidage des utilisateurs. Dans l’ensemble, 

τ²-bench fournit un banc d’essai contrôlé pour les agents qui doivent à la fois raisonner efficacement et guider les actions de l’utilisateur.

La réciprocité indirecte, c’est-à-dire aider ceux qui aident les autres, est difficile à maintenir chez des agents LLM décentralisés et intéressés sans systèmes de réputation fiables. Nous introduisons l’Agentic Linguistic Gossip Network (ALIGN), un cadre automatisé où les agents partagent stratégiquement des potins ouverts en utilisant des tons hiérarchiques pour évaluer la fiabilité et coordonner les normes sociales. Nous démontrons qu’ALIGN améliore constamment la réciprocité indirecte et résiste aux entrants malveillants en identifiant et en ostracisant les défecteurs sans modifier les incitatifs intrinsèques. Notamment, nous constatons que des capacités de raisonnement plus fortes dans les LLM mènent à une coopération plus axée sur les incitatifs, tandis que les modèles de clavardage coopèrent souvent trop même lorsqu’ils sont stratégiquement sous-optimaux. Ces résultats suggèrent que tirer parti du raisonnement des LLM à travers des commérages décentralisés est une voie prometteuse pour maintenir le bien-être social dans les écosystèmes agents.

Apprendre de bonnes représentations est essentiel pour la planification latente avec des modèles du monde. Bien que les encodeurs visuels pré-entraînés produisent de fortes caractéristiques sémantiques, ils ne sont pas conçus pour la planification et contiennent des informations sans rapport — voire nuisibles — à la planification. Inspirés par l’hypothèse du redressement perceptuel dans le traitement visuel humain, nous introduisons le redressement temporel pour améliorer l’apprentissage de la représentation en vue de la planification latente. En utilisant un régulariseur de courbure qui encourage des trajectoires latentes localement redressées, nous apprenons ensemble un encodeur et un prédicteur d’un modèle mondial Joint-Embedding Predictive Architecture (JEPA). Nous montrons que réduire la courbure de cette façon fait de la distance euclidienne dans l’espace latent un meilleur proxy de la distance géodésique et améliore le conditionnement de l’objectif de planification. Nous démontrons empiriquement que le redressement temporel rend la planification basée sur le gradient plus stable et donne des taux de réussite significativement plus élevés dans une série de tâches d’atteinte d’objectifs. Notre code est en https://agenticlearning.ai/temporal-straightening.

L’apprentissage par renforcement conditionné par objectifs hors ligne (GCRL) rencontre souvent des difficultés avec les tâches à long horizon, où des erreurs dans l’estimation de la valeur s’accumulent et produisent des politiques peu fiables. On suppose généralement qu’une planification efficace à long terme est irréalisable sans formation spécialisée. En revanche, notre travail démontre que les politiques GCRL existantes peuvent accomplir des tâches à long terme lorsqu’elles sont combinées à une enveloppe de planification légère et sans entraînement. Nous constatons que les fonctions de valeur conditionnées par un but standard encodent une structure géométrique localement cohérente, suffisante pour la planification. Notre approche, la recherche de graphes en temps de test (TTGS), construit un graphique sur le jeu de données hors ligne et utilise une stratégie adaptative de sélection de sous-objectifs. Pour corriger les estimations de valeur peu fiables lors de la recherche sur le chemin le plus court, nous proposons un mécanisme novateur qui pénalise doucement les transitions longue distance. Notre méthode engendre une surcharge computationnelle négligeable et ne nécessite aucune supervision supplémentaire ni mise à jour des paramètres. Sur le benchmark OGBench, TTGS augmente considérablement les taux de réussite auprès de plusieurs apprenants et tâches de base, avec des gains principaux sur les tâches complexes de locomotion à long horizon où certains taux de réussite passent de près de zéro à plus de 90%, souvent en égalant ou surpassant les méthodes nécessitant une formation auxiliaire complexe. Le code et les vidéos sont disponibles sur https://ktolnos.github.io/ttgs.

Les optimiseurs de type gradient textuel (TextGrad) permettent une propagation par rétroaction de type gradient à travers des systèmes d’IA composés. Cependant, elles ne fonctionnent pas bien pour les chaînes profondes. La cause profonde de cette limitation provient du problème de *Entanglement sémantique* dans ces flux de travail étendus. Dans la rétropropagation textuelle standard, les signaux de rétroaction mélangent des critiques locales avec des contextes en amont, menant à une *ambiguïté d’attribution*. Pour relever ce défi, nous proposons TextResNet, un cadre qui reformule le processus d’optimisation afin d’obtenir un routage précis des signaux grâce à quatre innovations clés. Premièrement, dans le passage avant, il impose des Deltas sémantiques additifs pour préserver une autoroute d’identité pour l’écoulement en pente. Deuxièmement, dans le passage en arrière, elle introduit la décomposition par gradient sémantique via un projecteur sémantique pour démêler la rétroaction dans des sous-espaces causalement indépendants. Troisièmement, il met en œuvre le routage causal, qui aroute les signaux projetés vers leurs composants spécifiques. Enfin, il effectue une planification par optimisation consciente de la densité pour exploiter les signaux détriqués afin d’allouer dynamiquement les ressources aux goulots d’étranglement clés du système. Nos résultats montrent que TextResNet obtient non seulement des performances supérieures à TextGrad, mais démontre aussi une stabilité remarquable pour les tâches agents dans les systèmes d’IA composés où les bases de base s’effondrent. Le code est disponible sur https://github.com/JeanDiable/TextResNet.

Les Transformateurs de Vision (ViTs) ont connu un succès remarquable dans diverses tâches de vision, mais leur déploiement est souvent entravé par des coûts computationnels prohibitifs. Bien que l’élagage structuré des poids et la compression des jetons se soient révélés des solutions prometteuses, elles souffrent respectivement d’un réentraînement prolongé et de dépendances inter-couches qui compliquent l’optimisation. Nous proposons ToaSt, un cadre découplé appliquant des stratégies spécialisées à des composants ViT distincts. Nous appliquons une taille structurée couplée tête à tête aux modules d’auto-attention multi-têtes, en tirant parti des caractéristiques de fonctionnement de l’attention pour améliorer la robustesse. Pour les réseaux Feed-Forward (plus de 60% des FLOP), nous introduisons la sélection de canal de jetons (TCS), une méthode sans entraînement qui filtre les canaux de bruit redondants au moment de l’inférence. Des évaluations approfondies dans neuf modèles différents, dont DeiT, ViT-MAE et Swin Transformer, démontrent que ToaSt réalise de meilleurs compromis entre précision et efficacité, surpassant constamment les références existantes. Sur ViT-MAE-Huge, ToaSt atteint une précision de 88,52% (+1,64% de p) avec une réduction de 39,4% des FLOPs. ToaSt se transmet également efficacement à diverses tâches en aval (détection COCO, segmentation ADE20K, classification CIFAR-100), atteignant 52,2 contre 51,9 mAP sur COCO. Code : https://github.com/SHANNonLab-HUFS/ToaSt

Les tokeniseurs fournissent la base fondamentale à travers laquelle le texte est représenté et traité par les modèles de langage (LM). Malgré l’importance de la tokenisation, son rôle dans la performance et le comportement de LM est mal compris en raison du défi de mesurer l’impact de la tokenisation isolément. Pour répondre à ce besoin, nous présentons TokSuite, une collection de modèles et un benchmark qui soutient la recherche sur l’influence de la tokenisation sur les LM. Plus précisément, nous publions quatorze modèles pré-entraînés qui utilisent différents tokenizeurs prêts à l’emploi mais sont par ailleurs identiques, utilisant la même architecture, le même ensemble de données, le même budget d’entraînement et l’initialisation. Nous publions également un benchmark de robustesse multilingue qui mesure la performance du modèle sous des perturbations réelles en anglais, chinois, farsi, italien et turc, sélectionné par des annotateurs natifs. Ensemble, TokSuite permet un découplage robuste de l’influence du tokenizer d’un modèle, soutenant une série de découvertes novatrices qui éclairent les avantages et les lacunes respectifs d’un large éventail de tokenizeurs populaires.

La recherche sur la robustesse adversaire dans les modèles de langage est actuellement fragmentée entre applications et attaques, masquant les vulnérabilités partagées. Dans ce travail, nous proposons d’unifier l’étude de la robustesse adversaire dans les modèles de notation de texte couvrant les retrievers denses, les reclasseurs et les modèles de récompense. Cela incite à adapter à la fois les attaques et les méthodes d’entraînement adversaire selon les rôles modèles. Contrairement à la génération ouverte, les échecs de notation de texte sont directement vérifiables : une attaque réussit lorsqu’un texte non pertinent ou rejeté dépasse un texte pertinent ou choisi. En utilisant cette perspective de principe de la notation de texte, nous démontrons que les formulations actuelles d’entraînement adversarial pour les modèles de langage sont souvent à courte vue, ne généralisant pas efficacement entre les attaques. Pour y remédier, nous introduisons plusieurs méthodes d’entraînement adversaire pour les modèles de notation de texte et montrons que la combinaison de méthodes d’entraînement complémentaires peut offrir une solide robustesse tout en améliorant l’efficacité des tâches. Nous soulignons également la valeur pratique de notre approche pour RLHF, montrant que nos modèles de récompense entraînés à l’adversaire atténuent le piratage de récompense et soutiennent la formation de LLM mieux alignés. Nous fournissons notre code et nos modèles pour une étude ultérieure.

Les cartes de flux permettent une génération d’images de haute qualité en un seul passage avant. Cependant, contrairement aux modèles de diffusion itératif, l’absence d’une trajectoire d’échantillonnage explicite empêche l’intégration de contraintes externes pour la génération conditionnelle et la résolution de problèmes inverses. Nous proposons _Variational Flow Maps_, un cadre d’échantillonnage conditionnel qui fait passer la perspective du conditionnement de « guider un chemin d’échantillonnage » à « apprendre le bruit initial approprié ». Plus précisément, à partir d’une observation, nous cherchons à apprendre un _noise adaptateur model_ qui produit une distribution de bruit, de sorte qu’après avoir cartographié à l’espace de données via la carte de flux, les échantillons respectent l’observation et les données antérieures. À cette fin, nous développons un objectif variationnel de principe qui entraîne conjointement l’adaptateur de bruit et la carte d’écoulement, améliorant l’alignement bruit-données, de sorte que l’échantillonnage à partir de données complexes postérieures soit réalisé avec un simple adaptateur. Des expériences sur divers problèmes inverses montrent que les VFM produisent des échantillons conditionnels bien calibrés en une seule (ou quelques étapes). Pour ImageNet, le VFM atteint une fidélité compétitive tout en accélérant l’échantillonnage d’ordres de grandeur comparativement aux modèles alternatifs de diffusion/flux itératif.

Les progrès rapides des modèles vidéo se sont largement concentrés sur la qualité visuelle, laissant leurs capacités de raisonnement sous-explorées. Le raisonnement vidéo ancre l’intelligence dans des environnements visuels spatiotemporellement cohérents qui vont au-delà de ce que le texte peut naturellement capturer, permettant un raisonnement intuitif sur la structure spatio-temporelle, telle que la continuité, l’interaction et la causalité. Cependant, l’étude systématique du raisonnement vidéo et de son comportement de mise à l’échelle est freinée par l’absence de données d’entraînement au raisonnement vidéo à grande échelle. Pour combler cette lacune, nous introduisons le **Very Big Video Reasoning (VBVR) Dataset**, une ressource à une échelle sans précédent couvrant *200* tâches de raisonnement sélectionnées selon une taxonomie de principe, et plus d'*un million* de clips vidéo, ce qui le rend environ *trois ordres de grandeur* plus grand que les ensembles de données existants. Nous présentons en outre **VBVR-Bench**, un cadre d’évaluation vérifiable qui va au-delà du jugement basé sur des modèles en incorporant des notateurs alignés sur des règles et des humains, permettant un diagnostic reproductible et interprétable des capacités de raisonnement vidéo. En tirant parti de la suite VBVR, nous menons l’une des premières études de raisonnement vidéo **à l’échelle** et observons les premiers signes d’une généralisation émergente vers des tâches de raisonnement invisibles. Ensemble, le VBVR pose les bases de la prochaine étape de la recherche en raisonnement vidéo généralisable. Les données, la boîte à outils de benchmark et les modèles sont publiés publiquement à **video-reason.com**.

Bien que la génération augmentée par récupération (RAG) soit l’un des paradigmes dominants pour améliorer les grands modèles de vision et de langage (LVLM) sur les tâches VQA basées sur la connaissance, des travaux récents attribuent les échecs du RAG à une attention insuffisante portée au contexte récupéré, proposant de réduire l’attention accordée aux jetons images. Dans ce travail, nous identifions un mode d’échec distinct que l’étude précédente avait négligé : la distraction de l’attention (MA). Lorsque le contexte récupéré est suffisant (très pertinent ou incluant la bonne réponse), le texte récupéré supprime l’attention visuelle globalement, et l’attention portée aux jetons d’image s’éloigne des régions pertinentes à la question. Cela conduit à des échecs sur les questions auxquelles le modèle pouvait initialement répondre correctement sans le texte récupéré. Pour atténuer ce problème, nous proposons MAD-RAG, une intervention sans entraînement qui découple l’ancrage visuel de l’intégration du contexte grâce à une formulation à double question, combinée à un mélange d’attention pour préserver les preuves conditionnées par l’image. Des expériences approfondies sur OK-VQA, E-VQA et InfoSeek démontrent que MAD-RAG surpasse systématiquement les références existantes dans différentes familles de modèles, produisant des gains absolus allant jusqu’à 4,76%, 9,20% et 6,18% par rapport à la référence RAG classique. Notamment, MAD-RAG corrige jusqu’à 74,68% des cas de défaillance avec une surcharge computationnelle négligeable.

Nous présentons la première analyse empirique à grande échelle des schémas de dépouillement dans les interactions réelles avec les assistants IA, en analysant 1,5 million de conversations Claude.ai consommateurs en utilisant une approche préservant la vie privée. Nous nous concentrons sur le potentiel de désautonomisation situationnelle, qui survient lorsque les interactions avec des assistants IA risquent d’amener les utilisateurs à former des perceptions déformées de la réalité, à porter des jugements de valeur inauthentiques ou à agir de manière déplacée par leurs valeurs. Quantitativement, nous constatons que des formes sévères de potentiel de perte de pouvoir surviennent dans moins d’une conversation sur mille, bien que les taux soient nettement plus élevés dans des domaines personnels comme les relations et le mode de vie. Qualitativement, nous découvrons plusieurs schémas préoccupants, tels que la validation des récits de persécution et des identités grandioses avec un langage flagornant emphatique, des jugements moraux définitifs sur des tiers, et un script complet de communications personnelles chargées de valeurs que les utilisateurs semblent appliquer mot pour mot. L’analyse des tendances historiques révèle une augmentation de la prévalence du potentiel de perte de pouvoir au fil du temps. Nous constatons aussi que les interactions avec un plus grand potentiel de perte de pouvoir reçoivent des cotes d’approbation plus élevées des utilisateurs, ce qui pourrait suggérer une tension entre les préférences à court terme et l’autonomisation humaine à long terme.

Obtenir de l’information pour réduire l’incertitude concernant les propriétés latentes au niveau du groupe est un problème central dans l’évaluation collective, la modélisation des préférences et l’agrégation d’opinions, et est particulièrement important dans les études basées sur des enquêtes. Bien que les interactions en langage naturel offrent une interface flexible, les méthodes existantes reposent généralement sur des questionnaires fixes et des groupes de répondants statiques, et ne s’adaptent pas aux réponses partielles ou manquantes entre les rondes. Pour combler cet écart, nous étudions l’élicitation d’information adaptative par des interactions à plusieurs tours entre un grand modèle de langage et un groupe d’individus, où les requêtes et les répondants sont sélectionnés de manière adaptative pour déduire les propriétés latentes du groupe. Nous proposons un cadre théoriquement fondé qui, à chaque tour, sélectionne conjointement une requête et un sous-ensemble de répondants en fonction des réponses observées précédemment afin de réduire efficacement l’incertitude concernant une quantité latente cible (par exemple, l’inclination politique au niveau du groupe). Motivée par des contraintes pratiques d’enquête, telles que le nombre limité de questions et la participation coûteuse, notre stratégie maximise le gain d’information avec un budget fixe. Pour traiter les réponses manquantes ou incomplètes, nous combinons des réseaux de neurones graphiques pour agréger ou imputer l’information partielle des groupes avec un critère de théorie de l’information qui guide la sélection par tour. À travers trois ensembles de données d’opinions du monde réel, nous obtenons des améliorations constantes dans la prévision des réponses au niveau de la population sous des budgets restreints, incluant un gain relatif de plus de 12% sur le CES avec un budget de 10% des répondants.