Les chercheurs de Vector font progresser l'IA générative, l'IA responsable et la découverte scientifique à l'ICML 2026

Malgré les progrès réalisés dans l'inférence à long contexte, les grands modèles de langage (GML) restent fondamentalement limités par les mécanismes de cache clé-valeur (CV) nécessaires à un calcul stable. Les techniques de gestion, telles que l'éviction sélective de jetons et l'élagage, ont considérablement atténué les problèmes rencontrés, mais elles perdent souvent des informations potentiellement utiles pour gérer les besoins croissants en mémoire du cache. Dans cet article, nous nous appuyons sur ces approches pour proposer Attention with Routed Memory (ARM), une nouvelle structure de cache CV qui introduit un système de mémoire entièrement différentiable et de taille fixe, organisé comme une structure de routage hiérarchique. ARM apprend à sélectionner les emplacements mémoire via Gumbel-Softmax et effectue des mises à jour contrôlées par des portes sigmoïdes qui combinent en douceur les informations nouvelles et stockées, évitant ainsi l'éviction brutale et réduisant ainsi la perte d'informations. En combinant cela avec une politique de sélection dynamique de quantités variables de mémoire lors de l'inférence, ARM adapte ses accès aux contextes simples et étend la récupération aux entrées nécessitant un raisonnement plus approfondi, permettant une récupération plus évolutive et efficace sur les contextes courts et longs. Les résultats expérimentaux sur des bancs d'essai standard de raisonnement de bon sens et de raisonnement à long contexte démontrent qu'ARM atteint des performances et une efficacité supérieures aux approches de mise en cache KV fixes, tout en demeurant efficace et évolutif en termes de mémoire et de latence de génération.

L'obtention d'une synergie robuste entre la perception et le raisonnement est un objectif central des modèles de vision-langage (VLM) avancés. Les progrès récents ont poursuivi cet objectif par le biais d'architectures ou de flux de travail multi-agents. Cependant, ces approches sont souvent limitées par un raisonnement textuel statique ou complexifiées par la charge de calcul et d'ingénierie considérable qu'implique la présence d'agents externes. Pire encore, cet investissement important ne génère pas de gains proportionnels, et l'on observe souvent un « effet de balancier » entre perception et raisonnement. Cela justifie une réflexion fondamentale sur le véritable goulot d'étranglement. Dans cet article, nous soutenons que la cause première de ce compromis réside dans une ambiguïté dans l'attribution du crédit aux modalités : lorsqu'un VLM échoue, est-ce dû à une perception défaillante (« mauvaise vision ») ou à une logique défaillante (« mauvaise pensée ») ? Pour résoudre ce problème, nous introduisons un cadre d'apprentissage par renforcement qui améliore la synergie perception-raisonnement en récompensant de manière fiable la fidélité de la perception. Nous décomposons explicitement le processus de génération en étapes de perception et de raisonnement entrelacées. Ce découplage permet une supervision ciblée de la perception. De manière cruciale, nous introduisons la vérification de la perception (VP), qui utilise un modèle de « raisonnement à l'aveugle » pour récompenser la fidélité perceptive indépendamment des résultats du raisonnement. De plus, afin d'étendre l'entraînement aux tâches d'apprentissage verbal (AV) libres, nous proposons la Vérification Verbale Structurée, qui remplace l'évaluation LLM à forte variance par une exécution algorithmique structurée. Ces techniques sont intégrées dans un mécanisme d'attribution de crédits sensible à la modalité (MoCA), qui achemine les récompenses vers la source d'erreur spécifique (erreur de perception ou erreur de raisonnement), permettant ainsi à un seul AV d'améliorer simultanément ses performances sur un large éventail de tâches.

Nous étudions la détection de textes générés automatiquement sous des contraintes pratiques : le modèle de score (modèle de langage de substitution) peut différer du modèle source inconnu, et la génération de contrastes pour chaque entrée est coûteuse. Nous proposons SurpMark, un détecteur basé sur des références qui résume un passage par la dynamique des surprises de ses tokens. SurpMark discrétise les surprises en états interprétables, estime une matrice de transition d'état pour le texte de test et le score via un écart de Jensen-Shannon généralisé (GJS) entre les transitions de test et deux références fixes (humaine et machine) construites une seule fois à partir de corpus existants. Théoriquement, nous formulons des recommandations de conception sur la manière dont les classes de discrétisation doivent évoluer avec les données et fournissons une justification rigoureuse de notre statistique de test. Empiriquement, sur plusieurs ensembles de données, modèles sources et scénarios, SurpMark égale ou surpasse systématiquement les performances de référence, démontrant une grande robustesse à travers les domaines et les générateurs ; nos expériences sur la sensibilité aux hyperparamètres révèlent des tendances que nos résultats théoriques contribuent à expliquer.

Les approches récentes de génération vidéo longue en temps réel utilisent généralement des stratégies d'ajustement de flux, tentant d'entraîner un modèle élève à contexte long à l'aide d'un modèle enseignant à contexte court (sans mémoire). Dans ces cadres, le modèle étudiant effectue de longs déploiements, mais la supervision de l'enseignant est limitée à de courtes fenêtres de 5 secondes. Cette disparité structurelle crée un **désadéquation élève-enseignant** critique : l'incapacité de l'enseignant à accéder à l'historique à long terme l'empêche de guider le modèle élève sur les dépendances temporelles globales, limitant ainsi la longueur du contexte du modèle élève. Pour résoudre ce problème, nous proposons **Context Forcing**, un nouveau cadre qui entraîne un modèle élève à contexte long via un modèle enseignant à contexte long. En nous assurant que l'enseignant est au courant de l'historique complet de la génération, nous éliminons le désalignement de la supervision, permettant ainsi l'entraînement robuste de modèles capables de cohérence à long terme. Pour rendre cela calculablement réalisable pour des durées extrêmes (par exemple, 2 minutes), nous introduisons un système de gestion du contexte qui transforme le contexte à croissance linéaire en une architecture **Slow-Fast Memory**, réduisant considérablement la redondance visuelle. Des résultats détaillés démontrent que notre méthode permet des durées de contexte effectives supérieures à 20 secondes.

Six à dix fois plus performant que les méthodes de pointe telles que LongLive et Infinite-RoPE, Context Forcing, grâce à ce contexte étendu, garantit une cohérence supérieure sur de longues durées, surpassant ainsi les méthodes de référence actuelles sur divers indicateurs d'évaluation vidéo longue durée.

Dans les tâches de régression réelles, la modélisation basée sur les données souffre souvent d'un nombre limité d'échantillons d'entraînement, de coûts de collecte élevés et d'observations bruitées. Inspirés par l'impact de l'augmentation de données en vision et en traitement du langage, nous proposons une nouvelle technique d'augmentation de données résiduelles contrefactuelles (CRDA) pour la régression tabulaire. Notre idée principale est que, une fois qu'un régresseur a modélisé la composante systématique des données, le bruit restant peut être considéré comme un résidu invariant, stable sous de petites perturbations de caractéristiques soigneusement sélectionnées. Nous exploitons cette invariance résiduelle pour générer de nouveaux échantillons d'entraînement réalistes, élargissant ainsi l'ensemble de données sans nécessiter de données réelles supplémentaires. Notre méthode est indépendante du modèle et facilement applicable à différents types de régresseurs. Lors d'expériences menées sur des ensembles de données provenant de divers référentiels de référence, CRDA réduit en moyenne l'erreur quadratique moyenne (MSE) d'un régresseur MLP de 22,9 % et celle d'un régresseur XGBoost de 6,4 %. Comparé aux générateurs de données et aux techniques d'augmentation de pointe existants, CRDA surpasse systématiquement les autres en termes de réduction de la MSE. En ajoutant des variations contrefactuelles rigoureuses aux données d'entraînement, notre méthode offre une solution simple et efficace aux problèmes de régression sujets au bruit et à faible échantillon.

La théorie fonctionnelle de la densité (DFT) est la méthode la plus utilisée pour calculer les propriétés moléculaires ; cependant, sa précision est souvent insuffisante pour des prédictions quantitatives. La théorie des grappes couplées (CC) est la méthode la plus performante pour atteindre une précision supérieure à celle de la DFT et prédire des propriétés en accord avec les résultats expérimentaux. Elle est considérée comme la référence en chimie quantique. Malheureusement, le coût de calcul élevé de la CC limite son application à grande échelle. Dans ce travail, nous présentons le modèle d'apprentissage des orbitales moléculaires (MoLe), un modèle d'apprentissage automatique équivariant qui prédit directement les objets mathématiques fondamentaux de la CC, les amplitudes d'excitation, à partir des orbitales moléculaires Hartree-Fock de champ moyen. Nous testons différents aspects de notre modèle et démontrons son efficacité de traitement des données très élevée ainsi que sa remarquable capacité de généralisation hors distribution à des molécules plus grandes et à des géométries hors équilibre, bien qu'il ait été entraîné uniquement sur de petites géométries d'équilibre. Finalement, on examine aussi sa capacité à réduire le nombre de cycles nécessaires à la convergence des calculs CC. MoLe peut jeter les bases d'architectures ML basées sur des fonctions d'onde de haute précision pour accélérer la conception moléculaire et compléter les approches de champ de force.

L'apprentissage incrémental fédéré par classes (FCIL) vise à étendre continuellement la capacité de reconnaissance d'un modèle dans un environnement distribué, lui permettant d'apprendre de nouvelles classes tout en conservant la connaissance des classes déjà rencontrées. La relecture d'exemplaires s'est avérée une stratégie prometteuse en raison de sa simplicité et de son efficacité. Les méthodes existantes sélectionnent les exemplaires en fonction de la dynamique locale ou construisent des espaces de caractéristiques globaux pour identifier des échantillons représentatifs. Toutefois, elles éprouvent des difficultés inhérentes à trouver un équilibre entre efficacité et confidentialité. Pour résoudre ce problème, cet article propose une méthode de fusion des poids de Lewis inter-vues pour la relecture d'exemplaires dans le cadre du FCIL, appelée CLIF, qui fusionne les scores d'importance multi-vues afin de guider la sélection d'échantillons représentatifs dans un contexte fédéré. Plus précisément, CLIF se compose de deux modules principaux : 1) le module de fusion des poids de Lewis inter-vues calcule et intègre les poids de Lewis issus de multiples perspectives de caractéristiques afin d'obtenir une estimation d'importance cohérente, garantissant ainsi que les échantillons sélectionnés reflètent mieux la distribution globale des données et améliorant ainsi la représentativité du sous-ensemble relu. S'appuyant sur ce constat, 2) le module d'entraînement pondéré par fréquence ajuste la contribution de chaque échantillon à la perte en fonction de sa fréquence de sélection selon les vues, ce qui met en évidence l'importance des échantillons critiques. De plus, nous proposons une analyse théorique garantissant la validité et l'efficacité de CLIF. Des expériences approfondies menées sur trois ensembles de données démontrent que notre méthode améliore systématiquement les performances de référence de 1 % à 6 %, confirmant ainsi les affirmations précédentes.

Le réentraînement récursif des modèles génératifs pose un défi majeur en matière de représentation : lorsque les sorties synthétiques sont sélectionnées en fonction d'un signal de récompense fixe, le modèle tend à se focaliser sur un ensemble restreint de sorties qui suroptimisent cet objectif, entraînant une perte de diversité et une incapacité à représenter l'ensemble des préférences. Des travaux antérieurs ont suggéré qu'une telle focalisation est inévitable sans l'ajout de données réelles. Dans cet article, nous réexaminons cette conclusion sous l'angle de l'alignement et montrons que cette focalisation peut être atténuée par une sélection basée sur plusieurs fonctions de récompense. Nous formalisons la dynamique de l'entraînement récursif en présence de préférences hétérogènes et prouvons que, sous certaines conditions, le modèle converge vers une distribution stable qui répartit la probabilité entre les régions concurrentes à forte récompense. La distribution limite préserve la diversité et satisfait, de manière démontrée, une solution de négociation de Nash pondérée, offrant une interprétation formelle de l'agrégation de valeur dans les boucles de réentraînement synthétique.

Les fonctionnelles d'échange-corrélation (XC) apprises par apprentissage automatique (ML) visent à remplacer les approximations de la fonctionnelle de densité conçues par l'humain en apprenant directement à partir de données de référence. Cependant, leurs performances ne surpassent pas systématiquement celles des fonctionnelles hybrides traditionnelles de complexité $\mathcal{O}(N^4)$. Nous étudions donc un cadre de distillation hybride, où des fonctionnelles ML-XC semi-locales de complexité $\mathcal{O}(N^3)$ sont entraînées à reproduire les cibles B3LYP/def2-SVP. Nous introduisons la perte d'échange-corrélation informée par les dérivées (DI-Loss), qui intègre des informations supplémentaires provenant de la fonctionnelle hybride de référence en supervisant les dérivées première et seconde de l'énergie par rapport à la grassmannienne des matrices de densité admissibles. Plutôt que de se limiter à l'adéquation au point fixe auto-cohérent, la DI-Loss aligne la réponse locale du premier et du second ordre de la fonctionnelle apprise avec celle de la fonctionnelle cible. Parmi quatre architectures évaluées, la DI-Loss améliore systématiquement les principales mesures énergétiques. En moyenne, l'erreur absolue moyenne (MAE) de l'énergie totale diminue de 66 % par rapport à la supervision de l'énergie et de la densité seule. La métrique d'énergie de champ moyen sensible à la densité, $E_\rho$, passe de 1,2 à 0,8 mEh en moyenne, tandis que les erreurs de densité dipolaire et $\mathcal{L}_2$ ne s'améliorent pas uniformément. Nous montrons également que les densités issues des fonctionnelles distillées réduisent les itérations SCF des fonctionnelles hybrides jusqu'à 55 %. Dans les calculs TDDFT ultérieurs, la supervision de la matrice hessienne améliore les prédictions des états excités, XCdiff réduisant l'erreur absolue moyenne (MAE) de l'énergie d'excitation de 24 à 35 % pour différentes tailles de molécules sur QM40.

L'adaptation de domaine sans source (SFDA) permet d'adapter un modèle aux variations de distribution sans accéder aux données sources, offrant ainsi une solution pratique pour les applications sensibles à la confidentialité et ayant démontré des progrès substantiels en classification. À l'inverse, la régression implique des variables cibles ordonnées et continues, ce qui pose des défis uniques pour l'adaptation de la représentation et le raffinement des pseudo-étiquettes dans le cadre de la SFDA. Pour combler cette lacune, nous proposons un nouvel algorithme de prédiction de cibles continues en SFDA qui exploite des signaux de supervision, dépendants de l'instance et basés sur la densité discrétisée, afin d'affiner les pseudo-étiquettes dans un paradigme prenant en compte l'incertitude. En intégrant un apprentissage auxiliaire de la distribution discrétisée, notre méthode favorise également des représentations de caractéristiques plus compactes et structurées, atténuant les difficultés inhérentes à l'adaptation des modèles de régression aux variations de distribution. Nous démontrons théoriquement que la structure de densité résultante est robuste aux perturbations potentielles, assurant une SFDA fiable pour la régression. De nombreuses expériences sur plusieurs ensembles de données de référence valident l'efficacité de l'approche proposée.

Les modèles génomiques de base ont le potentiel de décoder la syntaxe de l'ADN, mais font face à un compromis fondamental. Les tokeniseurs de sous-mots classiques fragmentent les motifs biologiquement significatifs tels que les codons et les éléments régulateurs, tandis que les modèles au niveau nucléotidique préservent la cohérence biologique, mais engendrent des coûts de calcul prohibitifs pour les contextes longs. Nous présentons dnaHNet, un modèle autorégressif de pointe sans tokeniseur, qui segmente et modélise les séquences génomiques de bout en bout. Grâce à un mécanisme de découpage dynamique différentiable, dnaHNet compresse les nucléotides bruts en jetons latents de manière adaptative, en équilibrant la compression et la précision prédictive. Préentraîné sur des génomes procaryotes, dnaHNet surpasse les architectures de référence, notamment StripedHyena2, en termes de changement d'échelle et d'efficacité. Cette découpe récursive permet des réductions quadratiques du nombre d'opérations en virgule flottante (FLOP), ce qui accélère l'inférence de plus de trois fois par rapport aux Transformers. Sur des tâches sans exemple, dnaHNet atteint des performances supérieures dans la prédiction de la fitness des variantes protéiques et de l'essentialité des gènes, tout en découvrant automatiquement des structures biologiques hiérarchiques sans supervision. Ces résultats établissent dnaHNet comme un cadre évolutif et interprétable pour la modélisation génomique de prochaine génération.

L'entraînement avec confidentialité différentielle (DP) garantit aux membres de l'ensemble de données qu'ils ne peuvent pas être identifiés par les utilisateurs du modèle publié. Cependant, les fournisseurs de données, et plus généralement le public, ne disposent pas de méthodes efficaces pour vérifier que les modèles entraînés sur leurs données respectent les garanties de DP. La puissance de calcul nécessaire à la vérification des garanties de DP pour les algorithmes actuels est proportionnelle à celle requise pour l'entraînement du modèle. Dans cet article, nous concevons le premier algorithme DP offrant des compromis confidentialité-utilité quasi optimaux, mais dont les garanties de DP peuvent être vérifiées à moindre coût que l'entraînement. Nous nous concentrons sur l'optimisation convexe stochastique avec DP (DP-SCO), pour laquelle les compromis confidentialité-utilité optimaux sont connus. Nous montrons ici qu'il est possible d'obtenir des compromis confidentialité-utilité optimaux en minimisant de manière privée une série d'objectifs régularisés et en utilisant uniquement la borne de composition DP standard. De manière cruciale, cette méthode peut être vérifiée avec une puissance de calcul bien inférieure à celle requise pour l'entraînement. Cela mène au premier algorithme DP-SCO connu offrant un compromis confidentialité-utilité quasi optimal, dont la vérification de la DP est plus économique que le coût d'entraînement, réduisant ainsi considérablement les coûts de vérification sur les grands ensembles de données.

Pour déployer des modèles de langage de grande taille (MLGT) dans des domaines d'application critiques exigeant des réponses précises à des questions ouvertes, il est nécessaire de disposer de méthodes fiables et peu coûteuses en calcul pour évaluer la fiabilité des réponses longues générées par les MLGT. Or, les approches existantes reposent souvent sur une vérification factuelle affirmation par affirmation, coûteuse en calcul et peu robuste pour les réponses longues à des questions ouvertes. Dans ce travail, nous introduisons l'isotropie sémantique – le degré d'uniformité des plongements lexicaux normalisés sur la sphère unité – et l'utilisons pour évaluer la fiabilité des réponses longues générées par les MLGT. Pour ce faire, nous générons plusieurs réponses longues, les plongeons dans le sens des éléments, et estimons le niveau d'isotropie sémantique de ces réponses comme la dispersion angulaire des plongements sur la sphère unité. Nos résultats montrent qu'une isotropie sémantique plus élevée – c'est-à-dire une plus grande dispersion des plongements – signale de manière fiable une moindre cohérence factuelle entre les exemples. Notre approche ne requiert ni données étiquetées, ni réglage fin, ni sélection d'hyperparamètres, et peut être utilisée avec des modèles d'intégration à poids ouverts ou fermés. Dans de nombreux domaines, notre méthode surpasse systématiquement les signaux de confiance agrégés existants pour prédire la non-factualité à partir d'un nombre restreint d'exemples. Elle offre ainsi un signal préliminaire pratique et économique qui complète la vérification au niveau des affirmations dans les flux de travail LLM réels.

De nombreuses techniques d'apprentissage machine reposent sur l'approximation de la courbure d'une fonction de perte, mais cette approximation est notoirement difficile à réaliser à l'échelle des réseaux profonds modernes. Étonnamment, aucun travail antérieur n'a exploité les contraintes de courbure issues des symétries bien connues de l'espace des poids dans les paysages de perte. En moyennant analytiquement sur les actions de groupe qui laissent la perte invariante, nous construisons des approximations structurées de la matrice hessienne à partir de gradients uniques, qui peuvent être estimées, stockées et inversées de manière simple. Le choix du groupe de symétrie, spécifié par l'utilisateur, détermine directement le compromis entre la précision de l'approximation et le coût de calcul. De plus, notre cadre offre une perspective théorique unifiée pour comprendre les méthodes existantes ; en particulier, un choix spécifique de groupe de symétrie permet de retrouver des estimations de courbure de type Shampoo/Muon. Nous validons notre méthode sur diverses architectures de réseau et l'appliquons à des benchmarks d'optimisation du second ordre, notamment un petit modèle de langage. Notre cadre d'estimation de la courbure pourrait trouver des applications dans d'autres problèmes d'apprentissage automatique tels que l'estimation de l'incertitude, l'apprentissage continu, la compression/élagage, l'attribution des données d'entraînement, et plus encore.

La distillation de données vise à compresser un grand ensemble de données en un petit ensemble synthétique tout en préservant les performances prédictives. Nous montrons que, lorsque différents groupes démographiques présentent des profils prédictifs distincts, le processus de distillation a du mal à préserver simultanément les signaux informatifs pour tous les sous-groupes, peu importe si leur taille est légèrement ou fortement déséquilibrée. Par conséquent, les modèles entraînés sur des données distillées peuvent subir des baisses de performance importantes pour certains sous-groupes, engendrant des inégalités de traitement. Ces inégalités ne disparaissent pas par la simple correction du déséquilibre des groupes, car elles proviennent de différences fondamentales dans les profils prédictifs des sous-groupes, et non seulement de disparités de taille d'échantillon. Nous analysons donc formellement l'interaction entre ces deux sources de biais et proposons comme solution l'identification d'un barycentre de l'information prédictive, indépendant du déséquilibre des groupes, qui induit des représentations similaires pour tous les sous-groupes. En distillant vers cette représentation agrégée partagée, nous montrons que les problèmes d'équité entre les groupes peuvent être atténués. Notre approche est compatible avec les méthodes de distillation existantes, et les résultats empiriques montrent qu'elle réduit considérablement le biais introduit par la distillation de données. Le code est disponible à l' adresse https://github.com/mhmoslemi/COBRA .

L'apprentissage de représentations fédérées (FRL) vise à apprendre des modèles fédérés personnalisés grâce à une extraction efficace des caractéristiques à partir de données locales. Les algorithmes FRL qui partagent la majorité des paramètres du modèle sont confrontés à des difficultés majeures liées à une surcharge de communication importante. Cette surcharge provient des millions de paramètres du réseau neuronal et de la lenteur de l'agrégation par moyennage. Pour réduire cette surcharge, nous proposons FedLog, qui partage des résumés de données suffisants au lieu des paramètres bruts du modèle. Ces résumés encodent les statistiques minimales suffisantes d'une famille exponentielle, et l'inférence bayésienne est utilisée pour l'agrégation globale. FedLog contribue à réduire la taille des messages et la fréquence des communications. Nous démontrons que les messages partagés sont des statistiques minimales suffisantes et analysons théoriquement le taux de convergence de FedLog. Afin d'assurer davantage la confidentialité, nous étendons FedLog avec le cadre de confidentialité différentielle. Les résultats empiriques démontrent la grande précision d'apprentissage et la faible surcharge de communication de notre méthode.

De nombreux problèmes de conception concrets impliquent l'optimisation d'une fonction boîte noire coûteuse f ( x ), pour laquelle l'optimisation bayésienne constitue un cadre efficace en termes d'échantillonnage. Cependant, alors que le cadre boîte noire classique retourne une récompense scalaire, les expériences réelles génèrent souvent une multitude d'informations utiles. Nous introduisons un nouveau cadre où une expérience génère, en plus de f ( x ), des informations auxiliaires de grande dimension h ( x ) ; de plus, un historique des tâches pertinentes déjà résolues est disponible pour accélérer l'optimisation. Nous développons une méthode novatrice basée sur un modèle neuronal qui prédit f ( x ) pour des conceptions inédites à partir d'un contexte de quelques exemples contenant des observations de h ( x ). Nous évaluons notre méthode sur deux domaines exigeants : la conception de matériel robotique et le réglage des hyperparamètres. Dans les deux domaines, notre méthode améliore la prédiction à partir de quelques exemples et accélère l'optimisation de la conception, surpassant plusieurs méthodes d'optimisation multitâches.

Déterminer la complexité, ou dimension intrinsèque (DI), des données est fondamental pour un apprentissage efficace et interprétable des représentations. Ceci est particulièrement complexe dans les contextes multimodaux lorsqu'il s'agit d'apprendre des représentations désentremêlées pour les informations partagées et privées. Les techniques existantes présentent une lacune importante : elles sont souvent statiques, unimodales, ou, dans le cas des méthodes contrastives, s'adaptent implicitement à la DI partagée. Nous introduisons FiGuRO (Fidelity-Guided Rank Optimization), un cadre permettant d'approximer la DI de données uni- et multimodales sous contraintes de capacité du modèle et d'hyperparamètres. FiGuRO apprend les dimensions des projections de bas rang à l'aide d'une décomposition en valeurs singulières tronquée et d'un algorithme qui détermine quand réduire ou augmenter la dimension et dans quel espace latent. La désentrelacement des informations partagées et privées émerge comme une propriété inhérente à cette optimisation, éliminant ainsi le besoin de fonctions de perte auxiliaires complexes. Nous démontrons que FiGuRO surpasse les techniques d'estimation de DI existantes et est plus robuste aux variations d'hyperparamètres. À travers des simulations et des données réelles, FiGuRO saisit des échelles d'identifiants distinctes et des rapports de sous-espaces variables, et décompose avec succès les informations partagées et privées. De plus, nous montrons que FiGuRO peut être appliqué à des modèles préentraînés unimodaux modernes, permettant un désenchevêtrement a posteriori efficace des représentations multimodales.

L'essor des réseaux neuronaux profonds, notamment les grands modèles de langage (LLM) et les transformateurs de vision (ViT), a rendu l'entraînement à partir de zéro prohibitif et le déploiement de plus en plus onéreux. Ces modèles sont souvent utilisés comme monolithes de calcul à coût fixe, ce qui freine leur déploiement adaptatif en fonction des différents budgets.

Nous soutenons que des composants imbriqués, classés par ordre d'importance, peuvent être extraits de modèles préentraînés et activés sélectivement en fonction des ressources de calcul disponibles. À cette fin, notre méthode FlexRank exploite la décomposition des poids de bas rang avec une consolidation imbriquée basée sur l'importance pour extraire des sous-modèles aux capacités croissantes. Notre approche permet un paradigme « entraîner une fois, déployer partout » offrant un compromis optimal entre coût et performance sans nécessiter un nouvel entraînement pour chaque budget, facilitant ainsi le déploiement pratique de modèles de grande taille.

Les modèles de fondation basés sur des réseaux ajustés aux données a priori (PFN) ont démontré une forte performance empirique en inférence causale en formulant la tâche comme un problème d'apprentissage en contexte. Cependant, il n'est pas clair si les estimateurs causaux basés sur les PFN fournissent une quantification de l'incertitude cohérente avec les estimateurs fréquentistes classiques. Dans ce travail, on comble cette lacune en analysant la cohérence fréquentiste des estimateurs basés sur les PFN pour l'effet moyen du traitement (ATE). (1) Nous montrons que les PFN existants, lorsqu'ils sont interprétés comme des estimateurs bayésiens de l'ATE, peuvent présenter un biais de confusion induit par les données a priori : ces dernières ne sont pas asymptotiquement remplacées par les données, ce qui, par conséquent, empêche la cohérence fréquentiste. (2) Pour y remédier, nous suggérons d'utiliser une procédure d'étalonnage basée sur une correction a posteriori en une étape (OSPC). Nous montrons que l'OSPC contribue à rétablir la cohérence fréquentiste et permet d'obtenir un théorème de Bernstein-von Mises semi-paramétrique pour les PFN calibrés (c'est-à-dire que les estimateurs basés sur les PFN calibrés et les estimateurs semi-paramétriques efficaces classiques convergent en distribution lorsque la taille des données augmente). (3) Finalement, nous implémentons l'OSPC en adaptant les distributions postérieures de martingale aux PFN. De cette manière, nous pouvons récupérer les distributions a posteriori fonctionnelles de nuisance à partir des PFN, requises par l'OSPC. Dans de multiples expériences (semi-)synthétiques, les PFN calibrés avec notre OSPC basé sur les distributions a posteriori de martingale produisent une incertitude ATE qui (i) correspond asymptotiquement à l'incertitude fréquentiste et (ii) est bien calibrée sur des échantillons finis, comparativement à d'autres estimateurs ATE bayésiens.

Les progrès récents concernant les modèles de vision-langage (MVL) mettent l'accent sur le raisonnement à long terme ; ou, nous constatons que leurs performances sur les tâches visuelles sont principalement limitées par un manque de perception visuelle plutôt que par le raisonnement lui-même. Dans ce travail, nous étudions systématiquement l'interaction entre perception et raisonnement dans les MVL après leur entraînement, en décomposant leurs capacités en trois étapes d'entraînement distinctes : perception visuelle, raisonnement visuel et raisonnement textuel, en intégrant des données d'entraînement spécialisées. Nous démontrons que la perception visuelle : (a) nécessite une optimisation ciblée avec des données spécialisées ; (b) constitue un fondement essentiel qui doit être consolidé par un entraînement par étapes avant d'affiner le raisonnement visuel ; et (c) est apprise plus efficacement par apprentissage par renforcement (RL) que par la théorie des flux de connaissances (SFT) basée sur les légendes. Nos expériences sur plusieurs MVL démontrent que l'entraînement par étapes améliore systématiquement les performances de perception visuelle et de raisonnement par rapport à un entraînement combiné. Notamment, les modèles entraînés avec notre approche atteignent une précision de raisonnement supérieure de 1,5 % avec des traces de raisonnement 20,8 % plus courtes, ce qui suggère qu'une perception supérieure réduit le besoin d'un raisonnement excessif. De plus, nous démontrons que cette progression par compétences représente une nouvelle dimension pédagogique, orthogonale aux cursus traditionnels basés sur la difficulté, et que leur combinaison génère des gains supplémentaires. Nos modèles d'apprentissage par étapes obtiennent des performances supérieures parmi les modèles d'apprentissage visuel à pondération ouverte, avec des résultats avancés sur plusieurs tâches de mathématiques visuelles et de perception (par exemple, +5,2 % sur WeMath et +3,7 % sur RealWorldQA) par rapport au modèle de base.

Les exemples non apprenables (EN) protègent les données d'entraînement en injectant des perturbations imperceptibles, empêchant ainsi les modèles d'extraire des représentations exploitables. Dans cet article, nous montrons que les EN existants présentent une défaillance critique dès l'application d'un filtrage passe-bas, indiquant que les signaux de perturbation efficaces pour la non-apprentissage se concentrent principalement dans les hautes fréquences. Par conséquent, nous soutenons que des EN fiables doivent demeurer efficaces sur l'ensemble du spectre. À cette fin, nous proposons **FUSE** (Fully-Spectrum **U**nlearnable Exemples via **Scectral **E**qualization**), qui vise à générer des perturbations indépendantes du spectre en égalisant les contributions des différentes bandes et en assurant la cohérence inter-bandes. Plus précisément, FUSE adopte une stratégie de masquage spectral aléatoire (RSM) lors de l'entraînement du générateur, qui supprime aléatoirement une bande de fréquence contiguë, forçant ainsi les bandes restantes à maintenir la non-apprentissage. De plus, FUSE intègre le guidage interbande (CBG), qui assure la cohérence entre les composantes hautes et basses fréquences, renforçant ainsi la capacité d'apprentissage des basses fréquences et régulant les perturbations hautes fréquences afin de préserver la fidélité sémantique des images. De nombreuses expériences menées sur différents ensembles de données, architectures et filtrages spectraux démontrent la robustesse de la protection offerte par FUSE.

Nous présentons ELECTRAFI, un modèle différentiable rapide et complet pour la prédiction des densités de charge périodiques dans les matériaux cristallins. ELECTRAFI construit des gaussiennes anisotropes dans l'espace réel et exploite leurs transformées de Fourier analytiques pour évaluer les coefficients d'ondes planes via la formule de sommation de Poisson. Cette formulation délègue le comportement non local et périodique aux transformées analytiques, permettant la reconstruction de la densité de charge périodique complète avec une seule FFT inverse. En évitant le sondage explicite de la grille dans l'espace réel, la sommation d'images périodiques et les développements en harmoniques sphériques, ELECTRAFI atteint, voire dépasse, la précision de pointe sur les benchmarks périodiques tout en étant jusqu'à 633 fois plus rapide que la méthode concurrente la plus performante, reconstruisant les densités de charge cristallines en une fraction de seconde. Utilisé pour initialiser les calculs DFT, ELECTRAFI réduit le coût total de calcul DFT d'environ 20 %, tandis que les modèles de densité de charge plus lents annulent les économies en raison de temps d'inférence élevés. Nos résultats montrent que la précision et le coût d'inférence déterminent conjointement les gains de vitesse de bout en bout du DFT, et justifient notre intérêt pour l'efficacité.

Les réseaux de neurones profonds à blocs répétés, tels que les Transformers et les ResNets, présentent souvent des relations structurées entre les couches qui émergent au cours de l'entraînement. Motivés par cette observation, nous introduisons un paradigme général d'*Augmentation de gradient par profondeur*, dans lequel la mise à jour appliquée à une couche peut dépendre des mises à jour de l'optimiseur de base calculées pour d'autres couches. Nous étudions une application de cette idée, appelée *Lissage de gradient*, qui couple les mises à jour de l'optimiseur à travers la profondeur et peut être interprétée naturellement comme une méthode de préconditionnement structurée. Notre cadre opère directement sur les vecteurs de mise à jour par blocs produits par des optimiseurs de base arbitraires (par exemple, SGD, Adam, Muon), en appliquant des opérateurs de lissage par profondeur structurés tels que la moyenne pondérée locale avec une surcharge de calcul minimale. Nous évaluons le lissage de gradient sur un ensemble diversifié d'architectures et de régimes d'entraînement, incluant le pré-entraînement de modèles linguistiques, le post-entraînement par renforcement de modèles de langage sur des tâches de raisonnement, la modélisation de la diffusion et la classification d'images avec des Vision Transformers. Dans tous ces contextes, le lissage de gradient améliore systématiquement la convergence et les performances de généralisation sans modifier les architectures des modèles ni les objectifs d'entraînement. Nous démontrons également que le lissage favorise une évolution plus structurée des représentations en fonction de la profondeur, suggérant un lien entre le couplage des mises à jour structurées et l'organisation interne des représentations apprises. Ces résultats positionnent le lissage de gradient comme une approche simple et largement applicable pour améliorer l'entraînement des réseaux profonds modernes.

Dans cet article, nous identifions une décomposition sémantique des séquences d'actions robotiques, séparant l'intention de mouvement au niveau de la tâche des ajustements au niveau de l'exécution. En analysant les actions dans le domaine spectral à l'aide de la transformée en cosinus discrète (DCT), on observe que les composantes de basse fréquence capturent les trajectoires de mouvement globales, tandis que les composantes haute fréquence encodent la précision du minutage, de l'alignement et des comportements de contact. Motivés par cette structure, nous proposons la Politique Spectrale Causale (CSP), qui modélise la génération d'actions comme un processus causal du grossier à la fin : le mouvement grossier est prédit à partir de l'observation et du langage, et les corrections fines sont générées conditionnellement à la trajectoire réalisée. Grâce à des simulations et des évaluations en conditions réelles, la CSP surpasse systématiquement les méthodes de référence performantes sur les tâches de manipulation sensibles à la précision. De plus, nous proposons l'injection de bruit inspirée de la téléopération humaine comme méthode d'augmentation de données, grâce à laquelle notre approche démontre une grande robustesse face aux démonstrations bruitées.

L'innovation est un moteur essentiel de la civilisation humaine. Face à l'accroissement considérable du corpus de connaissances, le rapprochement des savoirs entre différentes disciplines, souvent sources d'innovations majeures, est devenu un défi croissant. Les progrès récents des modèles d'apprentissage machine, notamment les grands modèles de langage (LLM), ont permis un accès efficace à de vastes sources de connaissances et ont démontré d'impressionnantes capacités de raisonnement, ouvrant ainsi d'importantes perspectives pour la découverte interdisciplinaire. Notre recherche vise à comprendre les capacités des LLM les plus performants à intégrer les connaissances de différents domaines dans le cadre de la recherche interdisciplinaire (RID). Pour répondre à ce problème fondamental, nous présentons IDRBench, un cadre novateur comprenant des ensembles de données et des tâches d'évaluation : (1) l'identification d'articles scientifiques pour la RID, (2) l'intégration d'idées pour la RID et (3) la recommandation d'idées pour la RID. Notre étude, portant sur dix LLM de référence, fournit une analyse approfondie de leur comportement et établit des points de repère et des bases de référence pour les recherches futures. À notre connaissance, IDRBench est le premier à proposer une analyse exhaustive des capacités des LLM en matière de RID.

L'apprentissage des distributions conditionnelles $\pi^\star(\cdot|x)$ est un problème central en apprentissage machine, généralement abordé par des méthodes supervisées avec des données appariées $(x,y) \sim \pi^\star$. Cependant, l'acquisition d'échantillons de données appariées est souvent complexe, surtout pour des problèmes tels que la traduction de domaine. Cela nécessite le développement de modèles semi-supervisés qui utilisent à la fois des données appariées limitées et des échantillons supplémentaires non appariés et indépendants et identiquement distribués $x \sim \pi^\star_x$ et $y \sim \pi^\star_y$ issus des distributions marginales. L'utilisation de ces données combinées est complexe et repose souvent sur des approches heuristiques. Pour résoudre ce problème, nous proposons un nouveau paradigme d'apprentissage qui intègre de manière transparente les données appariées et non appariées grâce à des techniques de maximisation de la vraisemblance des données. Nous démontrons que notre approche présente également un lien intéressant avec le transport optimal entropique inverse (OT). Ce résultat nous permet d'appliquer les avancées récentes en topologie computationnelle pour établir un algorithme d'apprentissage de bout en bout afin d'obtenir $\pi^\star(\cdot|x)$. De plus, nous démontrons la propriété d'approximation universelle, prouvant ainsi que notre approche peut théoriquement retrouver les distributions conditionnelles exactes avec une erreur arbitrairement petite. Finalement, nous démontrons par des tests empiriques que notre méthode apprend efficacement les distributions conditionnelles en utilisant simultanément des données appariées et non appariées.

L'échantillonnage a posteriori par diffusion (DPS) offre une approche bayésienne rigoureuse des problèmes inverses en échantillonnant la distribution $p(x_0 \mid y)$. Bien que cet échantillonnage soit précieux pour appréhender l'incertitude et la multimodalité, de nombreux problèmes inverses, classiques et pratiques, privilégient une estimation ponctuelle précise, notamment l'estimateur MAP, longtemps considéré comme un objectif de reconstruction standard en imagerie et applications scientifiques. Nous introduisons l'échantillonnage MAP local (LMAPS), un nouveau cadre d'inférence qui résout itérativement des sous-problèmes MAP locaux le long de la trajectoire de diffusion. Cette perspective clarifie leur lien avec les estimateurs MAP et DPS globaux, offrant une interprétation probabiliste unifiée pour les méthodes d'optimisation. Sur cette base, nous développons des algorithmes pratiques avec une approximation de covariance, motivée par une hypothèse a priori gaussienne, un objectif reformulé pour plus de stabilité et d'interprétabilité. Dans un large éventail de tâches de restauration d'images et scientifiques, LMAPS atteint des performances de pointe.

Malgré des progrès rapides, le raisonnement multimodal manque encore d'une approche systématique pour synthétiser des ensembles de données à grande échelle centrés sur la vision, au-delà des mathématiques visuelles. Nous présentons un cadre capable de synthétiser des problèmes centrés sur la vision couvrant divers niveaux de complexité, et l'ensemble de données résultant comprend plus d'un million de problèmes de haute qualité, incluant : des traces de raisonnement, des données de préférences et des invites d'instruction prenant en charge la théorie des fonctionnelles de la densité (SFT), l'apprentissage par renforcement (RL) hors ligne et en ligne. Notre cadre de synthèse centré sur la vision utilise un processus en deux étapes : (1) la génération de questions vérifiables variées à partir d'images existantes à grande échelle, et (2) la création de problèmes visuels compositionnels complexes par fusion de questions plus simples. 

De façon remarquable, l'optimisation de Qwen2.5-VL-7B sur nos données surpasse les modèles de référence ouverts existants sur l'ensemble des benchmarks de vision évalués. Nos meilleures configurations égalent, voire surpassent, des modèles fermés performants tels que MiMo-VL-7B-RL sur V*Bench, CV-Bench et MMStar-V. Notamment, bien que nos données soient entièrement axées sur la vision, elles se transposent positivement au raisonnement textuel (MMLU-Pro, +3,7 %) et au raisonnement audio (MMAU, +1,32 %), démontrant ainsi leur efficacité. De même, malgré l'absence de données visuelles incarnées, nous observons des gains notables (NiEH, +8,8 %) lors de l'évaluation de la question-réponse incarnée ouverte. Enfin, nous utilisons nos données pour analyser de manière exhaustive et à grande échelle (1M+) l'ensemble du pipeline post-entraînement VLM, montrant que (i) le SFT sur des données de haute qualité avec des comportements cognitifs sur les traces de raisonnement est essentiel pour mettre à l'échelle le RL en ligne, (ii) le RL hors ligne pourrait égaler les performances du RL en ligne tout en désagrégeant les exigences de calcul, et (iii) le SFT sur des données de haute qualité améliore également le transfert hors domaine et intermodal.

L'ancrage symbolique (Harnad, 1990) décrit comment les symboles, tels que les mots, acquièrent leur signification en se connectant à des expériences sensorimotrices réelles. Des travaux récents ont montré que l'ancrage peut émerger dans les modèles (vision-)langage entraînés à grande échelle sans objectifs d'ancrage explicites. Cependant, les lieux précis de cette émergence et les mécanismes sous-jacents demeurent largement inexplorés. Pour pallier ce manque, nous introduisons un cadre d'évaluation contrôlé qui retrace systématiquement l'émergence de l'ancrage symbolique au sein des calculs internes, grâce à une analyse mécaniste et causale. Nos résultats indiquent que l'ancrage se concentre dans les calculs des couches intermédiaires et est mis en œuvre par le mécanisme d'agrégation, où les têtes d'attention agrègent l'environnement pour faciliter la prédiction des formes linguistiques. Ce phénomène se reproduit dans le dialogue multimodal et entre différentes architectures (Transformers et modèles d'espace d'états), mais pas dans les LSTM unidirectionnels. Nos résultats apportent des preuves comportementales et mécanistes de l'émergence possible de l'ancrage symbolique dans les modèles de langage, avec des implications pratiques pour la prédiction et le contrôle potentiel de la fiabilité de la génération.

Malgré les progrès rapides des modèles de génération vidéo, le rôle des données dans l'influence du mouvement reste mal compris. Nous présentons Motive (attribution de mouvement pour la génération vidéo), un cadre d'attribution de données axé sur le mouvement et basé sur le gradient, adaptable aux ensembles de données et modèles vidéo modernes, volumineux et de haute qualité. Nous l'utilisons pour étudier quels extraits améliorent ou dégradent la dynamique temporelle. Motive isole la dynamique temporelle de l'apparence statique grâce à des masques de perte pondérés par le mouvement, permettant un calcul efficace et évolutif de l'influence spécifique au mouvement. Sur les modèles de conversion texte-vidéo, Motive identifie les extraits qui affectent fortement le mouvement et guide la conservation des données afin d'améliorer la cohérence temporelle et la plausibilité physique. Avec les données à forte influence sélectionnées par Motive, nous améliorons à la fois la fluidité du mouvement et le degré de dynamique sur VBench, atteignant un taux de préférence humaine de 74,1 % par rapport au modèle de base pré-entraîné. À notre connaissance, il s'agit du premier cadre à attribuer le mouvement plutôt que l'apparence visuelle dans les modèles de génération vidéo et à l'utiliser pour la conservation des données de réglage fin.

La perception et la prise de décision dans le monde réel sont intrinsèquement multimodales, intégrant des signaux complémentaires provenant de différentes modalités. Cependant, l'entraînement de modèles multimodaux se heurte à deux obstacles majeurs. Premièrement, la collecte de vastes ensembles de données multimodales appariées et bien alignées est souvent difficile, ce qui complexifie l'entraînement multimodal de bout en bout. Deuxièmement, les représentations multimodales existantes entremêlent fréquemment les informations partagées entre les modalités avec les informations spécifiques à chaque modalité, ce qui nuit à l'interprétabilité et au contrôle. Nous présentons MultiLoReFT, un cadre d'ajustement fin de représentations de bas rang, efficace et évolutif, pour l'apprentissage multimodal avec des modèles unimodaux pré-entraînés. MultiLoReFT étend l'adaptation de rang faible au contexte multimodal et apprend des sous-espaces de projection interprétables qui découplent les informations partagées et propres à chaque modalité. Sur des données de référence simulées et réelles, il produit des représentations qui prennent en charge la prédiction multimodale tout en révélant explicitement la distribution des informations partagées et spécifiques à chaque modalité.

Recent benchmarks reveal that single-cell perturbation response models are often outperformed by simply predicting the dataset mean. Through large-scale *in silico* simulations, together with analyses of two real-world perturbation datasets, we trace this anomaly to a metric artifact: unweighted error metrics systematically reward mean predictions when perturbation effects are sparse. To address this limitation, we introduce differentially expressed gene (DEG)-aware metrics—weighted mean-squared error (WMSE) and weighted delta $R^{2}$ ($R^{2}_{w}(\Delta)$)—that sensitively measure error in niche, perturbation-specific signals. We further propose explicit negative and positive performance baselines to calibrate these metrics. Under this framework, the mean baseline sinks to null performance, while genuinely informative predictors are correctly rewarded. Finally, we show that using WMSE as a training objective reduces mode collapse and improves predictive performance across multiple model architectures.

L'apprentissage par renforcement intégré aux outils (TI) permet aux grands modèles de langage (LLM) d'effectuer un raisonnement multi-étapes en interagissant avec des outils externes tels que les moteurs de recherche. L'optimisation de la politique relative de groupe (GRPO), illustrée par le récent Search-R1, offre une convergence rapide et une formulation sans valeur, ce qui la rend attrayante pour ce contexte. Cependant, elle souffre systématiquement d'un effondrement de l'entraînement. Nous identifions le déplacement paresseux de la vraisemblance (LLD), une réduction ou une stagnation systématique de la vraisemblance des réponses correctes et incorrectes, comme le mécanisme central à l'origine de cet échec. Le LLD apparaît tôt et déclenche une spirale infernale auto-renforçante, où la baisse de vraisemblance mène à des réponses peu confiantes, à une augmentation des gradients et, finalement, à l'effondrement. Nous caractérisons empiriquement ce processus sur différents modèles, à l'aide d'une tâche de questions-réponses avec recherche intégrée de type Search-R1. Cette caractérisation révèle une trajectoire cohérente en trois phases : stagnation initiale, décroissance progressive et effondrement accéléré. Pour remédier à ce problème, nous proposons une régularisation préservant la vraisemblance (LLD) qui s'active uniquement lorsque la vraisemblance d'une action de réponse diminue et ne régularise que les jetons concernés. Cette structure mince atténue la LLD avec une interférence minimale. Notre méthode stabilise l'entraînement, empêche l'explosion du gradient et améliore considérablement les performances sur sept benchmarks, avec des gains relatifs de +45,2 % sur Qwen2.5-3B et de +37,1 % sur Qwen2.5-7B par rapport à l'entraînement GRPO classique. Nos résultats mettent en évidence la LLD comme un goulot d'étranglement jusqu'alors négligé dans l'apprentissage par renforcement intégré basé sur GRPO (TIRL) et offrent une voie pratique vers un entraînement stable et évolutif pour l'apprentissage par renforcement intégré aux outils.

L'audit de confidentialité s'est imposé comme un outil pratique pour estimer empiriquement les fuites de données d'entraînement dans les modèles d'apprentissage automatique, contrairement aux bornes, certes vérifiables mais souvent trop pessimistes, fournies par l'analyse de confidentialité différentielle. Une stratégie courante consiste à utiliser des attaques par inférence d'appartenance pour détecter la présence de « canaris » spécifiques – des points de données choisis pour maximiser le succès de l'attaque – dans les données d'entraînement. Cependant, les conceptions de canaris existantes sont largement heuristiques et reposent sur des échantillons mal étiquetés ou hors distribution. Nous comblons cette lacune en formulant la conception des canaris comme un problème d'optimisation à deux niveaux : le modèle est entraîné dans la boucle interne et le canari est optimisé dans la boucle externe afin de maximiser sa détectabilité. Pour résoudre ce problème, nous développons OptiFluence, un cadre d'optimisation évolutif qui combine (i) l'initialisation par sélection de candidats à l'aide de fonctions d'influence et (ii) l'optimisation déroulée avec des techniques économes en mémoire. Notre approche atteint des performances empiriques remarquables sur quatre ensembles de données. Les modèles de test optimisés atteignent des taux de détection quasi parfaits (99,6 % de vrais positifs pour 0,1 % de faux positifs) sur CIFAR-10, dépassant de quatre fois les modèles de référence déjà en production. Point crucial, ces modèles de test sont transférables efficacement d'une architecture à l'autre sans réentraînement, permettant ainsi des audits de confidentialité effectués par des tiers. Cette transférabilité permet aux organismes de réglementation et aux auditeurs d'évaluer la confidentialité des modèles sans avoir besoin d'accéder à une infrastructure d'entraînement propriétaire ni à d'importantes ressources de calcul.

Les systèmes d'IA agentiques fonctionnent selon des trajectoires : ils planifient, utilisent des outils, mettent à jour leur mémoire et se coordonnent en plusieurs étapes. Cependant, leur interprétabilité reste largement centrée sur le modèle, privilégiant l'explication de prédictions ponctuelles plutôt que le suivi des comportements à long terme et des responsabilités entre les composants interagissant. En conséquence, les défaillances critiques, comme la mauvaise utilisation des outils, les ruptures de coordination ou la dérive des objectifs, échappent souvent aux vérifications existantes jusqu'à ce qu'un dommage survienne. Nous soutenons que l'interprétabilité des systèmes agentiques doit devenir systémique, en s'intéressant aux trajectoires, à l'attribution des responsabilités et à la dynamique du cycle de vie, et non plus seulement aux mécanismes internes du modèle. Nous avançons trois postulats : l'interprétabilité doit (1) co-évoluer avec les capacités agentiques, (2) traiter les différents niveaux d'opacité par des méthodes adaptées et (3) s'intégrer tout au long du cycle de vie du déploiement. Pour concrétiser cette position, nous présentons ATLIS (Agentic Trajectory and Layered Interpretability Stack), un cadre intégrant cinq couches d'interprétabilité réparties sur un cycle de vie de déploiement en cinq étapes. ATLIS permet une surveillance continue et légère, avec une escalade vers une analyse système plus approfondie en cas d'incidents détectés. ATLIS propose un plan pour combler le fossé grandissant entre les capacités des agents et l'infrastructure d'interprétabilité nécessaire à leur gouvernance.

Depuis sa création il y a plus de soixante ans, le domaine de l'aménagement du territoire a considérablement contribué à la théorie et à la pratique de la conception de logiciels d'aménagement capables de résoudre des problèmes d'aménagement inédits. Ces avancées reposent sur des pratiques rigoureuses de conception et d'évaluation des systèmes d'aménagement. Nous estimons que cette rigueur doit être appliquée aux travaux actuels sur l'aménagement du territoire à l'aide de modèles de langage étendus (LLM). Une solution consiste à intégrer judicieusement les connaissances, les outils et les données issus de la communauté de l'aménagement automatisé dans la conception et l'évaluation des planificateurs basés sur les LLM. L'expérience et l'expertise de la communauté des urbanistes pourraient jouer un rôle crucial dans l'accélération du développement de ces planificateurs. Cette position est d'autant plus importante que de nombreux travaux récents reproduisent et propagent les mêmes écueils que ceux rencontrés et dont la communauté des urbanistes a tiré des leçons. Nous sommes convaincus que la mise en place de pratiques permettant d'éviter ces écueils contribuera grandement aux progrès réalisés dans la conception de planificateurs basés sur les LLM et, plus généralement, dans l'aménagement du territoire.

L'IA open source connaît une croissance rapide et les plateformes de modélisation hébergent maintenant des millions d'artefacts. Chaque modèle de base peut engendrer un grand nombre d'ajustements, d'adaptateurs, de quantifications, de fusions et de forks. Nous estimons que l'efficacité du calcul à elle seule est insuffisante pour assurer la durabilité de l'IA open source. La réduction des coûts par exécution peut accélérer l'expérimentation et le déploiement, augmentant ainsi l'empreinte écologique globale, à moins que les impacts ne soient mesurables et comparables entre les différentes lignées de modèles dérivés. Or, la consommation d'énergie et d'eau, ainsi que les émissions de ces lignées, sont rarement mesurées ou divulguées de manière cohérente et comparable, ce qui rend l'impact global de l'écosystème largement invisible. Nous soutenons qu'une IA à source ouverte durable nécessite une infrastructure de coordination permettant de suivre les impacts à travers toutes les lignées de modèles, et pas seulement les modèles de base. Nous proposons la Comptabilité des Données et des Impacts (CDI), une couche de transparence légère et non restrictive qui : (i) normalise les métadonnées relatives aux rapports carbone et eau ; (ii) intègre des mesures simples dans les pipelines d'entraînement et d'inférence communs ; et (iii) agrège les rapports au moyen de tableaux de bord publics afin de synthétiser les impacts cumulatifs des différentes versions et dérivés. DIA rend visibles les coûts dérivés et soutient la responsabilité au niveau de l'écosystème tout en préservant l'ouverture.

L'autoformalisation, qui consiste à traduire le langage naturel informel en langages formels vérifiables par machine, a été conçue comme un outil de génération de données d'entraînement pour les démonstrateurs de théorèmes neuronaux, la plupart des travaux se concentrant sur des énoncés individuels. Ce document de position plaide pour une autoformalisation au niveau théorique : formaliser les théories complètes, incluant axiomes, définitions, théorèmes, preuves, tactiques et leurs interdépendances, sous forme de bibliothèques structurées. Nous examinons l'importance de ce changement, abordons trois points de vue alternatifs, identifions cinq défis à relever et proposons trois pistes prometteuses.

Les grands modèles de langage contemporains sont principalement entraînés par l'apprentissage par renforcement à partir de rétroactions humaines (RLHF), privilégiant l'approbation immédiate de l'utilisateur au détriment de son bien-être à long terme. Ce document de position soutient que, face à l'augmentation des fonctions socioémotionnelles des systèmes d'IA, cette stratégie d'optimisation présente des risques importants. Des études récentes démontrent que les modèles les plus performants font preuve d'une flagornerie systématique, validant des comportements inappropriés et préservant l'image de l'utilisateur à des taux bien supérieurs aux normes humaines, tout en étant environ 40 % plus susceptibles de renforcer des croyances erronées que leurs homologues non entraînés par RLHF. Nous affirmons que la communauté de l'IA doit fondamentalement repenser les objectifs d'entraînement afin d'équilibrer la satisfaction à court terme et les résultats à long terme pour l'utilisateur. Nous proposons trois pistes : (1) intégrer à l'entraînement des indicateurs longitudinaux permettant de mesurer l'atteinte durable des objectifs et la réduction des regrets plutôt que les préférences momentanées ; (2) permettre à l'utilisateur de choisir explicitement parmi les modes d'interaction (conseiller, collaborateur, coach) avec une justification transparente des objections du modèle ; et (3) développer des cadres de référence qui offrent une remise en question constructive sans paternalisme. Les récentes réactions de l'industrie face à une trop grande ou trop faible aptitude des modèles soulignent l'urgence de cette évolution. Nous affirmons qu'optimiser les systèmes d'IA pour l'épanouissement humain, et non pour la simple approbation humaine, constitue à la fois un impératif éthique et une voie vers un déploiement de l'IA plus durable et plus fiable.

Les systèmes d'IA multiagents, notamment ceux construits sur de grands modèles de langage (LLM) et déployés en tant qu'agents autonomes et spécialisés, émergent rapidement dans la prise de décision clinique. Ce document de position soutient que, sans équité et explicabilité comme contraintes de conception fondamentales, de tels systèmes aggraveront les inégalités en matière de santé. À partir de données empiriques issues d'une simulation multi-agents d'un comité de sélection pour la transplantation hépatique, nous démontrons que même des agents très performants peuvent systématiquement désavantager les patients en fonction de leur sexe, de leur origine ethnique et de leur statut socio-économique. Ces disparités résultent de la dépendance des agents à l'égard de variables indirectes non cliniques (type d'assurance, niveau d'éducation, indice de défavorisation du quartier) et sont aggravées par le manque d'explications au niveau du cas et de raisonnement ancré dans le temps. Nous affirmons également que, sans stratégies de déploiement tenant compte de l'équité, ces systèmes ne peuvent être audités de manière fiable ni intégrés de manière éthique dans la pratique clinique. En réponse, nous proposons une feuille de route technique comprenant des objectifs d'apprentissage adaptés aux sous-groupes, des modules de raisonnement contrefactuel, une gouvernance impliquant le clinicien et des protocoles de déploiement qui s'attaquent à la fracture numérique. Nous exhortons la communauté de l'apprentissage machine à placer l'explicabilité et l'équité en matière de santé au cœur du développement et du déploiement de l'IA agentielle pour la médecine, en particulier dans les domaines à forts enjeux où les décisions algorithmiques peuvent déterminer qui vit et qui meurt.

Nous étudions les modèles autorégressifs linéaires post-entraînement avec récompenses de résultats et de processus. Étant donné un contexte $x$, le modèle doit prédire la réponse $y \in \mathcal{Y}^N$, une séquence de longueur $N$ satisfaisant une condition de marge $\gamma$, une extension de la séparabilité standard aux séquences. Nous démontrons que sur des échantillons de test où le modèle de base atteint une vraisemblance non triviale $\alpha$, une variante de l'algorithme de gradient de politique (PG) peut atteindre une vraisemblance de $1 – \varepsilon$ avec un nombre de requêtes de récompense quasi optimal $\tilde{\mathcal{O}}((\alpha^{-1} + \varepsilon^{-1})/\gamma^2)$. Cependant, une limite apparaît lorsqu'on dépasse le support du modèle de base. Nous démontrons que l'erreur moyenne globale attendue après un post-entraînement avec récompenses de résultat est régie par une propriété du modèle de base appelée *quantile de vraisemblance* (LQ). Nous montrons également que les variantes de PG, bien qu'optimales au sens minimax, peuvent nécessiter un nombre de requêtes de récompense exponentiel en $N$ pour dépasser ce support, quel que soit l'algorithme de pré-entraînement. Pour surmonter cet obstacle, nous étudions le post-entraînement avec un modèle de récompense de processus et montrons comment les variantes de PG, dans ce contexte, évitent le fléau de la dimensionnalité en $N$ grâce à la dépendance à un LQ au niveau du jeton. Par ailleurs, nous prouvons que, sous la condition de marge, la descente de gradient stochastique (SGD) avec taux d'apprentissage adaptatif (LR) atteint une erreur de test quasi optimale pour l'apprentissage statistique, et que PG avec LR adaptatif atteint un nombre d'erreurs quasi optimal pour l'apprentissage en ligne tout en étant efficace en termes de calcul lorsque cela est possible. Ces deux résultats peuvent présenter un intérêt indépendant.

Les modèles de langage génomique (gLM) offrent la possibilité d'approfondir notre compréhension de la génomique régulatoire sans nécessiter de données étiquetées. La plupart des gLM sont préentraînés à l'aide de tâches de reconstruction de séquences inspirées du traitement automatique du langage naturel, mais des études récentes ont montré que ces gLM ont souvent du mal à capturer le signal biologique. Pour remédier à ce problème, nous introduisons des tâches de pré-entraînement qui prédisent le taux d'évolution. Ces tâches sont conçues pour être combinées à la reconstruction de séquences, permettant ainsi une comparaison contrôlée de la prédiction de la séquence seule, du taux d'évolution seul, ou des deux. Afin de combler les lacunes des évaluations existantes, nous avons développé une série de points de référence biologiquement pertinents. 

Pour l'ensemble de ces tâches, et pour les benchmarks établis de prédiction des effets des variants, les modèles pré-entraînés à la fois sur la séquence et le taux d'évolution surpassent ceux entraînés uniquement sur la séquence. De plus, l'entraînement sur le taux d'évolution permet même aux modèles relativement petits de notre étude de rivaliser avec des modèles linéaires généralisés (gLM) existants, beaucoup plus vastes, pour certaines tâches sur le génome humain. Ces résultats établissent l'évolution comme une cible d'entraînement essentielle pour les modèles à l'échelle du génome.

Nous présentons un modèle prédictif qui estime la perte de pré-entraînement de grands modèles à partir de la taille du modèle (N), de la taille du lot (B) et du nombre de mises à jour des poids (K). Il s'agit du premier modèle de prédiction de perte capable de gérer les variations de la taille du lot. Ce modèle surpasse le modèle de perte de Chinchilla, qui calcule la perte sur le test en fonction de la taille du lot et du nombre de jetons, notamment en ce qui concerne la projection de la perte pour des budgets de calcul extrapolés (jusqu'à 1 000 plis). Une application naturelle de ce modèle consiste à trouver les configurations optimales de N, B et K sous des contraintes de ressources explicites et combinées, telles que le temps, la mémoire et la puissance de calcul. Dans nos expériences, les configurations sélectionnées par le modèle sont proches de l'optimum théorique. Nos travaux défendent la prédiction de la perte comme une meilleure alternative aux lois heuristiques, dont la complexité ne cesse de croître. L'implémentation est disponible sur https://github.com/chuningxdy/Noisy-Quadratic-System .

L'adaptation en temps réel (TTA) permet de réduire les erreurs sur des données nouvelles et différentes en mettant à jour le modèle en fonction de ces entrées lors de l'inférence. Cependant, ces mises à jour soulèvent la question de la confidentialité des données de test, car les paramètres du modèle dépendent désormais de toutes les entrées précédentes. Pour maîtriser ce risque, nous avons transformé plusieurs méthodes TTA courantes (Tent, EATA, SAR, DeYO et COME) en versions à confidentialité différentielle (DP) qui appliquent un écrêtage du gradient par échantillon et un bruit gaussien à toutes les mises à jour. Sur ImageNet-C, nos méthodes DP-TTA offrent une confidentialité adéquate pour une faible perte de précision. Dans un contexte de faible confidentialité, le mécanisme d'écrêtage de la DP peut même améliorer la précision et la stabilité de l'adaptation en mode continu. Ces améliorations de la confidentialité et de la précision ne représentent qu'une surcharge de calcul modeste. Ces premiers résultats sur la TTA privée sensibilisent à cette problématique, orientent le développement de mises à jour en temps réel plus respectueuses de la vie privée et identifient l'écrêtage par échantillon comme une technique efficace pour améliorer la précision et la stabilité de l'adaptation.

Les architectures prédictives à plongement conjoint (JEPA) apprennent des représentations invariantes au point de vue et permettent une correspondance de distribution basée sur la projection pour éviter l'effondrement. Les approches existantes régularisent les représentations vers des distributions gaussiennes isotropes, mais favorisent intrinsèquement les représentations denses et ne parviennent pas à saisir la propriété clé de parcimonie observée dans les représentations efficaces. Nous introduisons la régularisation par correspondance de distribution rectifiée (RDMReg), une perte de correspondance de distribution à deux échantillons segmentée qui aligne les représentations sur une distribution gaussienne généralisée rectifiée (RGG). La RGG permet un contrôle explicite de la norme $\ell_0$ attendue par rectification, tandis que sa composante tronquée continue admet une caractérisation d'entropie maximale sous des contraintes de norme $\ell_p$ attendue et de support. L'intégration de RDMReg aux JEPA donne naissance à LpJEPA rectifiée, qui généralise strictement les JEPA basées sur des distributions gaussiennes. Empiriquement, Rectified LpJEPA apprend des représentations éparses et non négatives avec des compromis favorables entre parcimonie et performance et des performances en aval compétitives sur les benchmarks de classification d'images, montrant que RDMReg peut imposer la parcimonie tout en préservant les informations pertinentes à la tâche.

Nous présentons RedDebate, un nouveau cadre de débat multi-agents qui permet aux grands modèles linguistiques (LLM) d'identifier et de corriger leurs comportements à risque. Les approches existantes en matière de sécurité de l'IA reposent souvent sur une évaluation humaine coûteuse ou sur une évaluation isolée d'un seul modèle, deux approches limitées par leur évolutivité et sujettes aux erreurs de supervision. RedDebate utilise l'argumentation collaborative entre plusieurs LLM dans divers scénarios de débat, leur permettant d'évaluer de manière critique le raisonnement des uns et des autres et de découvrir systématiquement les modes de défaillance à risque grâce à une simulation d'attaques (red teaming) entièrement automatisée. Nous intégrons également des modules de mémoire à long terme distincts qui préservent les informations pertinentes pour la sécurité issues des interactions de débat et les exploitent lors des inférences ultérieures, facilitant ainsi l'amélioration continue du comportement du modèle. Une évaluation empirique sur des benchmarks de sécurité, menée sur un ensemble diversifié de modèles, démontre que RedDebate réduit considérablement les sorties à risque. Si le débat seul permet aux LLM d'affiner leur comportement, l'ajout de modules de mémoire permet des réductions encore plus significatives. À notre connaissance, RedDebate est le premier cadre entièrement automatisé à unifier le débat multi-agents et le red-teaming afin d'améliorer progressivement la sécurité LLM sans intervention humaine.

Nous introduisons les processus décisionnels markoviens sporadiquement traçables déclenchés par l'action (ATST-MDP), un cadre d'apprentissage par renforcement pour l'observabilité partielle. Dans ce cadre, les observations complètes de l'état surviennent de manière stochastique à chaque étape, la probabilité étant déterminée par l'action choisie. Nous dérivons des équations de Bellman adaptées à ce contexte et établissons l'existence d'une politique optimale. Profitant du fait que les observations sporadiques révèlent l'état complet, nous proposons une formulation équivalente où les agents s'engagent sur des séquences d'actions entre deux observations consécutives. Sous l'hypothèse de processus décisionnels markoviens linéaires, nous montrons que la fonction de valeur sur de telles séquences d'actions admet une représentation linéaire dans une carte de caractéristiques de dimension finie, permettant ainsi l'utilisation de méthodes de régression classiques. En guise d'application, nous dérivons ATST-LSVI-UCB, un algorithme optimiste atteignant un regret $\widetilde{O}(\sqrt{Kd^3(1-\gamma)^{-3}})$ pour l'apprentissage épisodique avec des horizons géométriquement distribués, où $K$ est le nombre d'épisodes, $d$ la dimension des caractéristiques et $\gamma$ le facteur d'actualisation (probabilité de continuation de l'épisode), correspondant au taux connu pour les MDP linéaires avec une observabilité complète.

Les évaluations actuelles de l'intelligence spatiale peuvent être systématiquement invalidées dans le cadre des modèles de vision-langage (VLM) modernes. Premièrement, de nombreux benchmarks dérivent des paires de questions-réponses (QA) à partir d'annotations 3D basées sur des nuages ​​de points, initialement conçues pour la perception 3D traditionnelle. Lorsque ces annotations sont traitées comme vérité terrain pour une évaluation vidéo, des artefacts de reconstruction et d'annotation peuvent omettre des objets clairement visibles dans la vidéo, mal identifier des objets ou corrompre les réponses dépendant de la géométrie (par exemple, la taille), produisant ainsi des paires QA incorrectes ou ambiguës. Deuxièmement, les évaluations supposent souvent un accès à la scène complète, alors que de nombreux VLM fonctionnent sur des images sous-échantillonnées (par exemple, 16 à 64), rendant de nombreuses questions pratiquement insolubles avec les entrées réelles du modèle. Nous améliorons la validité des évaluations en introduisant ReVSI, un benchmark et un protocole qui garantissent que chaque paire QA est pertinente et correcte avec les entrées réelles du modèle. À cette fin, nous avons réannoté les étiquettes et la géométrie des objets sur 413 scènes issues de 5 ensembles de données afin d'améliorer la qualité des données, et régénéré toutes les paires QA grâce à une atténuation rigoureuse des biais et une vérification humaine effectuée avec des outils professionnels de visualisation et d'annotation 3D. Nous avons également renforcé la contrôlabilité de l'évaluation en proposant des variantes pour différents budgets d'images (16/32/64/tous) et des métadonnées précises sur la visibilité des objets, permettant ainsi des analyses diagnostiques contrôlées. Les évaluations des modèles de langage visuel (VLM) généraux et spécifiques au domaine sur ReVSI révèlent des modes de défaillance systématiques masqués par les benchmarks précédents, offrant ainsi une évaluation plus fiable et diagnostique de l'intelligence spatiale.

Les grands modèles linguistiques (LLM) permettent de raisonner sur des structures 2D et 3D. Cependant, les méthodes existantes restent spécifiques à une modalité et compressent généralement les entrées structurelles par tokenisation séquentielle ou par connecteurs de requête de longueur fixe. Ces architectures omettent soit l'ancrage géométrique nécessaire pour atténuer les hallucinations structurelles, soit imposent des goulots d'étranglement rigides dans la fusion des modalités, entraînant simultanément une surcompression et une allocation sous-optimale des jetons structurels, ce qui entrave la réalisation d'un raisonnement généralisé sur tous les atomes. Nous présentons **Cuttlefish**, un LLM multimodal unifié qui ancre le raisonnement linguistique dans des indices géométriques tout en adaptant le nombre de jetons de modalité à la complexité structurelle. Premièrement, **Scaling-Aware Patching** exploite un mécanisme de contrôle conditionné par les instructions pour générer des patchs de taille variable sur les graphes structurels, adaptant le budget des jetons de requête à la complexité structurelle afin d'atténuer les goulots d'étranglement liés aux connecteurs de longueur fixe. Deuxièmement, l'**Adaptateur d'ancrage géométrique** affine ces jetons adaptatifs grâce à une attention croisée aux plongements de modalité et injecte les jetons de modalité résultants dans le LLM, révélant des indices géométriques explicites afin de réduire les hallucinations structurelles. Des expériences menées sur des benchmarks interdisciplinaires tout-atomes démontrent que Cuttlefish atteint des performances supérieures en matière de raisonnement hétérogène ancré dans la structure. Code : github.com/zihao-jing/Cuttlefish .

Les grands modèles de langage ont obtenu des résultats remarquables sur les problèmes mathématiques à réponse finale, notamment grâce à la facilité d'application de l'apprentissage par renforcement avec des récompenses vérifiables. Cependant, le raisonnement sous-jacent à ces solutions est souvent erroné. Progresser vers des mathématiques rigoureuses fondées sur des preuves exige des capacités de vérification fiables. Nous commençons par analyser plusieurs configurations d'évaluation et montrons que se concentrer sur un seul banc d'essai peut mener à des conclusions fragiles, voire trompeuses. Afin d'y remédier, nous évaluons à la fois le raisonnement basé sur les preuves et celui basé sur la réponse finale afin d'obtenir une mesure plus fiable de la performance du modèle. Nous étendons ensuite deux méthodes majeures de vérification générative (GenSelect et LLM-as-a-Judge) à des millions de jetons et identifions leur combinaison comme le cadre le plus efficace pour la vérification et la sélection des solutions. Nous montrons également que le choix de l'invite pour LLM-as-a-Judge affecte significativement les performances du modèle, mais que l'apprentissage par renforcement peut réduire cette sensibilité. Toutefois, malgré l'amélioration des mesures au niveau des preuves, l'apprentissage par renforcement n'améliore pas la précision de la réponse finale, ce qui indique que les modèles actuels privilégient souvent la correction stylistique ou procédurale à la validité mathématique. Nos résultats établissent des lignes directrices pratiques pour la conception et l'évaluation de systèmes évolutifs de vérification et de sélection de preuves.

La demande insatiable de données d'entraînement à l'échelle du Web a exposé les modèles linéaires logiques (LLM) à une menace subtile mais lourde de conséquences : l'intégration de contenu frauduleux dans les poids du modèle et sa reproduction ultérieure lors de l'inférence. En novembre 2024, ce risque s'est concrétisé lorsqu'un développeur aurait perdu 2 500 USD après que ChatGPT a généré un script de trading de cryptomonnaies, par ailleurs classique, contenant une URL d'hameçonnage active. Afin d'étudier systématiquement ce problème, nous présentons Scam2Prompt, un cadre d'audit automatisé qui explore les sites web frauduleux connus, infère leur objectif fonctionnel et synthétise des invites anodines, semblables à celles qu'un développeur pourrait soumettre naturellement, pour évaluer si les LLM reproduisent les points d'accès frauduleux sous-jacents. Point important, notre approche ne nécessite ni jailbreak ni invites malveillantes ; Les 1 377 invites de notre benchmark, Innoc2Scam-bench, construit automatiquement par Scam2Prompt, ont toutes été validées manuellement comme étant des tâches de programmation bénignes. L'évaluation de sept LLM de production publiés en 2025 sur le banc d'essai Innoc2Scam montre que la vulnérabilité est à la fois persistante et grave : les taux de génération de code malveillant varient de 12,9 % à 47,3 % selon les modèles évalués, et aucun modèle testé ne s'avère immunisé. Les garde-fous et agents basés sur RAG (Real Aggregation, Aggregation, Generic) les plus récents n'offrent qu'une protection limitée, soulignant l'urgence d'une validation explicite des URL dans les pipelines de développement logiciel utilisant des LLM.

Les modèles de vision-langage (VLM) à grande échelle, entraînés sur de vastes ensembles de données de paires image-texte, présentent de fortes capacités de compréhension multimodale en apprenant implicitement les associations entre les descriptions textuelles et les régions d'image. Cette capacité émergente permet la détection et la segmentation d'objets sans entraînement préalable, grâce à des techniques s'appuyant sur des cartes d'attention texte-image, sans nécessiter d'entraînement sur de nombreux ensembles de données de segmentation étiquetés. Cependant, la performance de ces méthodes dépend fortement de la conception des amorces et du choix manuel des couches ou des têtes pour les couches d'attention. Dans ce travail, nous proposons InfoScore, une mesure d'entropie sans entraînement, pour identifier les meilleures couches d'attention image-texte pour la segmentation. InfoScore offre une solution plus flexible et évolutive pour la segmentation à vocabulaire ouvert sans entraînement, réduisant ainsi la charge supplémentaire liée à la recherche d'hyperparamètres. Nous montrons empiriquement que notre stratégie de sélection sans entraînement est supérieure aux stratégies de sélection naïves. De plus, nous démontrons qu'au lieu de se fier uniquement aux amorces textuelles, l'ajustement fin de la couche d'attention image-texte avec un seul exemple visuel par classe améliore considérablement la segmentation sans nécessiter de paramètres ou de décodeurs supplémentaires. De plus, on montre que nos méthodes et nos résultats sont généraux et peuvent être appliqués à divers modèles de vision-langage (VLM).

Les « soupes de motifs » sont des combinaisons de paramètres aussi étranges qu'efficaces. Elles partent d'un modèle (le bouillon), l'affinent en plusieurs modèles (les ingrédients), puis mélangent leurs paramètres pour former un seul modèle (la soupe) afin d'améliorer les prédictions. Alors que toutes les soupes connues nécessitent un apprentissage supervisé et optimisent la même fonction de perte sur des données étiquetées, nos recettes pour la Self-Soupervision généralisent les soupes à l'apprentissage autosupervisé (SSL). Notre autosuffisance nous permet d'enrichir les ingrédients avec de nouvelles sources de données, par exemple des données non étiquetées issues d'une tâche de transfert ou d'un changement de modèle pour améliorer la robustesse. Nous montrons que le Self-Souping sur des données de test corrompues, suivi d'un affinage sur des données d'entraînement non corrompues, améliore la robustesse de 3,5 % (ImageNet-C) et de 7 % (LAION-C). La Self-Soupervision ouvre également la voie à une multitude d'algorithmes SSL pour concocter les divers ingrédients nécessaires à des soupes plus robustes. Nous démontrons pour la première fois que les ingrédients peuvent différer par leurs hyperparamètres SSL et, plus surprenant encore, par leurs algorithmes SSL. Nous faisons des soupes à base d'ingrédients MAE, MoCoV3, MMCR et LeJEPA, dont la composition est plus précise que celle de n'importe quel ingrédient SSL pris individuellement.

Les méthodes modernes d'apprentissage par renforcement (RL) hors ligne permettent d'identifier des couples acteur-critique performants. Cependant, l'ajustement précis de ces couples en ligne à l'aide d'algorithmes RL basés sur la valeur entraîne généralement une chute immédiate des performances. Nous apportons des preuves corroborant l'hypothèse selon laquelle, dans le paysage de perte, les maxima hors ligne des algorithmes précédents et les maxima en ligne sont séparés par des vallées de faible performance que l'ajustement fin basé sur le gradient traverse. Nous présentons ainsi SMAC (Score Matched Actor-Critic), une méthode RL hors ligne conçue pour apprendre des couples acteur-critique qui passent aux algorithmes RL en ligne basés sur la valeur sans perte de performance. SMAC évite les vallées entre les maxima hors ligne et en ligne en régularisant la fonction Q durant la phase hors ligne afin de respecter l'égalité de la dérivée première entre le score de la politique et le gradient d'action de la fonction Q. Nous démontrons expérimentalement que SMAC converge vers des maxima hors ligne qui sont connectés à de meilleurs maxima en ligne par des chemins à récompense croissante, trouvés par une optimisation du premier ordre. SMAC assure une transition fluide vers Soft Actor-Critic et TD3 dans 6/6 tâches D4RL. Dans 4/6 environnements, il réduit le regret de 34 à 58 % par rapport à la meilleure performance de référence.

Les méthodes d'entraînement clairsemé dynamique (DST) entraînent les réseaux de neurones en préservant la parcimonie tout en adaptant dynamiquement la topologie du réseau. Malgré la promesse d'une réduction du temps de calcul, les méthodes DST convergent beaucoup plus lentement que l'entraînement dense, nécessitant souvent un temps d'entraînement comparable pour atteindre une précision similaire. Nous démontrons, analytiquement et empiriquement, que la normalisation par lots (BN) nuit à l'entraînement clairsemé et proposons SparseOpt, un optimiseur prenant en compte la parcimonie, pour y remédier. Des expériences menées sur des modèles ResNet des bases de données CIFAR-100 et ImageNet démontrent une convergence systématiquement plus rapide et une généralisation améliorée avec notre méthode. Nos travaux mettent en évidence les limites des couches de normalisation actuelles dans l'entraînement clairsemé et fournissent la première étude systématique de l'interaction entre la normalisation par lots, les couches clairsemées et le DST, constituant ainsi une avancée significative vers une compétitivité concrète du DST face à l'entraînement dense.

Bien que l'ajustement de flux soit élégant, son recours aux vitesses conditionnelles d'un seul échantillon engendre des cibles d'entraînement à forte variance, ce qui déstabilise l'optimisation et ralentit la convergence. En caractérisant explicitement cette variance, nous identifions : 1) un *régime de forte variance* près de la distribution a priori, où l'optimisation est complexe ; et 2) un *régime de faible variance* près de la distribution des données, où les vitesses conditionnelles et marginales coïncident presque. Forts de cette observation, nous proposons **Stable Velocity**, un cadre unifié qui améliore à la fois l'entraînement et l'échantillonnage. Pour l'entraînement, nous introduisons Stable Velocity Matching (StableVM), un objectif de réduction de la variance non biaisée, ainsi que Variance-Aware Representation Alignment (VA-REPA), qui renforcent de manière adaptative la supervision auxiliaire dans le *régime de faible variance*. Pour l'inférence, nous montrons que la dynamique dans le *régime de faible variance* admet des simplifications analytiques, permettant Stable Velocity Sampling (StableVS), une accélération sans réglage fin. Des expériences approfondies menées sur ImageNet $256\times256$ et sur de grands modèles préentraînés de conversion texte-image et texte-vidéo, notamment SD3.5, Flux, Qwen-Image et Wan2.2, démontrent des améliorations constantes de l'efficacité d'entraînement et un échantillonnage plus de deux fois plus rapide dans le *régime de faible variance*, sans dégradation de la qualité des échantillons. Notre code est disponible à l' adresse https://github.com/linYDTHU/StableVelocity .

Les benchmarks existants pour les agents d'IA conversationnels simulent des environnements à contrôle unique, où seul l'agent d'IA peut utiliser des outils pour interagir avec le monde, tandis que l'utilisateur reste un fournisseur d'informations passif. Ceci diffère des scénarios réels tels que le soutien technique, où les utilisateurs doivent participer activement à la modification de l'état du monde (partagé). Afin de combler cet écart, nous introduisons 

τ²-bench, avec quatre contributions clés : 

1. Un nouveau **domaine de contrôle double des télécommunications** modélisé comme un Dec-POMDP, où l'agent et l'utilisateur utilisent des outils pour agir dans un environnement partagé et dynamique qui teste à la fois la coordination et la communication des agents, 
2. Un **générateur de tâches compositionnelles** qui crée par programmation des tâches diverses et vérifiables à partir de composants atomiques, garantissant la couverture du domaine et une complexité contrôlée, 
3. Un **simulateur d'utilisateur fiable** étroitement couplé à l'environnement, dont le comportement est contraint par des outils et des états observables, améliorant ainsi la fidélité de la simulation. 
4. **Analyse fine des performances de l'agent** grâce à de multiples ablations, notamment en séparant les erreurs provenant du raisonnement de celles provenant de la communication/coordination. 

Nos expériences montrent notamment des baisses de performance significatives lorsque les agents passent d'un mode sans utilisateur à un mode à double contrôle, ce qui souligne les difficultés liées au guidage des utilisateurs. Globalement, 

τ²-bench fournit un banc d'essai contrôlé pour les agents qui doivent à la fois raisonner efficacement et guider les actions de l'utilisateur.

La réciprocité indirecte, c'est-à-dire l'entraide entre agents, est difficile à maintenir au sein d'écosystèmes linguistiques décentralisés et individualistes, dépourvus de systèmes de réputation fiables. Nous présentons ALIGN (Agentic Linguistic Gossip Network), un cadre automatisé où les agents partagent stratégiquement des informations ouvertes, utilisant une hiérarchie de tons pour évaluer la fiabilité et coordonner les normes sociales. Nous démontrons qu'ALIGN améliore systématiquement la réciprocité indirecte et résiste aux intrus malveillants en identifiant et en ostracisant les défecteurs, sans modifier les incitations intrinsèques. Notamment, nous constatons que des capacités de raisonnement plus robustes au sein des écosystèmes linguistiques mènent à une coopération mieux alignée sur les incitations, tandis que les modèles de chat ont souvent tendance à surcoopérer, même lorsque leur stratégie est sous-optimale. Ces résultats suggèrent que l'exploitation du raisonnement des écosystèmes linguistiques via des échanges d'informations décentralisés constitue une voie prometteuse pour le maintien du bien-être social dans les écosystèmes multi-agents.

L'apprentissage de représentations pertinentes est essentiel pour la planification latente avec des modèles du monde. Bien que les encodeurs visuels préentraînés produisent des caractéristiques visuelles sémantiques robustes, ils ne sont pas adaptés à la planification et contiennent des informations non pertinentes, voire nuisibles. Inspirés par l'hypothèse de redressement perceptif dans le traitement visuel humain, nous introduisons le redressement temporel pour améliorer l'apprentissage des représentations pour la planification latente. À l'aide d'un régulariseur de courbure qui favorise le redressement local des trajectoires latentes, nous apprenons conjointement un encodeur et un prédicteur d'un modèle du monde JEPA (Joint-Embedding Predictive Architecture). Nous montrons que la réduction de la courbure ainsi obtenue fait de la distance euclidienne dans l'espace latent une meilleure approximation de la distance géodésique et améliore le conditionnement de l'objectif de planification. Nous démontrons empiriquement que le redressement temporel rend la planification basée sur le gradient plus stable et permet d'obtenir des taux de réussite significativement plus élevés sur une série de tâches d'atteinte d'objectifs. Notre code est disponible à l'adresse https://agenticlearning.ai/temporal-straightening .

L'apprentissage par renforcement conditionné par objectif (GCRL) hors ligne rencontre souvent des difficultés avec les tâches à long terme, où les erreurs d'estimation de la valeur s'accumulent et produisent des politiques peu fiables. On suppose généralement qu'une planification efficace à long terme est impossible sans entraînement spécialisé. À l'inverse, nos travaux démontrent que les politiques GCRL existantes peuvent accomplir des tâches à long terme lorsqu'elles sont combinées à un module de planification léger et sans entraînement. Nous constatons que les fonctions de valeur conditionnées par objectif standard encodent une structure géométrique localement cohérente suffisante pour la planification. Notre approche, la recherche de graphes en temps de test (TTGS), construit un graphique sur l'ensemble de données hors ligne et utilise une stratégie de sélection de sous-objectifs adaptative. Pour pallier les estimations de valeur peu fiables lors de la recherche du plus court chemin, nous proposons un nouveau mécanisme qui pénalise légèrement les transitions à longue distance. Notre méthode engendre une surcharge de calcul négligeable et ne nécessite aucune supervision supplémentaire ni mise à jour des paramètres. Sur le benchmark OGBench, TTGS améliore significativement les taux de réussite pour de nombreux modèles de base et tâches, notamment sur les tâches de locomotion à long terme complexes où certains taux de réussite passent de presque zéro à plus de 90 %, égalant ou surpassant souvent des méthodes nécessitant un entraînement auxiliaire complexe. Le code et les vidéos sont disponibles à l' adresse https://ktolnos.github.io/ttgs .

Les optimiseurs de type gradient textuel (TextGrad) permettent la propagation de la rétroaction par gradient à travers des systèmes d'IA complexes. Cependant, ils sont peu performants pour les chaînes profondes. Cette limitation découle du problème d'*enchevêtrement sémantique* inhérent à ces flux de travail étendus. Dans la rétropropagation textuelle standard, les signaux de rétroaction mélangent les critiques locales et les contextes en amont, engendrant une *ambiguïté d'attribution*. Pour relever ce défi, nous proposons TextResNet, un cadre qui reformule le processus d'optimisation afin d'obtenir un routage précis des signaux grâce à quatre innovations clés. Premièrement, lors de la propagation avant, il impose des deltas sémantiques additifs pour préserver un chemin d'identité pour le flux de gradient. Deuxièmement, lors de la propagation arrière, il introduit une décomposition du gradient sémantique via un projecteur sémantique afin de désenchevêtrer la rétroaction en sous-espaces causalement indépendants. Troisièmement, il implémente un routage causal, qui achemine les signaux projetés vers leurs composants spécifiques. Finalement, il effectue une planification d'optimisation tenant compte de la densité afin d'exploiter les signaux désenchevêtrés pour allouer dynamiquement des ressources aux principaux goulots d'étranglement du système. Nos résultats montrent que TextResNet surpasse TextGrad en termes de performances et présente une stabilité remarquable pour les tâches d'agents dans les systèmes d'IA complexes, là où les méthodes de référence s'effondrent. Le code est disponible à l' adresse https://github.com/JeanDiable/TextResNet .

Les Transformers Vision (ViT) ont connu un succès remarquable dans diverses tâches de vision, mais leur déploiement est souvent freiné par des coûts de calcul prohibitifs. Bien que l'élagage structuré des poids et la compression des jetons soient apparus comme des solutions prometteuses, ils souffrent respectivement d'un réentraînement prolongé et de dépendances intercouches qui compliquent l'optimisation. Nous proposons ToaSt, un cadre découplé appliquant des stratégies spécialisées aux différents composants ViT. Nous appliquons un élagage structuré couplé par tête aux modules d'auto-attention multi-têtes, en tirant parti des caractéristiques de l'opération d'attention pour améliorer la robustesse. Pour les réseaux à propagation avant (plus de 60 % des FLOP), nous introduisons la sélection de canaux de jetons (TCS), une méthode sans entraînement qui filtre les canaux de bruit redondants lors de l'inférence. Des évaluations approfondies sur neuf modèles divers, dont DeiT, ViT-MAE et Swin Transformer, démontrent que ToaSt offre un excellent compromis entre précision et efficacité, surpassant systématiquement les méthodes de référence existantes. Sur ViT-MAE-Huge, ToaSt atteint une précision de 88,52 % (+1,64 % p) avec une réduction de 39,4 % des FLOPs. ToaSt s'adapte également efficacement à diverses tâches en aval (détection COCO, segmentation ADE20K, classification CIFAR-100), atteignant un mAP de 52,2 contre 51,9 sur COCO. Code : https://github.com/SHANNonLab-HUFS/ToaSt

Les tokeniseurs constituent le fondement de la représentation et du traitement du texte par les modèles linguistiques (ML). Malgré l'importance de la tokenisation, son rôle dans la performance et le comportement des ML reste mal compris, car il est difficile de mesurer son impact de manière isolée. Pour pallier ce manque, nous présentons TokSuite, une collection de modèles et un banc d'essai facilitant la recherche sur l'influence de la tokenisation sur les ML. Concrètement, on met à disposition quatorze modèles préentraînés utilisant différents tokeniseurs disponibles dans le commerce, mais par ailleurs identiques : même architecture, même jeu de données, même budget d'entraînement et même initialisation. Nous proposons également un banc d'essai de robustesse multilingue mesurant les performances des modèles face à des perturbations réelles en anglais, chinois, farsi, italien et turc, annotées par des locuteurs natifs. TokSuite permet ainsi de dissocier efficacement l'influence du tokeniseur d'un modèle, et de mettre en lumière les avantages et les inconvénients respectifs d'une large gamme de tokeniseurs populaires.

La recherche sur la robustesse des modèles de langage face aux attaques adverses est actuellement fragmentée selon les applications et les types d'attaques, masquant ainsi les vulnérabilités communes. Dans ce travail, nous proposons d'unifier l'étude de la robustesse face aux attaques adverses dans les modèles de notation de texte, incluant les extracteurs denses, les réorganisateurs et les modèles de récompense. Cela justifie l'adaptation des attaques et des méthodes d'entraînement adverses aux différents rôles des modèles. Contrairement à la génération ouverte, les échecs de notation de texte sont directement testables : une attaque réussit lorsqu'un texte non pertinent ou rejeté obtient un meilleur score qu'un texte pertinent ou sélectionné. Grâce à cette approche rigoureuse de la notation de texte, nous démontrons que les formulations actuelles d'entraînement adverse pour les modèles de langage sont souvent limitées et peinent à généraliser efficacement face aux attaques. Afin d'y remédier, nous introduisons plusieurs méthodes d'entraînement adverse pour les modèles de notation de texte et montrons que la combinaison de méthodes complémentaires permet d'obtenir une robustesse accrue tout en améliorant l'efficacité de la tâche. Nous soulignons également l'intérêt pratique de notre approche pour le RLHF, en démontrant que nos modèles de récompense entraînés de manière adverse atténuent le piratage des récompenses et facilitent l'entraînement de modèles de langage mieux alignés. Nous offrons notre code et nos modèles pour des études plus approfondies.

Les cartes de flux permettent la génération d'images de haute qualité en une seule passe directe. Cependant, contrairement aux modèles de diffusion itératifs, leur absence de trajectoire d'échantillonnage explicite empêche l'intégration de contraintes externes pour la génération conditionnelle et la résolution de problèmes inverses. Nous proposons les _Cartes de flux Variationnelles_, un cadre pour l'échantillonnage conditionnel qui déplace la perspective du conditionnement du « guidage d'un chemin d'échantillonnage » vers celle de « l'apprentissage du bruit initial approprié ». Plus précisément, étant donné une observation, nous cherchons à apprendre un _modèle d'adaptateur de bruit_ qui produit une distribution de bruit, de sorte qu'après projection dans l'espace des données via la carte de flux, les échantillons respectent l'observation et la distribution a priori des données. À cette fin, nous développons une fonction objectif variationnelle rigoureuse qui entraîne conjointement l'adaptateur de bruit et la carte de flux, améliorant l'alignement bruit-données, de sorte que l'échantillonnage à partir d'une distribution a posteriori de données complexe soit réalisé avec un adaptateur simple. Des expériences sur divers problèmes inverses montrent que les cartes de flux de variations produisent des échantillons conditionnels bien calibrés en une seule (ou quelques) étapes. Pour ImageNet, VFM atteint une fidélité compétitive tout en accélérant l'échantillonnage de plusieurs ordres de grandeur par rapport aux autres modèles itératifs de diffusion/flux.

Les progrès rapides dans le domaine des modèles vidéo se sont principalement concentrés sur la qualité visuelle, laissant leurs capacités de raisonnement sous-exploitées. Le raisonnement vidéo ancre l'intelligence dans des environnements visuels spatio-temporellement cohérents, allant au-delà de ce que le texte peut naturellement saisir, et permettant un raisonnement intuitif sur les structures spatio-temporelles telles que la continuité, l'interaction et la causalité. Cependant, l'étude systématique du raisonnement vidéo et de son comportement d'échelle est entravée par le manque de données d'entraînement à grande échelle. Pour combler cette lacune, nous présentons le **Very Big Video Reasoning (VBVR) Dataset**, une ressource d'une ampleur sans précédent, comprenant *200* tâches de raisonnement soigneusement sélectionnées selon une taxonomie rigoureuse, et plus d'un million de clips vidéo, soit environ *trois ordres de grandeur* plus importante que les ensembles de données existants. Nous présentons également **VBVR-Bench**, un cadre d'évaluation vérifiable qui dépasse l'évaluation basée sur les modèles en intégrant des évaluateurs basés sur des règles et alignés sur l'expertise humaine, permettant un diagnostic reproductible et interprétable des capacités de raisonnement vidéo. En utilisant la suite VBVR, nous avons mené l'une des premières études de passage à l'échelle du raisonnement vidéo et observé les premiers signes d'une généralisation émergente à des tâches de raisonnement inédites. VBVR jette ainsi les bases de la prochaine étape de la recherche sur le raisonnement vidéo généralisable. Les données, les outils de test et les modèles sont accessibles au public sur ** video-reason.com **.

Bien que la génération augmentée par récupération (RAG) soit l'un des paradigmes dominants pour améliorer les grands modèles vision-langage (LVLM) dans les tâches de questions-réponses visuelles (VQA) basées sur les connaissances, des travaux récents attribuent les échecs de la RAG à une attention insuffisante portée au contexte récupéré, proposant de réduire l'attention accordée aux jetons d'image. Dans ce travail, nous identifions un mode d'échec distinct, négligé par les études précédentes : la distraction attentionnelle (DA). Lorsque le contexte récupéré est suffisant (très pertinent ou incluant la bonne réponse), le texte récupéré supprime globalement l'attention visuelle, et l'attention portée aux jetons d'image se détourne des régions pertinentes pour la question. Cela entraîne des échecs sur des questions auxquelles le modèle aurait pu répondre correctement sans le texte récupéré. Pour atténuer ce problème, nous proposons MAD-RAG, une intervention sans entraînement qui découple l'ancrage visuel de l'intégration du contexte grâce à une formulation à double question, combinée à un mélange d'attention pour préserver les informations conditionnées par l'image. Des expériences approfondies menées sur OK-VQA, E-VQA et InfoSeek démontrent que MAD-RAG surpasse systématiquement les solutions de référence existantes pour différentes familles de modèles, avec des gains absolus allant jusqu'à 4,76 %, 9,20 % et 6,18 % par rapport à la solution RAG de base. De plus, MAD-RAG corrige jusqu'à 74,68 % des cas d'échec avec une surcharge de calcul négligeable.

Nous présentons la première analyse empirique à grande échelle des phénomènes de dépossession de pouvoir dans les interactions réelles avec des assistants IA, en analysant 1,5 million de conversations avec Claude.ai, un assistant virtuel, grâce à une approche respectueuse de la vie privée. Nous nous concentrons sur le potentiel de dépossession de pouvoir situationnel, qui survient lorsque les interactions avec l'assistant IA risquent d'amener les utilisateurs à se forger une perception déformée de la réalité, à porter des jugements de valeur inauthentiques ou à agir en contradiction avec leurs valeurs. Quantitativement, nous constatons que les formes graves de ce potentiel se produisent dans moins d'une conversation sur mille, bien que les taux soient sensiblement plus élevés dans les domaines personnels tels que les relations et le mode de vie. Qualitativement, on met en lumière plusieurs tendances préoccupantes, comme la validation de récits de persécution et d'identités grandioses par un langage obséquieux et emphatique, des jugements moraux définitifs sur des tiers et la scénarisation complète de communications personnelles chargées de valeurs que les utilisateurs semblent reproduire à la lettre. L'analyse des tendances historiques révèle une augmentation de la prévalence de ce potentiel de dépossession de pouvoir au fil du temps. Nous constatons également que les interactions présentant un plus grand potentiel de dépossession de pouvoir reçoivent des taux d'approbation des utilisateurs plus élevés, ce qui suggère peut-être une tension entre les préférences des utilisateurs à court terme et l'autonomisation humaine à long terme.

Recueillir des informations pour réduire l'incertitude concernant les propriétés latentes d'un groupe est un problème central dans l'évaluation collective, la modélisation des préférences et l'agrégation d'opinions, et revêt une importance particulière dans les études par sondage. Si les interactions en langage naturel offrent une interface flexible, les méthodes existantes reposent généralement sur des questionnaires fixes et des ensembles de répondants statiques, et ne s'adaptent pas aux réponses partielles ou manquantes d'un tour à l'autre. Pour combler cette lacune, nous étudions la collecte adaptative d'informations par le biais d'interactions à plusieurs tours entre un modèle de langage étendu et un groupe d'individus, où les requêtes et les répondants sont sélectionnés de manière adaptative afin d'inférer les propriétés latentes du groupe. Nous proposons un cadre théorique solide qui, à chaque tour, sélectionne conjointement une requête et un sous-ensemble de répondants en fonction des réponses précédemment observées, afin de réduire efficacement l'incertitude concernant une variable latente cible (par exemple, l'orientation politique du groupe). Motivée par les contraintes pratiques des sondages, comme le nombre limité de questions et le coût de la participation, notre stratégie maximise le gain d'information avec un budget fixe. Pour gérer les réponses manquantes et incomplètes, nous combinons des réseaux neuronaux graphiques pour l'agrégation/l'imputation d'informations partielles de groupe avec un critère d'information guidant la sélection à chaque tour. Sur trois ensembles de données d'opinion réelles, nous obtenons des améliorations constantes dans la prédiction des réponses au niveau de la population, même avec des budgets limités, notamment un gain relatif de plus de 12 % sur le CES avec un budget de 10 % par répondant.