Obtenir de l’information pour réduire l’incertitude sur une entité latente est une compétence cruciale dans de nombreux domaines d’application, par exemple, évaluer les résultats d’apprentissage individuels des élèves, diagnostiquer des maladies sous-jacentes ou préférer les utilisateurs d’apprentissage. Bien que le langage naturel soit un médium puissant à cette fin, les grands modèles de langage (LLM) et les algorithmes d’ajustement fin existants manquent de mécanismes pour recueillir stratégiquement de l’information afin d’affiner leur propre compréhension de l’entité latente. Nous proposons un cadre d’élicitation adaptative qui réduit activement l’incertitude sur l’entité latente en simulant des réponses contrefactuelles. Puisque la modélisation probabiliste d’une entité latente abstraite est difficile, nous validons et affinons les méthodes de quantification d’incertitude basées sur les LLM en utilisant la perplexité sur des observations futures masquées produites par l’entité latente. Notre cadre permet le développement de stratégies sophistiquées de collecte d’informations, et nous démontrons sa polyvalence grâce à des expériences de sondages d’opinion dynamiques et d’évaluation adaptative des élèves.

Les grands modèles de langage (LLM) acquièrent une étendue d’informations dans divers domaines. Cependant, leur complexité computationnelle, leur coût et leur manque de transparence nuisent souvent à leur application directe pour des tâches prédictives où la confidentialité et l’interprétabilité sont primordiales. Dans des domaines comme la santé, la biologie et la finance, les modèles linéaires spécialisés et interprétables conservent une valeur considérable. Dans de tels domaines, les données étiquetées peuvent être rares ou coûteuses à obtenir. Des distributions a priori bien spécifiées sur les paramètres du modèle peuvent réduire la complexité de l’apprentissage par inférence bayésienne; cependant, obtenir des antécédents d’experts peut prendre du temps. Nous introduisons donc AutoElicit pour extraire des connaissances des LLM et construire des priors pour des modèles prédictifs. Nous montrons que ces priors sont informatifs et peuvent être affinés en utilisant le langage naturel. Nous réalisons une étude minutieuse comparant AutoElicit à l’apprentissage en contexte et démontrons comment sélectionner le modèle entre les deux méthodes. Nous constatons qu’AutoElicit produit des priors qui peuvent réduire substantiellement l’erreur par rapport aux priors non informatifs, en utilisant moins d’étiquettes, et surpassant systématiquement l’apprentissage en contexte. Nous montrons qu’AutoElicit permet d’économiser plus de 6 mois d’efforts d’étiquetage lors de la construction d’un nouveau modèle prédictif pour les infections urinaires à partir des enregistrements de capteurs de personnes vivant avec la démence.

L’entraînement des réseaux de neurones est intrinsèquement sensible à l’initialisation et à l’aléa induite par la descente du gradient stochastique. Cependant, il n’est pas clair dans quelle mesure de tels effets mènent à des réseaux significativement différents, soit en termes de poids des modèles, soit des fonctions sous-jacentes apprises. Dans ce travail, nous montrons que lors d’une phase initiale « chaotique », une perturbation extrêmement faible fait diverger de façon fiable des trajectoires d’entraînement autrement identiques – un effet qui diminue rapidement au fil du temps d’entraînement. Nous quantifions cette divergence par (i) $L^2$ de distance entre les paramètres, (ii) la similarité des vecteurs de paramètres mesurée par l’alignement des permutations, et, surtout, (iii) la barrière de perte lors de l’interpolation entre réseaux; révélant comment les perturbations entre différents paramètres d’hyperparamètres ou l’ajustement fin conduisent les trajectoires d’entraînement vers des minima de perte distincts. Nos résultats fournissent des informations sur la stabilité de l’entraînement des réseaux neuronaux, avec des implications pratiques pour l’ajustement fin et les techniques de fusion de modèles.

L’idée de l’apprentissage par modèle conscient de la valeur, selon laquelle les modèles doivent produire des estimations de valeur précises, a gagné en importance dans l’apprentissage par renforcement basé sur les modèles. La perte de MuZero, qui pénalise la prédiction de la fonction de valeur d’un modèle par rapport à la fonction de valeur de la vérité fondamentale, a été utilisée dans plusieurs travaux empiriques importants de la littérature. Cependant, l’investigation théorique de ses forces et faiblesses est limitée. Dans cet article, nous analysons la famille des pertes d’apprentissage des modèles conscients de la valeur, qui inclut la perte populaire de MuZero. Nous montrons que ces pertes, telles qu’elles sont normalement utilisées, sont des pertes de substitution non calibrées, ce qui signifie qu’elles ne récupèrent pas toujours le modèle et la fonction de valeur corrects. En s’appuyant sur cette idée, nous proposons des corrections pour résoudre ce problème. De plus, nous étudions l’interaction entre l’étalonnage des pertes, les architectures de modèles latents et les pertes auxiliaires couramment utilisées lors de l’entraînement des agents de type MuZero. Nous montrons que, bien que les modèles déterministes puissent suffire à prédire des valeurs précises, apprendre des modèles stochastiques calibrés reste avantageux.

Nous étudions le problème de l’apprentissage par renforcement distributif en utilisant des paramétrisations catégoriques et une perte de divergence KL. Des travaux antérieurs analysant la RL des distributions catégorielles l’ont fait en utilisant une perte basée sur la distance de Cramér, simplifiant l’analyse mais créant un écart théorie-pratique. Nous introduisons une version préconditionnée de l’algorithme, et prouvons qu’il est garanti de converger. Nous déduisons également la variance asymptotique des estimations catégorielles sous différents régimes de taux d’apprentissage, comparons à celle de l’apprentissage par renforcement classique, et analysons comment ces mises à jour sont affectées dans le cadre approximatif des fonctions linéaires. Nous validons finalement empiriquement nos résultats et menons une enquête empirique sur les forces relatives de l’utilisation des pertes de KL, en tirant un certain nombre d’informations exploitables pour les praticiens.

Les réseaux neuronaux graphiques (GNN) ont démontré un succès remarquable dans l’apprentissage à partir de données structurées en graphes. Cependant, leur application aux graphes orientés (digraphes) présente des défis uniques, principalement en raison de l’asymétrie inhérente aux relations entre les nœuds. Les GNN traditionnels sont habiles à capturer des relations unidirectionnelles, mais ne parviennent pas à encoder les dépendances des chemins mutuels entre les nœuds, comme les chemins les plus courts asymétriques typiquement trouvés dans les digraphes. En reconnaissant cet écart, nous introduisons **C**ommute **G**raph **N**eural **N**etworks (CGNN), une approche qui intègre sans effort le temps de trajet nœud par nœud dans le schéma de transmission de messages. La pierre angulaire du CGNN est une méthode efficace pour calculer le temps de trajet à l’aide d’un laplacien de digraphe nouvellement formulé. Le temps de commutation est ensuite intégré au processus d’agrégation de voisinage, avec les contributions des voisins pondérées selon leur temps de déplacement respectif vers le nœud central de chaque couche. Il permet au CGNN de capturer directement les relations mutuelles asymétriques dans les digraphes. Des expériences approfondies confirment la performance supérieure du CGNN. Le code source de CGNN est disponible anonymement ici.

L’estimation des moments adaptatifs (Adam) est un algorithme d’optimisation fondamental en apprentissage profond, largement reconnu pour sa flexibilité avec les taux d’apprentissage adaptatif et son efficacité dans la gestion de données à grande échelle. Cependant, malgré son succès pratique, la compréhension théorique de la convergence d’Adam a été contrainte par des hypothèses strictes, telles que presque certainement les gradients stochastiques bornés ou les gradients uniformément bornés, qui sont plus restrictifs que ceux généralement requis pour analyser la descente des gradients stochastiques (SGD). Dans cet article, nous introduisons un cadre novateur et complet pour analyser les propriétés de convergence d’Adam. Ce cadre offre une approche polyvalente pour établir la convergence d’Adam. Plus précisément, nous prouvons qu’Adam atteint une convergence asymptotique (dernier sens itéré) à la fois dans le sens presque certain et le sens \(L_1\) sous les hypothèses relâchées généralement utilisées pour SGD, à savoir la \(L\)-lisse et l’inégalité ABC. Pendant ce temps, sous les mêmes hypothèses, nous montrons qu’Adam atteint des bornes de complexité d’échantillon non asymptotiques similaires à celles du SGD.

Les prédictions prudentes — lorsqu’un modèle d’apprentissage automatique s’abstient lorsqu’il est incertain — sont cruciales pour limiter les erreurs nuisibles dans les applications critiques pour la sécurité. Dans cet ouvrage, nous identifions une menace nouvelle : une institution malhonnête peut exploiter ces mécanismes pour discriminer ou refuser injustement des services sous couvert d’incertitude. Nous démontrons la praticité de cette menace en introduisant une attaque induisant l’incertitude appelée Mirage, qui réduit délibérément la confiance dans les régions d’entrée ciblées, désavantagant ainsi secrètement des individus spécifiques. En même temps, Mirage maintient une performance prédictive élevée sur tous les points de données. Pour contrer cette menace, nous proposons Confidential Guardian, un cadre qui analyse les métriques d’étalonnage sur un ensemble de données de référence afin de détecter une confiance artificiellement supprimée. De plus, il utilise des preuves à connaissance nulle de l’inférence vérifiée afin de s’assurer que les scores de confiance rapportés proviennent réellement du modèle déployé. Cela empêche le fournisseur de fabriquer des valeurs de confiance arbitraires du modèle tout en protégeant les détails propriétaires du modèle. Nos résultats confirment que Confidential Guardian empêche efficacement l’abus de prédictions prudentes, fournissant des garanties vérifiables que l’abstention reflète une véritable incertitude du modèle plutôt que des intentions malveillantes.

Une limitation actuelle des modèles vidéo génératifs est qu’ils génèrent des images d’apparence plausibles, mais un mouvement médiocre — un problème mal capturé par la FVD et d’autres méthodes populaires d’évaluation des vidéos générées. Ici, nous allons au-delà de la DVF en développant une métrique qui mesure mieux les interactions plausibles entre objets et le mouvement. Notre approche novatrice repose sur l’auto-encodage des pistes ponctuelles et produit des caractéristiques de mouvement qui peuvent être utilisées pour comparer des distributions de vidéos (aussi peu qu’une générée et une de vérité de terrain, ou jusqu’à deux ensembles de données), ainsi que des erreurs de reconstruction pour évaluer le mouvement de vidéos individuelles. Nous montrons que l’utilisation de pistes ponctuelles au lieu de reconstruction de pixels ou de caractéristiques de reconnaissance d’action donne une métrique nettement plus sensible aux distorsions temporelles dans les données synthétiques, et peut mieux prédire les évaluations humaines de la cohérence temporelle et du réalisme dans les vidéos générées à partir de modèles open source qu’une large gamme d’alternatives.

Nous proposons des méthodes pour auditer l’équité des classificateurs multiclasses sous les cotes égalisées multiclasses, en estimant l’écart par rapport aux cotes égalisées lorsque le classificateur n’est pas complètement équitable. Nous généralisons aux classificateurs multiclasses la mesure de la prédiction conditionnelle disparate (DCP), initialement suggérée par Sabato & Yom-Tov (2020) pour les classificateurs binaires. La DCP est définie comme la fraction de la population pour laquelle le classificateur prédit avec des probabilités de prédiction conditionnelles qui diffèrent de la référence commune la plus proche. Nous proposons de nouvelles méthodes d’optimisation locale pour estimer le DCP multiclasse sous deux régimes différents, l’un dans lequel les matrices de confusion conditionnelles pour chaque sous-population protégée sont connues, et l’autre où celles-ci ne peuvent pas être estimées, par exemple parce que le classificateur est inaccessible ou parce que des données individuelles de bonne qualité ne sont pas disponibles. Ces méthodes peuvent être utilisées pour détecter des classificateurs qui traitent probablement une fraction significative de la population de manière injuste. Les expériences démontrent la précision des méthodes. Le code des expériences est fourni comme matériel complémentaire.

Les modèles modernes d’apprentissage automatique sont coûteux à entraîner, et l’inquiétude grandit quant au défi de retirer rétroactivement des données d’entraînement spécifiques. Réaliser un désapprentissage exact dans les pipelines d’apprentissage profond — produire des modèles comme si certaines données n’avaient jamais été incluses dans l’entraînement — demeure un problème ouvert. Dans cet article, nous revenons sur le désapprentissage exact de l’apprentissage profond et montrons que pour les grands modèles de langage (LLM), nous pouvons désapprendre efficacement exactement le « fine-tuning des données » (les données utilisées pour adapter un modèle pré-entraîné). Cela découle de deux observations. Premièrement, nous pouvons utiliser l’apprentissage en contexte pour adapter le LLM à l’ensemble de données d’ajustement fin plutôt qu’aux algorithmes basés sur SGD. Deuxièmement, nous montrons que l’apprentissage précis en contexte peut être réalisé avec des moyennes quantisées k, ce qui permet des opérations de désapprentissage en temps pratiquement constant. Notre évaluation empirique montre que cette recette de désapprentissage a des performances similaires à des alternatives d’ajustement fin, mais réduit considérablement les coûts de désapprentissage. Notre étude souligne également la nécessité de nouvelles mesures du coût du désapprentissage lors de l’adaptation de l’algorithme d’apprentissage pour permettre des opérations de désapprentissage plus rapides.

L’apprentissage des prompts discrets en boîte noire (BDPL) est une méthode d’ajustement des prompts qui optimise les prompts discrets sans accéder aux paramètres ou gradients du modèle, rendant l’ajustement des prompts sur un grand modèle de langage (LLM) basé sur le cloud. Adapter Federated Learning (FL) à BDPL pourrait encore améliorer la performance du réglage prompt en tirant parti de données provenant de sources diverses. Cependant, toutes les recherches antérieures sur l’ajustement fédéré des prompts en boîte noire avaient négligé le coût important des requêtes associé au service de LLM basé sur le cloud. Pour combler cet écart, nous avons mené une analyse théorique de l’efficacité des requêtes dans le contexte de l’ajustement fédéré des prompts en boîte noire. Nos résultats ont révélé que dégrader FedAvg pour n’activer qu’un seul client par ronde, une stratégie que nous avons appelée \textit{FedOne}, permettait une efficacité optimale des requêtes dans l’apprentissage fédéré des prompts en boîte noire. S’appuyant sur cette idée, nous avons proposé le cadre FedOne, une méthode d’apprentissage des prompts discrets en boîte noire fédérée conçue pour maximiser l’efficacité des requêtes lors de l’interaction avec des LLM basés sur le cloud. Nous avons mené des expériences numériques sur divers aspects de notre cadre, démontrant une amélioration significative de l’efficacité des requêtes, ce qui correspond à nos résultats théoriques.

Bien que les modèles génératifs basés sur les scores soient le modèle de choix dans divers domaines, il existe des outils limités pour contrôler le comportement en temps d’inférence de manière de manière de principe, par exemple pour composer plusieurs modèles pré-entraînés. Les méthodes de guidage existantes sans classificateur utilisent une heuristique simple pour mélanger des scores conditionnels et inconditionnels afin d’échantillonner approximativement à partir de distributions conditionnelles. Cependant, de telles méthodes n’approximent pas les distributions intermédiaires, ce qui nécessite des étapes « correctrices » supplémentaires. Dans ce travail, nous fournissons une méthode efficace et de principe pour échantillonner à partir d’une séquence de distributions recuites, moyennées géométriquement ou produits dérivées de modèles préentraînés basés sur les scores. Nous dérivons un schéma de simulation pondérée que nous appelons correcteurs de Feynman-Kac (FKC) basé sur la célèbre formule de Feynman-Kac en tenant soigneusement compte des termes dans les équations aux dérivées partielles (EDP) appropriées. Pour simuler ces EDP, nous proposons des algorithmes de rééchantillonnage séquentiel Monte Carlo (SMC) qui exploitent l’échelle du temps d’inférence pour améliorer la qualité de l’échantillonnage. Nous démontrons empiriquement l’utilité de nos méthodes en proposant un échantillonnage amorti par recuit à température en temps d’inférence, en améliorant la génération de molécules multi-objectifs à l’aide de modèles pré-entraînés, et en améliorant les directives sans classificateur pour la génération texte-image.

La diagonale de la matrice d’information de Fisher d’un modèle (la « Fisher ») a souvent été utilisée comme moyen de mesurer la sensibilité des paramètres. Typiquement, le Fisher est estimé en calculant le gradient au carré des sorties du modèle par rapport à ses paramètres, moyenné sur quelques centaines ou milliers d’exemples — un processus qui engendre des coûts computationnels non négligeables. En même temps, des méthodes de gradient adaptatif comme l’optimiseur Adam, omniprésent, calculent une moyenne mobile du gradient au carré au cours de l’entraînement. Cet article explore donc si une approximation du Fisher peut être obtenue « gratuitement » en recyclant l’accumulateur de gradient au carré qui a déjà été calculé au cours de l’entraînement. Grâce à un ensemble complet d’expériences couvrant cinq applications du Fisher, nous démontrons que le « Squisher » (**Squ**ared gradient accumulateur comme approximation du F**isher**)) performe constamment de manière similaire au Fisher tout en surpassant les méthodes de base. De plus, nous clarifions les différences exactes entre le Squisher et le Fisher et fournissons une quantification empirique de leur impact respectif.

Nous introduisons un transformateur hautement multimodal pour représenter de nombreuses modalités de télédétection – optique multispectrale, radar à ouverture synthétique, élévation, météo, pseudo-étiquettes, et plus encore – à travers l’espace et le temps. Ces entrées sont utiles pour diverses tâches de télédétection, comme la cartographie des cultures et la détection des inondations. Cependant, apprendre des représentations partagées des données de télédétection est un défi, compte tenu de la diversité des modalités de données pertinentes, et parce que les objets d’intérêt varient énormément en échelle, allant de petits bateaux (1-2 pixels et rapides) aux glaciers (de milliers de pixels et lents). Nous présentons un nouvel algorithme d’apprentissage auto-supervisé qui extrait des caractéristiques à plusieurs échelles à travers un ensemble flexible de modalités d’entrée grâce à la modélisation masquée. Nos pertes contrastives doubles globales et locales diffèrent par leurs cibles (représentations profondes vs. projections d’entrée superficielles) et leurs stratégies de masquage (structurées vs. non). Notre Galileo est un modèle généraliste unique qui surpasse les modèles spécialisés SoTA pour les images satellites et les séries temporelles de pixels sur onze benchmarks et plusieurs tâches.

Le concept de netteté a été appliqué avec succès aux architectures traditionnelles comme les MLP et les CNN pour prédire leur généralisation. Pour les transformateurs, cependant, des travaux récents ont rapporté une faible corrélation entre la platitude et la généralisation. Nous soutenons que les mesures de netteté existantes échouent pour les transformateurs, car ils ont des symétries beaucoup plus riches dans leur mécanisme d’attention qui induisent des directions dans l’espace des paramètres le long desquelles le réseau ou sa perte restent identiques. Nous postulons que la netteté doit pleinement tenir compte de ces symétries, et nous la redéfinissons donc sur une variété quotient résultant de la suppression des symétries des transformateurs, supprimant ainsi leurs ambiguïtés. En tirant parti des outils de la géométrie riemannienne, nous proposons une notion entièrement générale de netteté, en termes d’une boule géodésique sur la variété quotient corrigée par symétrie. En pratique, il faut recourir à l’approximation des géodésiques. Faire cela jusqu’au premier ordre donne des mesures de netteté adaptative existantes, et nous démontrons que l’inclusion des termes d’ordre supérieur est cruciale pour retrouver la corrélation avec la généralisation. Nous présentons des résultats sur des réseaux diagonaux avec des données synthétiques, et montrons que notre netteté géodésique révèle une forte corrélation pour les transformateurs réels, tant sur les tâches de classification de texte qu’d’image.

L’adaptation du domaine des graphes (GDA) transfère les connaissances des graphes sources étiquetés vers des graphes cibles non étiquetés, répondant au défi de la rareté des étiquettes. Dans cet article, nous mettons en lumière l’importance de l’homophilie des graphes, un facteur clé pour l’alignement des domaines des graphes, qui, cependant, a longtemps été négligé dans les approches existantes. Plus précisément, notre analyse révèle d’abord que des écarts d’homophilie existent dans les benchmarks. De plus, nous montrons aussi que les écarts d’homophilie dégradent la performance de la GDA tant sur le plan empirique que théologique, ce qui souligne encore l’importance de l’alignement homophile dans la GDA. Inspirés par cette découverte, nous proposons un nouvel algorithme d’alignement homophile qui utilise des filtres mixtes pour lisser les signaux des graphes, capturant ainsi efficacement et atténuant les écarts d’homophilie entre graphes. Les résultats expérimentaux sur divers repères confirment l’efficacité de notre méthode.

Les changements de sous-population, caractérisés par des disparités dans la répartition des sous-populations entre les ensembles de données d’entraînement et cibles, peuvent dégrader de manière significative la performance du modèle d’apprentissage automatique. Les solutions actuelles aux changements de sous-populations impliquent souvent de modifier la minimisation empirique du risque par des stratégies de repondération afin d’améliorer la généralisation entre les sous-populations. Cette stratégie repose souvent sur des hypothèses concernant le nombre et la nature des sous-populations ainsi que sur des annotations d’appartenance à des sous-populations, qui ne sont pas disponibles pour de nombreux ensembles de données réels. Nous proposons une nouvelle solution pour explorer heuristiquement le sous-espace des caractéristiques : nous entraînons de nombreux classificateurs tout en imposant la diversification afin de favoriser la découverte et la classification correcte de nouvelles sous-populations sans nécessiter de connaissances préalables des sous-populations. Étant donné un réseau d’extracteurs de caractéristiques, nous remplaçons sa couche linéaire standard par un mélange de classificateurs prototypiques, où chaque membre est entraîné à classifier les données tout en se concentrant sur des caractéristiques et échantillons différents comparés aux autres membres. Nous démontrons que notre solution surpasse l’état de l’art précédent en termes de précision des pires groupes sur la plupart des benchmarks en utilisant des évaluations empiriques sur neuf ensembles de données réels couvrant divers domaines et types de déplacements de sous-populations (le code est disponible à https://anonymous.4open.science/r/prototypical_ensembles-BCB3).

L’apprentissage fédéré (FL) est apparu comme un paradigme décentralisé pour entraîner des modèles tout en préservant la vie privée. Cependant, la FL conventionnelle a du mal avec l’hétérogénéité des données et le déséquilibre de classes, ce qui dégrade la performance du modèle. Le Clustered FL équilibre personnalisation et entraînement décentralisé en regroupant les clients avec des distributions de données analogues, permettant une meilleure précision tout en respectant les contraintes de confidentialité. Cette approche atténue efficacement l’impact négatif de l’hétérogénéité dans FL.In ce travail, nous proposons une nouvelle méthode de regroupement pour FL, **FedGWC** (Federated Gaussian Weighting Clustering), qui regroupe les clients selon leur distribution de données, permettant l’entraînement d’un modèle plus robuste et personnalisé sur les clusters identifiés. **FedGWC** identifie des groupes homogènes en transformant les pertes empiriques individuelles pour modéliser les interactions clients avec un mécanisme de récompense gaussienne. De plus, nous introduisons le *Wasserstein Adjusted Score*, une nouvelle métrique de regroupement pour le FL afin d’évaluer la cohésion du cluster par rapport à la distribution individuelle des classes. Nos expériences sur des ensembles de données de référence montrent que **FedGWC** surpasse les algorithmes FL existants en qualité de cluster et en précision de classification, validant ainsi l’efficacité de notre approche.

An important question today is whether a given text was used to train a large language model (LLM). A \emph{completion} test is often employed: check if the LLM completes a sufficiently complex text. But, we require a ground-truth definition of membership; most commonly, it is defined as a member based on the \ngram overlap between the target text and any text in the dataset. In this work, we demonstrate that this $n$-gram based membership definition can be effectively gamed. We study scenarios where sequences are \emph{non-members} for a given $n$ and we find that completion tests still succeed. We find many natural cases of this by retraining LLMs after removing all training samples that were completed: these cases include exact duplicates, near-duplicates, and even short overlaps; they showcase that it is difficult to find a single viable choice of $n$. Using these insights, we design adversarial datasets that can cause any target sequences to be completed without containing it, for any reasonable choice of $n$. Our findings highlight the inadequacy of $n$-gram membership, suggesting membership definitions fail to account for auxiliary information available to the training algorithm.

Nous présentons une conception novatrice de prompts pour les grands modèles de langage (LLM) adaptée aux **séries temporelles asynchrones**. Contrairement aux séries temporelles régulières, qui prennent des valeurs à des moments bien espacés, les séries temporelles asynchrones consistent en des événements survenant à des intervalles irréguliers, chacun décrit en langage naturel. Notre approche utilise efficacement le riche langage naturel des descriptions d’événements, permettant aux LLM de bénéficier de leur vaste connaissance du monde pour raisonner à travers différents domaines et tâches. Cela nous permet d’étendre la portée de l’analyse asynchrone des séries temporelles au-delà de la prévision pour inclure des tâches comme la détection d’anomalies et l’imputation de données. Nous introduisons également le **Stochastic Soft Prompting**, un mécanisme novateur d’ajustement des prompts qui améliore considérablement la performance du modèle, surpassant les méthodes d’ajustement fin existantes telles que QLORA. Grâce à des expériences approfondies sur des ensembles de données réelles, nous démontrons que notre approche atteint des performances de pointe à travers différentes tâches et ensembles de données.

Les avancées dans les grands modèles de langage (LLM) ont suscité l’intérêt pour leur capacité à résoudre des problèmes mathématiques de niveau olympique. Cependant, la formation et l’évaluation de ces modèles sont limitées par la taille et la qualité limitées des ensembles de données disponibles, car la création de données à grande échelle pour de tels problèmes avancés nécessite un effort considérable de la part d’experts humains. De plus, les références actuelles sont sujettes à la contamination, ce qui entraîne des évaluations peu fiables. Dans cet article, nous présentons un pipeline automatisé qui exploite les riches ressources du forum Art of Problem Solving (AoPS), qui présente principalement des problèmes de niveau olympiade et des solutions menées par la communauté. En utilisant des LLM open source, nous développons une méthode pour extraire les paires questions-réponses du forum, ce qui donne **AoPS-Instruct**, un ensemble de données de plus de 600 000 paires QA de haute qualité. Nos expériences démontrent que l’ajustement fin des LLM sur AoPS-Instruct améliore leurs capacités de raisonnement à travers divers benchmarks. De plus, nous construisons un pipeline automatique qui introduit **LiveAoPSBench**, un ensemble d’évaluation évolutif avec des horodatages, dérivé des données les plus récentes du forum, fournissant un benchmark résistant à la contamination pour évaluer la performance des LLM. Notamment, nous observons une baisse significative de la performance des LLM au fil du temps, ce qui suggère que leur succès sur des exemples plus âgés pourrait provenir d’une exposition préalable à l’entraînement plutôt que d’une véritable capacité de raisonnement. Notre travail propose une approche évolutive pour créer et maintenir des ensembles de données à grande échelle et de haute qualité pour le raisonnement mathématique avancé, offrant des perspectives précieuses sur les capacités et les limites des LLM dans ce domaine.

Nous présentons une approche de principe, par instance, pour quantifier la difficulté de désapprendre par l’ajustement fin. Nous commençons par affiner une analyse de la descente du gradient bruyant pour le désapprentissage (Chien et al., 2024), obtenant un meilleur compromis utilité-désapprentissage en remplaçant les limites de perte de confidentialité du pire cas par des pertes de confidentialité par instance (Thudi et al., 2024), chacune limitant la divergence (Renyi) vers le réentraînement sans point de données individuel. Pour démontrer l’applicabilité pratique de notre théorie, nous présentons des résultats empiriques montrant que nos prédictions théoriques sont confirmées à la fois pour la dynamique de langevin à gradient stochastique (SGLD) et pour l’ajustement fin standard sans bruit explicite. Nous démontrons en outre que les pertes de confidentialité par instance corrèlent bien avec plusieurs métriques existantes de difficulté des données, tout en identifiant des groupes plus difficiles de points de données, et introduisons de nouvelles méthodes d’évaluation basées sur les barrières à la perte. Ensemble, nos résultats fournissent une base pour des stratégies de désapprentissage plus efficaces et adaptatives, adaptées aux propriétés uniques des points de données individuels.

En tant que pierre angulaire de l’imagerie diagnostique, les radiographies thoraciques (RX) jouent un rôle essentiel dans la prise de décisions cruciales en gestion des maladies et en soins aux patients. Bien que les innovations récentes aient mené à des modèles spécialisés pour diverses tâches d’interprétation des RX, ces solutions fonctionnent souvent isolément, limitant leur utilité pratique en pratique clinique. Nous présentons MedRAX, le premier agent IA polyvalent qui intègre sans effort des outils d’analyse CXR de pointe et des grands modèles de langage multimodaux dans un cadre unifié. MedRAX exploite dynamiquement ces modèles pour traiter des requêtes médicales complexes sans nécessiter de formation supplémentaire. Pour évaluer rigoureusement ses capacités, nous présentons ChestAgentBench, un benchmark complet contenant 2 500 requêtes médicales complexes réparties dans 7 catégories diverses. Nos expériences démontrent que MedRAX atteint des performances à la fine pointe de la technologie comparées aux modèles open source et propriétaires, ce qui représente une avancée importante vers le déploiement pratique de systèmes automatisés d’interprétation des RX. Les données et le code seront accessibles publiquement à https://medrax25.github.io.

Les pipelines d’apprentissage automatique modernes combinent et mélangent de plus en plus des données provenant de sources diverses et disparates, par exemple, pré-entraînant de grands modèles de langage. Cependant, trouver le mélange optimal de données est un défi et un problème ouvert. Nous formalisons ce problème de mélange de données comme un objectif à deux niveaux : le meilleur mélange est celui qui mènerait au meilleur modèle pour un objectif en aval. Malheureusement, cet objectif est généralement inextricable. Dans cet article, nous observons que l’objectif de mélange de données à deux niveaux devient convexe à mesure que notre classe de modèle s’agrandit. Nous développons et étudions une approche basée sur le gradient pour optimiser cet objectif convexe, que nous appelons MixMin, et la testons sur des tâches de modélisation du langage et de chimie. MixMin a été la seule méthode qui a uniformément amélioré le mélange de données dans toutes nos expériences. Avec MixMin, nous avons amélioré le mélange de données en utilisant moins de 0,2% de calcul supplémentaire pour un modèle pythia-410 millions de dollars entraîné sur des jetons de 8,2 milliards de dollars, ce qui a entraîné entre 1 et 5% d’amélioration relative à la probabilité logarithmique négative sur PIQA, ARC Easy, SciQ et OpenWebMath. De manière cruciale, nous avons constaté que les mélanges MixMin pour les modèles plus petits amélioraient l’entraînement des modèles plus grands, ce qui suggère que les mélanges MixMin pourraient être invariants à l’échelle. En mélangeant les données de biotest pour entraîner un modèle XGBoost, nous avons constaté des améliorations dans les scores moyens de précision de 0,03 à 0,15 $.

L’apprentissage fédéré (AFL) basé sur les enchères est devenu un domaine de recherche important ces dernières années. Les stratégies dominantes pour les consommateurs de données FL (DC) supposent que toute l’équipe des propriétaires de données (DO) requise pour une tâche FL doit être constituée avant que la formation puisse commencer. En pratique, un DC peut déclencher le processus de formation FL plusieurs fois. Les DO peuvent donc être recrutés progressivement au cours de plusieurs séances d’entraînement sur le modèle FL. Les stratégies d’enchères existantes pour les centres d’attente de l’AFL ne sont pas conçues pour gérer de tels scénarios.  Par conséquent, le problème de l’AFL multi-sessions demeure ouvert.  Pour répondre à ce problème, nous proposons la stratégie d’optimisation budgétaire multi-sessions pour l’apprentissage fédéré avancé basé sur les enchères (MBOS-AFL). Basé sur l’apprentissage par renforcement hiérarchique, MBOS-AFL optimise conjointement le rythme budgétaire inter-sessions et les enchères intra-sessions pour les centres de déplacement AFL, dans le but d’maximiser l’utilité totale.  Des expériences approfondies sur six ensembles de données de référence montrent qu’il surpasse nettement sept approches de pointe. En moyenne, \methodname{} obtient une utilité supérieure de 12,28%, 14,52% de données acquises lors d’enchères pour un budget donné, et une précision de test supérieure de 1,23% obtenue par le modèle FL résultant comparativement à la meilleure référence.  À notre connaissance, il s’agit de la première méthode d’aide à la décision d’optimisation budgétaire avec une capacité de pacing budgétaire conçue pour les DC dans FL à soumissions avancées multi-sessions.

La distribution normale joue un rôle central en théorie de l’information – c’est en même temps le signal dans le meilleur cas et la distribution de bruit dans le pire cas, possède la plus grande capacité de représentation de toutes les distributions, et offre une équivalence entre l’incorrélation et l’indépendance pour les distributions conjointes. Prendre en compte la moyenne et la variance des activations à travers les couches des réseaux neuronaux profonds a eu un effet significatif sur la facilitation de leur entraînement efficace, mais rarement une prescription précise sur la distribution que ces activations devraient prendre, et comment cela pourrait être réalisé, a été proposée. Motivés par les propriétés informationnelles de la distribution normale, nous abordons cette question et présentons simultanément la normalisation de la normalité : une nouvelle couche de normalisation qui encourage la normalité dans les représentations de caractéristiques des réseaux neuronaux en utilisant la transformée de puissance et utilise un bruit gaussen additif pendant l’entraînement. Nos expériences démontrent de manière exhaustive l’efficacité de la normalisation de la normalité, en ce qui concerne sa performance de généralisation sur une gamme de combinaisons de modèles et de jeux de données largement utilisées, sa forte performance sur divers facteurs courants de variation tels que la largeur du modèle, la profondeur et la taille du minilot d’entraînement, son aptitude à l’utilisation partout où les couches de normalisation existantes sont conventionnellement utilisées, et comme moyen d’améliorer la robustesse du modèle face aux perturbations aléatoires.

Nous considérons la question de l’apprentissabilité des classes de distribution en présence d’adversaires adaptatifs — c’est-à-dire des adversaires capables d’intercepter les échantillons demandés par un apprenant et d’appliquer des manipulations avec une connaissance complète des échantillons avant de les transmettre à l’apprenant. Cela contraste avec les adversaires inconscients, qui ne peuvent que modifier la distribution sous-jacente d’où proviennent les échantillons, mais pas leur nature i.i.d.\. Nous formulons une notion générale d’apprentissage par rapport aux adversaires adaptatifs, en tenant compte du budget de l’adversaire. Nous montrons que l’apprentabilité par rapport aux adversaires additives adaptatifs est une condition strictement plus forte que l’apprentabilité par rapport aux adversaires additives ignorants.

Nous proposons un cadre d’optimisation unifié pour concevoir des distributions de bruit continues et discrètes qui assurent la confidentialité différentielle (DP) en minimisant la DP R’enyi, une variante de DP, sous une contrainte de coût. R\'enyi DP a l’avantage qu’en considérant différentes valeurs du paramètre R’enyi $\alpha$, on peut adapter notre optimisation pour un nombre quelconque de compositions. Pour résoudre le problème d’optimisation, on le réduit à une formulation convexe de dimension finie et on effectue une descente préconditionnée du gradient. Les distributions de bruit résultantes sont ensuite comparées à leurs homologues gaussiennes et de Laplace. Les résultats numériques démontrent que nos distributions optimisées sont constamment meilleures, avec des améliorations significatives des garanties $(\varepsilon, \delta)$-DP dans les régimes de composition modérée, comparativement aux distributions gaussiennes et de Laplace avec la même variance.

Le jailbreak à plusieurs tirs contourne l’alignement de sécurité des grands modèles de langage en exploitant leur capacité à traiter de longues séquences d’entrée. Pour y parvenir, l’invite cible malveillante est précédée de centaines de tournants conversationnels fabriqués entre l’utilisateur et le modèle. Ces échanges fabriqués sont échantillonnés aléatoirement à partir d’un ensemble de questions et de réponses malveillantes, donnant l’impression que le modèle a déjà respecté des instructions nuisibles. Dans cet article, nous présentons PANDAS : une technique hybride qui améliore le jailbreak à plusieurs tirs en modifiant ces dialogues fabriqués avec des affirmations positives, des démonstrations négatives et une méthode d’échantillonnage adaptatif optimisée adaptée au sujet du sujet cible. Des expériences approfondies sur AdvBench et HarmBench, utilisant des LLM à la fine pointe de la technologie, démontrent que PANDAS surpasse significativement les méthodes de base dans des scénarios à long contexte. Grâce à une analyse de l’attention, nous fournissons des informations sur la manière dont les vulnérabilités à contexte long sont exploitées et montrons comment PANDAS améliore encore le jailbreaking à plusieurs tirs.

Ce document de position défend un changement fondamental dans la manière dont les grands modèles de langage (LLM) sont intégrés dans le domaine des soins en santé mentale. Nous plaidons pour leur rôle de co-créateurs plutôt que de simples outils d’assistance. Bien que les LLM aient le potentiel d’améliorer l’accessibilité, la personnalisation et l’intervention en situation de crise, leur adoption demeure limitée en raison des préoccupations concernant les biais, l’évaluation, la dépendance excessive, la déshumanisation et les incertitudes réglementaires. Pour relever ces défis, nous proposons deux voies structurées : les lignes directrices de mise en œuvre SAFE-I pour un déploiement éthique et responsable, et le cadre d’évaluation HAAS-E pour une évaluation multidimensionnelle centrée sur l’humain. SAFE-I fournit un plan directeur pour la gouvernance des données, l’ingénierie des modèles adaptatifs et l’intégration dans le monde réel, garantissant que les LLM respectent les normes cliniques et éthiques. HAAS-E introduit des indicateurs d’évaluation qui vont au-delà de la précision technique pour mesurer la fiabilité, l’empathie, la sensibilité culturelle et la capacité d’action. Nous appelons à l’adoption de ces approches structurées afin d’établir un modèle responsable et évolutif pour le soutien en santé mentale piloté par LLM, en veillant à ce que l’IA complète — plutôt que remplace — l’expertise humaine.

Cet article examine les risques systémiques posés par les avancées incrémentales en intelligence artificielle, développant le concept de « dépouillement progressif », en contraste avec les scénarios de prise de contrôle soudaine couramment discutés dans la sécurité de l’IA. Nous analysons comment même des améliorations incrémentales des capacités d’IA peuvent miner l’influence humaine sur les systèmes à grande échelle dont dépend la société, y compris l’économie, la culture et les États-nations. À mesure que l’IA remplace de plus en plus le travail et la cognition humains dans ces domaines, elle peut affaiblir à la fois des mécanismes de contrôle humains explicites (comme le vote et le choix du consommateur) et les alignements implicites avec les préférences humaines qui découlent souvent de la dépendance des systèmes sociaux à la participation humaine pour fonctionner. De plus, les systèmes d’IA peuvent amplifier les désalignements existants avec les préférences humaines en optimisant ces systèmes de façon plus puissante. Ces distorsions entre domaines peuvent se renforcer mutuellement : le pouvoir économique façonne les récits culturels et les décisions politiques, tandis que les changements culturels modifient le comportement économique et politique. Nous soutenons que cette dynamique pourrait entraîner une perte pratiquement irréversible de l’influence humaine sur des systèmes sociétaux cruciaux, précipitant une catastrophe existentielle par la perte permanente de pouvoir de l’humanité. Cette analyse suggère la nécessité à la fois de recherches techniques et d’approches de gouvernance qui abordent spécifiquement le risque d’érosion progressive de l’influence humaine à travers des systèmes sociétaux interconnectés.

Les progrès de l’IA ont reposé sur des données générées par l’humain, des marchés d’annotateurs à l’Internet en général. Cependant, l’utilisation généralisée de grands modèles de langage menace désormais la qualité et l’intégrité des données générées par l’humain sur ces mêmes plateformes. Nous soutenons que ce problème va au-delà du défi immédiat de filtrer le contenu généré par l’IA — il révèle des failles plus profondes dans la conception des systèmes de collecte de données. Les systèmes existants priorisent souvent la rapidité, l’échelle et l’efficacité au détriment de la motivation humaine intrinsèque, ce qui entraîne une baisse de l’engagement et de la qualité des données. Nous proposons que repenser les systèmes de collecte de données pour qu’ils s’alignent sur les motivations intrinsèques des contributeurs – plutôt que de se fier uniquement à des incitatifs externes – puisse aider à maintenir un approvisionnement de données de haute qualité à grande échelle tout en maintenant la confiance des contributeurs et sa participation à long terme.

La formation aux grands modèles de langage (LLM) est une entreprise de plus en plus coûteuse en raison des exigences informatiques croissantes, des exigences matérielles, des coûts énergétiques et de la main-d’œuvre en ingénierie. Outre les coûts de formation, un coût souvent négligé (et rarement payé) est le travail humain nécessaire pour écrire les trillions de mots utilisés pour former des LLM à la fine pointe de la technologie. Dans ce document de position, nous visons à attribuer une valeur monétaire à ce travail et à défendre que la partie la plus coûteuse de la production d’un LLM *devrait* être la rémunération offerte aux producteurs de données de formation pour leur travail. Pour appuyer cette position, nous étudions 64 LLM publiés entre 2016 et 2024, en décomposant à la fois le coût d’entraînement des modèles et le coût hypothétique de création des données d’entraînement. Notre analyse indique que même avec une estimation extrêmement conservatrice du montant de compensation à fournir pour le travail humain impliqué dans la création des données d’entraînement, les coûts des ensembles de données d’entraînement de ces modèles sont de 1 à 3 ordres de grandeur supérieurs aux coûts d’entraînement des modèles eux-mêmes. Face à l’énorme écart entre la valeur des données de formation et le manque actuel de compensation pour leur création, nous mettons en lumière et discutons des orientations de recherche qui pourraient permettre des pratiques plus équitables à l’avenir.

À mesure que les modèles d’apprentissage automatique deviennent de plus en plus compétents, leurs prédictions sont utilisées pour compléter des données rares ou coûteuses afin d’estimer des quantités importantes. En combinant un petit ensemble de données observées de haute fidélité (c’est-à-dire des mesures authentiques) avec un ensemble plus large de données imputées (c’est-à-dire des prédictions de modèles), les praticiens peuvent améliorer la qualité des estimations au-delà de ce que chacune des sources fournit isolément. Bien que ce paradigme semble prometteur, les cadres existants se concentrent étroitement sur l’estimation des moyennes ou des quantiles uniques, limitant leur applicabilité à de nombreux domaines et cas d’utilisation critiques. Pour relever ce défi, nous introduisons **QuEst**, un cadre qui incorpore à la fois les données observées et imputées afin d’estimer et de fournir des intervalles de confiance rigoureux pour les mesures de distribution basées sur des quantiles. Ces mesures basées sur des quantiles incluent des mesures de queue telles que le CVaR, des segments de population comme les quartiles, ainsi que d’autres grandes quantités d’intérêt dans des domaines tels que l’économie, la sociologie, l’éducation et la médecine. Dans le cadre de QuEst, nous introduisons également un algorithme pour estimer ces statistiques pour des mesures et métriques multidimensionnelles. De plus, nous proposons une nouvelle méthode basée sur des fonctions spline pour optimiser notre méthode (ainsi que d’autres méthodes existantes pour cette estimation hybride). Nous démontrons l’utilité de notre cadre par des expériences de modélisation économique, de sondages d’opinion et d’auto-évaluation des modèles de langage.

L’apprentissage par renforcement hors ligne (RL) est crucial lorsque l’exploration en ligne est coûteuse ou dangereuse, mais elle rencontre souvent une forte incertitude épistémique en raison du manque de données. Les méthodes existantes reposent sur des politiques conservatrices fixes, restreignant l’adaptabilité et la généralisation. Pour y remédier, nous proposons Ref-then-Plan (RefPlan), une approche novatrice _doubly Bayesian_ basée sur des modèles hors ligne (MB). RefPlan unifie la modélisation de l’incertitude et la planification MB en reformulant la planification en estimation bayésienne postérieure. Lors du déploiement, il met à jour une croyance sur la dynamique de l’environnement à l’aide d’observations en temps réel, intégrant l’incertitude dans la planification des MB via la marginalisation. Les résultats empiriques sur les benchmarks standards montrent que RefPlan améliore significativement la performance des politiques conservatrices de RL hors ligne. En particulier, RefPlan maintient une performance robuste sous une forte incertitude épistémique et des données limitées, tout en démontrant une résilience face à l’évolution des dynamiques environnementales, améliorant la flexibilité, la généralisabilité et la robustesse des politiques apprises hors ligne.

Le filigranage de texte vise à intégrer subtilement des signaux statistiques dans le texte en contrôlant le processus d’échantillonnage du Grand Modèle de Langage (LLM), permettant aux détecteurs de filigrane de vérifier que la sortie a été générée par le modèle spécifié. La robustesse de ces algorithmes de filigranage est devenue un facteur clé pour évaluer leur efficacité. Les algorithmes actuels de filigranage de texte intègrent des filigranes dans des jetons à forte entropie pour assurer la qualité du texte. Dans cet article, nous révélons que cette conception apparemment bénigne peut être exploitée par les attaquants, ce qui représente un risque important pour la robustesse du filigrane. Nous introduisons une attaque de paraphrase générique et efficace, l’attaque de réécriture d’auto-information (SIRA), qui exploite la vulnérabilité en calculant l’auto-information de chaque jeton pour identifier les jetons de motifs potentiels et effectuer une attaque ciblée. Nos travaux mettent en lumière une vulnérabilité largement répandue dans les algorithmes actuels de filigranage. Les résultats expérimentaux montrent que SIRA atteint un taux de réussite d’attaque d’environ 100% sur sept méthodes récentes de filigranage avec seulement \0,88 par million de jetons coûtant. Notre approche ne nécessite aucun accès aux algorithmes de filigrane ni au LLM filigrané, et peut être transférée sans problème vers n’importe quel LLM comme modèle d’attaque, même les modèles mobiles. Nos résultats soulignent le besoin urgent d’un filigranage plus robuste.

Les CSP sont utiles dans de nombreuses applications, et accélérer leur solution grâce à l’apprentissage automatique suscite un grand intérêt. La plupart des approches existantes reposent sur l’apprentissage supervisé à partir de solutions réalisables ou l’apprentissage par renforcement, des paradigmes nécessitant soit des solutions réalisables pour ces CSP NP-Complets, soit de gros budgets de formation et un signal de récompense complexe conçu par des experts. Pour relever ces défis, nous proposons ConsFormer, un cadre auto-supervisé qui utilise un Transformer comme raffineur de solution. ConsFormer construit une solution à un CSP de manière itérative dans un processus qui imite la recherche locale. Au lieu d’utiliser des solutions réalisables comme données notées, nous concevons des approximations différentiables aux contraintes discrètes d’un CSP pour guider l’entraînement du modèle. Notre modèle est entraîné pour améliorer les affectations aléatoires pour une seule étape, mais il est déployé de façon itérative lors des tests, contournant ainsi les goulots d’étranglement de l’apprentissage supervisé et de l’apprentissage par renforcement. Notre méthode peut s’attaquer aux CSP hors distribution simplement par des itérations supplémentaires.

L’hypothèse du billet de loterie (LTH) suggère qu’il existe un masque LTH clairsemé et des poids qui atteignent la même performance de généralisation que le modèle dense tout en utilisant beaucoup moins de paramètres. Cependant, trouver une solution LTH est coûteux en calcul, et le masque de sparsité d’un LTH ne se généralise pas aux autres initialisations de poids aléatoires. Des travaux récents ont suggéré que les réseaux de neurones entraînés à partir d’initialisation aléatoire trouvent des solutions dans le même bassin modulo la permutation, et proposent une méthode pour aligner des modèles entraînés dans le même bassin de perte. Nous émettons l’hypothèse que le désalignement des bassins est la raison pour laquelle les masques LTH ne se généralisent pas aux nouvelles initialisations aléatoires et proposent de permuter le masque LTH pour s’aligner avec le nouveau bassin d’optimisation lors d’un entraînement clairsemé à partir d’un autre init aléatoire. Nous montrons empiriquement une augmentation significative de la généralisation lors d’un entraînement clairsemé à partir d’une initialisation aléatoire avec le masque permuté comparativement à l’utilisation du masque LTH non permuté, sur plusieurs ensembles de données (CIFAR-10/100 & ImageNet) et modèles (VGG11 & ResNet20/50).

Les modèles génératifs récents basés sur la diffusion obtiennent des résultats remarquables en s’entraînant sur d’immenses ensembles de données, mais cette pratique soulève des inquiétudes concernant la mémorisation et la violation du droit d’auteur. Une solution proposée est de s’entraîner exclusivement sur des données bruitées susceptibles de poser problème de droits d’auteur, afin que le modèle ne respecte jamais le contenu original. Cependant, à travers le prisme de la théorie de la déconvolution, nous montrons que, bien qu’il soit théoriquement faisable d’apprendre la distribution des données à partir d’échantillons bruyants, le défi pratique de collecter suffisamment d’échantillons rend l’apprentissage réussi presque inaccessible. Pour surmonter cette limitation, nous proposons de préentraîner le modèle avec une petite fraction de données propres pour guider le processus de déconvolution. Combiné à notre méthode stochastique de déconvolution avant-arrière (SFBD), nous obtenons un FID de 6,31 $ sur CIFAR-10 avec seulement 4% $ d’images propres (et 3,58 $ avec 10% $). Théoriquement, nous démontrons que la DFS guide le modèle pour apprendre la véritable distribution des données. Le résultat souligne aussi l’importance de la pré-entraînement sur des données limitées mais claires ou de l’alternative à des ensembles de données similaires.  Des études empiriques soutiennent davantage ces résultats et offrent des perspectives supplémentaires.

Le déploiement de modèles d’apprentissage automatique dans des domaines critiques pour la sécurité pose un défi majeur : assurer une performance fiable du modèle sur les données utilisateur en aval sans accès à des étiquettes de vérité terrestre pour une validation directe. Nous proposons le filtre de convenance, un cadre novateur conçu pour détecter la détérioration des performances en utilisant des signaux d’adéquation – des caractéristiques de sortie du modèle sensibles aux décalages de covariables et indicatives d’erreurs de prédiction potentielles. Le filtre de convenance évalue si la précision du classificateur sur des données utilisateur non identifiées montre une dégradation significative par rapport à la précision mesurée sur le jeu de données de test identifié. Plus précisément, elle garantit que cette dégradation ne dépasse pas une marge prédéfinie, ce qui représente la baisse maximale acceptable de la précision. Pour obtenir une évaluation fiable de la performance, nous agrégeons les signaux d’adéquation pour les données de test et des utilisateurs et comparons ces distributions empiriques à l’aide de tests d’hypothèses statistiques, fournissant ainsi des informations sur l’incertitude décisionnelle. Notre méthode modulaire s’adapte à divers modèles et domaines. Des évaluations empiriques à travers différentes tâches de classification démontrent que le filtre d’adéquation détecte de manière fiable les écarts de performance dus au décalage des covariables. Cela permet une atténuation proactive des échecs potentiels dans des applications à enjeux élevés.

Les ensembles classiques se généralisent mieux que n’importe quel modèle à composant unique. En revanche, des études empiriques récentes montrent que les ensembles modernes de réseaux neuronaux (surparamétrés) n’offrent peut-être aucun avantage inhérent à la généralisation par rapport aux réseaux neuronaux uniques mais plus grands. Cet article clarifie comment les ensembles surparamétrés modernes diffèrent de leurs homologues classiques sous-paramétrés, en utilisant des ensembles de régresseurs de caractéristiques aléatoires (RF) comme base pour développer la théorie. Contrairement au régime sous-paramétré, où l’assemblage induit typiquement la régularisation et augmente la généralisation, nous prouvons, avec des hypothèses minimales, que des ensembles infinis de régresseurs RF surparamétrés deviennent équivalents point par point aux régresseurs RF de largeur infinie (uniques), et que les ensembles de largeur finie convergent rapidement vers des modèles uniques avec le même budget de paramètres. Ces résultats, qui sont exacts pour les modèles sans crête et approximatifs pour de petites pénalités de crête, impliquent que les ensembles surparamétrés et les grands modèles uniques présentent une généralisation presque identique. Nous caractérisons également la variance prédictive entre les membres de l’ensemble, démontrant qu’elle quantifie les effets attendus d’une capacité croissante plutôt que de capturer une notion conventionnelle d’incertitude. Nos résultats remettent en question les hypothèses courantes sur les avantages des ensembles dans des contextes surparamétrés, ce qui pousse à reconsidérer la façon dont les intuitions des ensembles sous-paramétrés se transfèrent aux ensembles profonds et au régime surparamétrisé.

La génération guidée de texte par récompense (RGTG) s’est imposée comme une alternative viable à l’apprentissage par renforcement hors ligne à partir de rétroaction humaine (RLHF). Les méthodes RGTG peuvent aligner les modèles de langage de référence aux préférences humaines sans formation supplémentaire, comme dans les méthodes RLHF (PPO et DPO). Cependant, ils s’appuient sur un modèle de récompense pour évaluer chaque jeton candidat généré par le modèle de langage lors de l’inférence et engendre des charges importantes. De plus, le modèle de récompense est entraîné à noter uniquement des séquences complètes, ce qui peut mener à des choix sous-optimaux pour les séquences partielles. Dans ce travail, nous présentons une architecture novatrice de modèle de récompense qui est entraînée, en utilisant une perte de Bradley-Terry, à préférer l’expansion optimale d’une séquence avec un seul appel au modèle de récompense.  C’est-à-dire qu’un score pour tous les jetons candidats possibles est généré simultanément, menant à une inférence efficace. Nous analysons théoriquement les modèles de récompense RGTG et démontrons que les modèles de récompense de base préfèrent des séquences sous-optimales comparées à notre méthode lors de l’inférence. Empiriquement, notre modèle de récompense conduit à une inférence significativement plus rapide, comparativement à d’autres méthodes RGTG, avec moins d’appels au modèle de récompense et moins de performances compétitives comparé à RGTG et RLHF.

L’inférence de type pour des langages dynamiques comme Python est un défi persistant en génie logiciel. Bien que les grands modèles de langage (LLM) aient montré du potentiel dans la compréhension du code, leurs capacités d’inférence de types demeurent sous-explorées. Nous introduisons « TypyBench », un benchmark conçu pour évaluer l’inférence de type des LLM à travers l’ensemble des dépôts Python. « TypyBench » propose deux métriques novatrices : « TypeSim », qui capture des relations sémantiques nuancées entre les types prédits et vérités de base, et « TypeCheck », qui évalue la cohérence des types entre les bases de code. Notre évaluation de divers LLM sur un ensemble de données sélectionné de 50 dépôts Python de haute qualité révèle que, bien que les LLM obtiennent de bons scores « TypeSim », ils ont du mal avec les types imbriqués complexes et présentent d’importantes erreurs de cohérence de types. Ces résultats suggèrent que les recherches futures devraient se concentrer sur l’amélioration de la similarité de type à la cohérence au niveau des dépôts. « TypyBench » fournit une base pour cette nouvelle direction, offrant des perspectives sur la performance des modèles à travers différentes complexités de types et contextes d’utilisation.

Nous présentons les Universal Sparse Autoencoders (USAE), un cadre pour découvrir et aligner des concepts interprétables couvrant plusieurs réseaux neuronaux profonds pré-entraînés. Contrairement aux méthodes d’interprétation conceptuelles existantes, qui se concentrent sur un seul modèle, les USAE apprennent ensemble un espace conceptuel universel capable de reconstruire et d’interpréter les activations internes de plusieurs modèles simultanément. Notre idée principale est d’entraîner un seul autoencodeur clairsemé (SAE) surcomplet qui intègre les activations de n’importe quel modèle et les décode pour approcher les activations de tout autre modèle envisagé. En optimisant un objectif commun, le dictionnaire appris capture les facteurs communs de variation — les concepts — à travers différentes tâches, architectures et ensembles de données. Nous montrons que les USAE découvrent des concepts universels sémantiquement cohérents et importants à travers les modèles de vision; allant de caractéristiques de bas niveau (par exemple, couleurs et textures) à des structures de niveau supérieur (par exemple, pièces et objets). Dans l’ensemble, les USAE offrent une nouvelle méthode puissante d’analyse inter-modèles interprétable et proposent des applications novatrices — telles que la maximisation coordonnée de l’activation — qui ouvrent des perspectives plus approfondies dans les systèmes d’IA multimodèles.