Blogue de Vector Research : Modèles de langage de grande taille, incitation et PEFT

Trois personnes fixent un ordinateur portable avec le logo Vector dessus.

20 octobre 2023

Rechercher

Par David Emerson

Présentation

Avec l'émergence récente de modèles de langage de grande taille (MLG) performants et polyvalents, tels que ChatGPT et LLaMA, l'intérêt de la recherche et du public pour les capacités et les applications de ces modèles a connu une croissance rapide. Face à l'augmentation des ressources consacrées à l'avancement du traitement automatique du langage naturel (TALN), et des MLG en particulier, suivre ces évolutions est devenu un véritable défi. Cet article présente les tendances récentes en matière de MLG et les techniques permettant de les appliquer à des tâches en aval, grâce à une ingénierie rapide. Nous aborderons également de nouvelles méthodes pour améliorer leurs performances, au-delà du cadre traditionnel d'ajustement fin du modèle complet. Ces approches comprennent l'ajustement précis des instructions et l'ajustement efficace et précis des paramètres. L'objectif est de mieux comprendre comment les MLG sont entraînés et comment ils peuvent être utilisés pour résoudre des problèmes concrets.

Les modèles de langage grossissent et leur durée d'entraînement est plus longue.

Au cours des dernières années, deux tendances majeures ont émergé concernant les architectures et l'entraînement des modèles de langage (LM), grâce à de nombreuses avancées et à d'importants efforts d'ingénierie. Ces deux tendances sont illustrées par le diagramme d'échelle de la figure 1. Si certains modèles présentés, comme BERT et RoBERTa, sont des modèles à encodeur seul, la majorité des LM actuels sont des modèles de type transformateur, combinant encodeur et décodeur, ou des modèles à décodeur seul. Ces architectures seront donc au cœur de la discussion qui suit.

Le nuage de points intitulé « Taille des modèles de langage au fil du temps » illustre la croissance exponentielle du nombre de paramètres des modèles de langage entre 2018 et 2024. Les premiers modèles, comme ELMo, comptaient environ 94 millions de paramètres, tandis que les modèles récents, tels que PaLM et GLaM, atteignent plus de 500 milliards à 1 000 milliards de paramètres. L'axe des y est logarithmique. Les marqueurs verts indiquent les modèles pour lesquels des périodes d'entraînement plus longues ont été privilégiées au détriment d'une taille de modèle plus importante.

La première tendance qui se dégage de la figure 1 est la croissance rapide des modèles linéaires (ML) au fil du temps. La mise à l'échelle de ces modèles a été facilitée par de nombreux facteurs, notamment l'amélioration des techniques de pré-entraînement, l'agrandissement des corpus de pré-entraînement et les progrès réalisés en matière de matériel et de méthodes d'entraînement distribué. Cependant, cette augmentation de la taille des modèles ne vise pas uniquement à des fins de mise à l'échelle. Les capacités de ces modèles, en particulier leurs performances en cas d'apprentissage avec peu ou pas d'exemples (détaillés ci-dessous), augmentent considérablement avec la taille du modèle. Ce point a été particulièrement bien mis en évidence dans [2]. Deux résultats de cette étude sont présentés dans la figure 2. Dans la figure 2A, les performances de GPT-3 sur le benchmark SuperGLUE, en cas d'apprentissage avec peu ou pas d'exemples, progressent de manière continue avec la taille du modèle. De même, dans la figure 2B, la capacité humaine à distinguer les courts articles de presse générés par GPT-3 de ceux écrits par des humains diminue progressivement pour se rapprocher du hasard à mesure que la taille du modèle augmente. Ces observations, entre autres, ont suscité un vif intérêt pour la mise à l'échelle des modèles linéaires comme moyen d'atteindre des capacités générales en traitement automatique du langage naturel (TALN).

La figure 2 contient deux graphiques. (A) Graphique linéaire intitulé « Performances SuperGLUE » présentant les scores SuperGLUE de GPT-3 (axe des y, environ 40–90) pour des modèles comportant de 0,1 à 175 milliards de paramètres (axe des x). Trois courbes sont tracées : zéro-shot (bleu), un-shot (vert) et few-shot avec K = 32 (orange). Les trois courbes s’améliorent avec l’échelle de taille, les performances de few-shot se rapprochant des benchmarks BERT Large et BERT++ finement ajustés à 175 milliards de paramètres. Les courbes de référence indiquent les performances humaines (environ 90), l'état de l'art finement ajusté, BERT++ finement ajusté, BERT Large et une prédiction aléatoire (environ 40). (B) Nuage de points avec courbe de régression intitulé « Capacité humaine à détecter les articles de presse générés par un modèle ». L'axe des y représente la précision (%) d'environ 50 à 80 % et l'axe des x représente le nombre de paramètres du modèle sur une échelle logarithmique. À mesure que la taille du modèle augmente, la précision humaine dans l'identification du texte généré par l'IA diminue et tend vers le hasard (50 %), la condition de contrôle affichant 88 %. Une bande de confiance ombrée entoure la droite de régression.

Le deuxième thème qui se dégage des modèles linéaires à grande échelle (LLM) est plus subtilement présent dans la figure 1. À droite, en vert, figurent plusieurs modèles performants récemment publiés. Bien que ces modèles restent volumineux (plusieurs dizaines de milliards de paramètres), ils ne suivent pas nécessairement la tendance à l'échelle que l'on pourrait déduire des modèles en rouge. Ces modèles privilégient la taille au détriment d'ensembles de données de pré-entraînement plus importants et de phases de préentraînement plus longues. Ce changement est motivé par l'étude [8], qui suggère que, malgré les ressources déjà considérables utilisées pour entraîner de nombreux LLM, les modèles précédents sont sous-entraînés par rapport à leur taille. Cela a mené, par exemple, au développement du cadre d'entraînement de LLaMA [22], qui a utilisé 1 400 milliards de jetons lors de son entraînement. Ce total représente une augmentation significative par rapport aux 300 milliards de jetons utilisés par OPT-175B [29], un modèle beaucoup plus grand, lors de sa phase de pré-entraînement. Les résultats sont présentés à la figure 3. Malgré sa plus petite taille, LLaMA surpasse les modèles avec jusqu'à 0,5 billion de paramètres.

Figure 3. Tableau présentant les scores de performance en apprentissage zéro-shot sur huit benchmarks de raisonnement de sens commun – BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC-e, ARC-c et OBQA – pour LLaMA et plusieurs autres grands modèles de langage. Les modèles comparés incluent GPT-3 (175 octets), Gopher (280 octets), Chinchilla (70 octets), PaLM (62 octets), PaLM-cont (62 octets) et PaLM (540 octets). LLaMA est évalué à quatre échelles : 7, 13, 33 et 65 octets de paramètres. Les valeurs en gras indiquent le meilleur score par colonne. Résultats notables : LLaMA 65 octets obtient les meilleurs scores sur PIQA (82,8), SIQA (52,3), HellaSwag (84,2) et OBQA (60,2). PaLM 540 octets est en tête sur WinoGrande (81,1). LLaMA 33B obtient le meilleur score sur ARC-c (57,8). Plusieurs entrées sont marquées d'un trait d'union, indiquant l'absence de résultat. Selon la légende, certains modèles de comparaison comportent des centaines de milliards de paramètres de plus que les variantes de LLaMA.

Incitations : Motivation, avantages et construction

Officiellement, l'instruction d'entrée consiste à utiliser des phrases ou des modèles soigneusement conçus pour construire un texte d'entrée qui conditionne un modèle de langage préentraîné à accomplir une tâche en aval. Nous avons déjà constaté, dans les figures 2A et 2B, que les modèles de langage préentraînés sont capables d'effectuer des tâches avec une précision surprenante sans nécessiter de réglage fin. Avant d'approfondir ce point, considérons l'exemple de modèle d'instruction d'entrée suivant et l'instruction d'entrée complétée associée pour la tâche BoolQ, tirés de [2].

Figure illustrant le modèle d'invite utilisé pour les tâches de compréhension de texte, ainsi qu'un exemple rempli. La partie gauche présente la structure abstraite du modèle : le texte commence par un espace réservé au titre et un espace réservé au passage, suivis du mot « question » en violet, puis d'un espace réservé à la question et à la « réponse » en vert. Le jeton [X] indique où la réponse du modèle est attendue. La partie droite présente un exemple concret : le passage est le suivant : « Transmission de la rage – La transmission entre humains est extrêmement rare, bien qu'elle puisse se produire par transplantation d'organes ou par morsure. La question, affichée en violet, est : « Une personne peut-elle transmettre la rage à une autre ? » Le champ de réponse étant laissé vide, c'est la prédiction attendue.

À gauche se trouve un exemple de modèle d'invite. Chaque élément entre chevrons contient des informations relatives à la tâche à accomplir. Le texte en majuscules est une structure conçue pour présenter clairement au modèle les informations nécessaires. L'objectif final est que le modèle génère, au lieu du « X » bleu marine, le texte contenant la bonne réponse à la question. À droite se trouve un exemple de modèle rempli pour une question, avec son contexte, tiré de l'ensemble de données BoolQ.

Incitation à zéro et à peu d'images

L'invite ci-haut est dite « sans exemple ». Elle ne contient aucun exemple étiqueté, aussi appelé démonstration ou illustration, parmi les données d'entrée du modèle d'apprentissage. Les invites avec peu d'exemples fournissent des exemples étiquetés dans leur modèle, afin d'apporter des indications supplémentaires et spécifiques à la tâche au modèle d'apprentissage. Vous trouverez ci-dessous des exemples d'invites avec un seul exemple et avec peu d'exemples pour une tâche de classification des sentiments. 

Figure comparant deux formats d'invite pour une tâche de classification des sentiments. À gauche, l'invite unique (Prompt One-shot) contient l'instruction « Classer le sentiment » en violet, suivie d'un exemple unique étiqueté, également en violet : « C'était un excellent film et une expérience formidable : positif ». La requête que le modèle doit compléter est affichée en gras noir : « Je n'ai pas aimé la nourriture et l'ambiance », sans étiquette. À droite, l'invite avec quelques exemples (Few-shot Prompt) utilise la même instruction et la même requête, mais inclut trois exemples étiquetés en violet avant la requête : « C'était un excellent film et une expérience formidable : positif », « Les cabines étaient bondées et c'était beaucoup trop bruyant : négatif » et « Je me suis bien amusé : positif ». La requête en gras noir « J'ai pas aimé la bouffe et l'ambiance » suit les exemples, toujours sans étiquette. Le code de couleur distingue le contexte fourni (violet) de la prédiction cible (gras noir).

L'intégration de démonstrations dans les invites présente plusieurs avantages. Le principal est l'amélioration fréquente des performances des tâches suivantes, comme illustré dans la figure 2. L'écart entre les invites sans exemple et celles avec peu d'exemples augmente souvent avec la taille du modèle. De plus, l'inclusion d'exemples étiquetés incite fortement le modèle à répondre de manière à faciliter l'association du texte généré à une étiquette, une difficulté courante avec les invites. Prenons l'exemple de l'analyse des sentiments mentionnée précédemment. L'espace d'étiquettes pour cette tâche est « positif » et « négatif ». Cependant, livré à lui-même, le modèle pourrait répondre par « agréable » ou « décevant », ce qui compliquerait la détermination automatique de l'étiquette prédite. L'inclusion d'exemples aide le modèle à répondre comme prévu.

La façon dont les modèles linguistiques intègrent les démonstrations dans le processus prédictif est complexe. Plusieurs études ont montré que la qualité, la distribution, voire l'ordre des démonstrations fournies ont un impact important, et parfois imprévisible, sur la capacité d'un modèle à réaliser une tâche en aval [17, 18, 26]. C'est pourquoi certaines recherches ont exploré des stratégies de sélection des démonstrations optimales à inclure dans une consigne afin de maximiser les performances de la tâche en aval, par rapport à une simple sélection et un ordre aléatoires [1, 15].

Bien que l'utilisation de quelques exemples pour la génération d'instructions soit assez efficace, il faut tenir compte de plusieurs inconvénients. Premièrement, les démonstrations consomment un espace précieux dans la capacité d'entrée des modèles de langage (aussi appelé contexte). Généralement, les transformateurs peuvent utiliser un nombre fixe de jetons pour conditionner le processus de génération. Par exemple, LLaMA a une longueur de contexte fixe de 2048 jetons. Bien que cela puisse paraître beaucoup, l'injection de plusieurs démonstrations augmente rapidement la charge, en particulier pour une tâche telle que la synthèse de documents où chaque démonstration peut intégrer un long extrait de texte. Cela limite le nombre d'exemples pouvant être inclus dans les instructions. Plus important encore, les grands contextes engendrent des coûts de calcul élevés et ralentissent l'inférence. Ceci est dû, par exemple, au fait que l'attention dans les transformateurs est un N² opération, où N est le nombre de jetons dans le contexte.

Un autre inconvénient est que les données étiquetées peuvent être privées. Dans [6], des attaques par inférence d'appartenance ont permis de révéler des données étiquetées utilisées dans les invites à faible nombre d'exemples. Bien que cette étude propose également une approche pour protéger ces données, l'inclusion de données sensibles dans les invites demeure un risque. Finalement, plusieurs travaux ont montré que, pour certaines tâches, les invites à faible nombre d'exemples ne suffisent pas à obtenir de bonnes performances d'un modèle de langage [12, 25]. Cela a motivé d'importantes recherches sur les invites basées sur la chaîne de pensée, qui seront abordées en détail dans un prochain article de blog.

Tableau 1 présentant les scores F1 de validation pour une tâche de reconnaissance d'entités nommées basée sur BART après un réglage complet du modèle sur quatre modèles d'invite différents. Le tableau comporte trois colonnes : Modèle positif, Modèle négatif (indiqué par « sic ») et Score F1 de validation. Ligne 1 : Positif – « ⟨texte⟩ ⟨candidat⟩ est une entité [X] » ; Négatif – « ⟨texte⟩ ⟨candidat⟩ n'est pas une entité nommée » ; F1 de validation : 95,27. Ligne 2 : Positif – « ⟨texte⟩ Le type d'entité de ⟨candidat⟩ est [X] » ; Négatif – « ⟨texte⟩ Le type d'entité de ⟨candidat⟩ n'est aucune entité » ; F1 de validation : 95,15. Ligne 3 : Positif – « ⟨texte⟩ ⟨candidat⟩ appartient à la catégorie [X] » ; Négatif – « ⟨texte⟩ ⟨candidat⟩ n’appartient à aucune catégorie » ; Score F1 : 88,42. Ligne 4 : Positif – « ⟨texte⟩ ⟨candidat⟩ devrait être étiqueté comme [X] » ; Négatif – « ⟨texte⟩ ⟨candidat⟩ ne devrait pas être étiqueté comme aucune entité » ; Score F1 : 76,80. Le jeton [X] est mis en évidence dans les modèles positifs, indiquant la cible de prédiction du modèle. Les deux meilleurs modèles obtiennent les scores les plus élevés, tous deux supérieurs à 95.

La façon dont vous posez la question est importante.

Pour la plupart des tâches en aval, l'objectif d'une consigne est d'optimiser la capacité des modèles de langage (ML) à réaliser cette tâche avec un minimum, voire sans aucun, besoin de données étiquetées. Cependant, même les ML les plus performants sont sensibles à la structure de la consigne fournie. La façon dont vous demandez au modèle d'effectuer la tâche cible est importante, et constitue parfois même le facteur déterminant pour la réussite de la tâche. Prenons l'exemple détaillé dans le tableau 1 de [4]. Chaque rangée du tableau correspond à une conception de modèle potentielle pour une tâche de reconnaissance d'entités nommées. On observe une différence significative de performance entre un modèle utilisant la consigne la plus performante (première ligne) et la moins performante (deuxième ligne). Cette différence est encore plus marquée lorsque l'on considère que le modèle est précisément optimisé pour cette tâche à l'aide de ces structures de consigne. La sensibilité des ML à la structure des consignes est bien documentée et implique qu'une conception réfléchie des consignes peut avoir un impact considérable sur la performance du modèle.

Figure 4. Diagramme de dispersion comparant la perplexité des invites (axe des abscisses, échelle logarithmique de 8 × 10⁰ à 10¹) à la précision de la tâche en aval (axe des ordonnées, de 0,3 à 0,7 environ) pour l'ensemble de données AG's News, en utilisant OPT-175B comme modèle de langage de base. Chaque point bleu représente une invite distincte. Trois invites sont annotées explicitement : « Dans quelle section du journal vous attendez-vous à trouver cet article ? » apparaît dans le groupe supérieur gauche, avec une faible perplexité et une précision élevée (environ 0,55), accompagnée d'une petite icône de robot illustrée ; « De quelles nouvelles s'agit-il ? » apparaît dans la région centrale droite, avec une perplexité plus élevée et une précision modérée (environ 0,45) ; et « Qu'est-ce qui se passe ? Qu'est-ce qui se passe ? » apparaît dans le groupe inférieur gauche, avec une faible perplexité mais une faible précision (environ 0,3). La distribution globale suggère une tendance générale des invites à faible perplexité à atteindre une précision plus élevée, malgré une variance considérable au sein de l'ensemble de données.

Dans cette optique, plusieurs études se sont penchées sur la question suivante : « Qu’est-ce qui fait d’une invite une bonne invite ? La question est complexe, car certains types d’invites sont mieux adaptés à certains types de modèles. Par exemple, les auteurs d’OPT ont observé que le modèle ne réagissait pas bien aux « instructions déclaratives ou aux questions directes [29] ». Ce n’est pas nécessairement le cas pour les modèles à instructions fines, comme Vicuna [3], présentés ci-dessous. Néanmoins, plusieurs études ont mis en évidence des principes utiles à garder à l’esprit lors de la conception d’invites. Dans [7], la relation entre l’efficacité d’une invite et sa perplexité – une mesure directe de la fluidité et de la simplicité de l’invite du point de vue des modèles de langage – est étudiée. Cette relation est illustrée pour des invites destinées à classer des articles de presse en catégories (figure 4). Les travaux suggèrent empiriquement que les invites directes, fluides et spécifiques à la tâche sont les plus performantes. Un autre ensemble d'études, [19], a compilé des suggestions de conception d'invites basées sur des expérimentations avec la famille de modèles de langage GPT. Ça comprend :

  • Utiliser des modèles de bas niveau plutôt que des concepts sophistiqués qui nécessitent des connaissances préalables pour être compris
  • Diviser les tâches complexes en plusieurs tâches plus simples lorsque possible
  • Fournir les résultats escomptés et les contraintes, et transformer les énoncés négatifs en énoncés assertifs.

Bien que ces recommandations contribuent à orienter l'exploration et la conception d'invites optimales, il est important de reconnaître que l'expérimentation dans la construction des invites est souvent nécessaire pour obtenir des performances optimales d'un LM sur une tâche particulière.

Optimisation discrète des prompts

Étant donné que la conception manuelle d'invites est complexe et cruciale pour la réussite d'une tâche, de nombreuses recherches ont cherché à améliorer le processus de recherche grâce à diverses procédures d'optimisation. Les approches les plus simples consistent à générer un ensemble diversifié d'invites permettant d'évaluer les performances. On peut citer, par exemple, l'extraction d'invites [10], qui consiste à extraire des phrases et des textes courants de vastes corpus pour construire des invites variées, et la paraphrase d'invites [7, 10, 28], qui crée une grande variété d'invites à partir d'invites initiales par traduction aller-retour, remplacement par un thésaurus ou modèles de paraphrase. Chacune de ces méthodes vise à enrichir les invites conçues manuellement afin d'évaluer un plus grand nombre de candidats. GrIPS [20], une variante sophistiquée de ces approches, les combine avec plusieurs techniques d'édition de texte pour rechercher itérativement des invites optimales.

Une approche d'optimisation intéressante, appelée AutoPrompt, est proposée dans [21]. Cette approche recherche un ensemble de jetons « déclencheurs » de la forme suivante :

Expression mathématique définissant la structure d'un modèle d'invite pour les tâches de modélisation du langage masqué. La formule est la suivante : invite_x = ⟨texte⟩ [t₁] … [tₙ] [MASQUE], suivie d'un point. Dans cette formule, invite_x est en gras pour désigner l'invite complète ; ⟨texte⟩ représente le texte d'entrée ; [t₁] à [tₙ] représentent une séquence de n jetons d'invite à apprendre ; et [MASQUE] est la position du jeton masqué où le modèle de langage est censé générer une prédiction. Tous les éléments (jeton et espace réservé) sont affichés en bleu.

Laisser 𝒱 représenter le vocabulaire du LM considéré. Pour une étiquette y et la partie associée du vocabulaire, les invites sont notées comme

Equation 3.1 defining the probability of a label given a prompt in a masked language model setting. The equation reads: P of y given x-subscript-prompt equals the sum over all w belonging to V-subscript-y of P of [MASK] equals w given x-subscript-prompt. In this expression, y is the predicted label, x-subscript-prompt is the structured prompt input, V-subscript-y is the vocabulary of words associated with label y, w is a candidate word from that vocabulary and [MASK] is the masked token position the model is asked to fill. The equation defines the label probability as the aggregated probability mass the model assigns to all vocabulary terms associated with that label at the mask position.

À chaque itération, un jeton, tᵢ, avec intégration ŵᵢ est sélectionné pour modification. Nous sommes à la recherche t̃ᵢ ∈ 𝒱cand, avec intégration ŵ̃ᵢ, avec le plus grand potentiel d'augmentation de la probabilité d'étiquetage, tel qu'exprimé dans l'équation (3.1),

Une équation définit l'ensemble de vocabulaire candidat V<sub>cand</sub> pour la recherche de jetons d'invite basée sur le gradient. Cette équation s'écrit : V<sub>cand</sub> = k<sub>top</sub> sur t appartenant à V de la transposée de ŵᵢ multipliée par le gradient par rapport à ŵᵢ du logarithme de la probabilité de y étant donné l'invite x<sub>prompt</sub>. Le terme « transposée de ŵᵢ multipliée par le gradient de logarithme de la probabilité de y étant donné l'invite x<sub>prompt</sub> » est accompagné de l'annotation « dérivée dans la direction ŵᵢ ». L'équation identifie les k jetons de vocabulaire dont les dérivées directionnelles augmentent le plus la probabilité logarithmique de l'étiquette correcte y, utilisée pour sélectionner les jetons de remplacement candidats lors de l'optimisation de l'invite guidée par le gradient.

où k est le nombre de jetons de remplacement candidats à considérer. Modifier le Je-ième jeton d'invite avec t̃ᵢ ∈ 𝒱cand former xprompt, on choisit le xprompt qui maximise les probabilités d'étiquetage sur un lot d'entraînement tiré indépendamment B comme

Une expression mathématique partielle montrant la sommation, sur l'ensemble B, de la probabilité P de y étant donné l'indice x, suivie d'un point. Elle représente la probabilité agrégée de l'étiquette y étant donné l'indice x pour tous les éléments de l'ensemble B, et fait probablement partie d'une fonction objectif ou d'un critère de notation plus large défini dans le texte environnant.

Cette approche peut s'avérer très productive pour améliorer l'efficacité des invites, comme le montre le tableau 2. La précision induite par les invites manuelles des modèles BERT et RoBERTa pour l'analyse des sentiments SST-2 est améliorée respectivement de 19,1 % et 6,2 %. Bien que ces améliorations soient considérables, cette approche présente certains inconvénients. Premièrement, la méthode nécessite le calcul d'un gradient par rapport aux plongements lexicaux du modèle. Bien qu'aucun paramètre ne soit mis à jour durant ce processus, le calcul du gradient pour les modèles linéaires à longue portée (LLM), même pour un petit sous-ensemble de paramètres, peut être très gourmand en ressources. De plus, les invites résultant de cette approche d'optimisation par jetons sont souvent difficiles à lire et ressemblent peu à celles qu'un humain pourrait formuler. Ce problème est mis en évidence dans le tableau 3. Des recherches actuelles visent à résoudre ce problème, qui affecte généralement de nombreuses autres approches d'optimisation d'invites discrètes telles que RLPrompt [5]. Il s'agit toutefois encore d'un domaine de recherche actif.

Deux tableaux sont présentés conjointement. Le tableau 2 compare les performances de classification des sentiments SST-2 avec celles des invites générées manuellement et par AutoPrompt, pour quatre configurations de modèle. Ce tableau comporte trois colonnes : Modèle, Précision sur l'ensemble de développement et Précision sur l'ensemble de test. Ligne 1 : BERT (invite manuelle) – 63,2 % / 63,2 %. Ligne 2 : BERT (AutoPrompt) – 80,9 % / 82,3 %. Ligne 3 : RoBERTa (invite manuelle) – 85,3 % / 85,2 %. Ligne 4 : RoBERTa (AutoPrompt) – 91,2 % / 91,4 %. AutoPrompt surpasse systématiquement les invites manuelles pour les deux modèles, RoBERTa (AutoPrompt) obtenant les meilleurs scores globaux. Le tableau 3 présente trois tâches avec leurs modèles d'invite associés et les invites optimales trouvées par AutoPrompt. Les colonnes sont : Tâche, Modèle et Invite trouvées par AutoPrompt. Ligne 1 : Analyse des sentiments – modèle « ⟨texte⟩ [t₁] … [tₙ] [MASQUE] » – invite « Rédaction universitaire implacablement sombre et désespérée, où l’étranger apparaîtra [X] ». Ligne 2 : NLI – modèle « ⟨prémisse⟩ [MASQUE] [t₁] … [tₙ] (hypothèse) » – invite « Deux chiens se battent et s’enlacent [X] lieu de travail concret et pathologique. Il n’y a pas de chiens qui se battent et s’enlacent. Ligne 3 : Recherche de faits – modèle « ⟨sujet⟩ [t₁] … [tₙ] [MASQUE] » – invite « Cheminée Hall Overton, piano alto ancien [X] ». Dans la colonne AutoPrompt, les invites optimisées sont mises en évidence en lavande. La légende indique que, bien que ces invites soient performantes sur leurs indicateurs respectifs, elles sont difficiles à interpréter ou à comprendre sémantiquement.

IFT et PEFT

L'utilisation d'invites présente plusieurs avantages importants. Grâce à ces invites, les modèles linéaires à longue portée (LLM) démontrent une capacité remarquable à réaliser des tâches pour lesquelles ils n'ont jamais été entraînés. De plus, le traitement par lots de plusieurs tâches est facilement réalisable grâce aux invites. Autrement dit, un même LLM peut être utilisé pour de nombreuses tâches différentes, même au sein d'un même lot, en modifiant simplement l'invite. D'ailleurs, l'interaction avec le modèle et l'inférence se font exclusivement par le biais du langage naturel, ce qui facilite son utilisation. En revanche, on sait que les performances restent très sensibles à la conception des invites. De plus, la recherche d'invites optimales est complexe et souvent fastidieuse. Enfin, et c'est peut-être le plus important, pour de nombreuses tâches, un écart important persiste entre les performances des LLM utilisant les invites et celles des modèles spécifiques à la tâche, entraînés à réaliser une seule tâche avec une grande fidélité. Ces inconvénients ont motivé le développement d'approches complémentaires visant à améliorer la capacité des LLM à accomplir des tâches en aval spécifiques, tout en s'efforçant de préserver autant que possible les avantages de l'utilisation des invites.

Réglage fin des instructions

L'observation selon laquelle OPT réagit mal aux « instructions déclaratives ou aux questions directes », brièvement évoquée plus haut, est à la fois une réalité concernant le modèle de langage naturel (MLN) et une difficulté accrue pour l'inciter à réaliser des tâches en aval. Les instructions directes et les questions simples constituent souvent une approche naturelle pour interagir avec un MLN génératif. L'ajustement fin des instructions (IFT) vise à améliorer la performance de l'incitation tout en rendant le processus plus intuitif. L'idée principale est de fournir au MLN cible des exemples supplémentaires, au-delà de ceux vus lors du préentraînement, dotés d'une structure spécifique. Pour l'IFT, cette structure se présente sous la forme d'instructions associées à une réponse générée attendue, et ce, pour une grande variété de tâches de traitement automatique du langage naturel (TALN). La taille et la qualité de ces ensembles de données sont essentielles au succès de l'IFT. L'ensemble de données Natural Instruction V2, introduit par [24], constitue un exemple de ce type de données. Il comprend plus de 1 600 tâches différentes, réparties en 76 catégories, chacune associée à une instruction. La figure 5 illustre les différentes tâches et leur représentation relative dans l'ensemble de données.

Figure 5. Diagramme à bulles illustrant la composition de l'ensemble de données Natural Instruction V2 utilisé pour l'optimisation des instructions. La grosseur des bulles représente le nombre de tâches de chaque type sur une échelle logarithmique. Le diagramme comporte des dizaines de bulles étiquetées de différentes couleurs, notamment le turquoise, le bleu, le beige, l'orange et le gris. Les deux plus grandes bulles, placées au centre, correspondent à la traduction et à la réponse aux questions, indiquant qu'elles représentent le plus grand nombre de tâches dans l'ensemble de données. Les bulles de taille moyenne incluent la génération de questions, l'analyse des sentiments, la reconnaissance d'entités nommées, la correspondance de texte, l'extraction d'informations, l'exécution de programmes, la catégorisation de texte et la classification de sens commun. Parmi les plus petites bulles visibles autour du groupe, on trouve la synthèse, l'implication textuelle, la détection de langage toxique, la paraphrase, la génération de dialogues, la classification cause-effet, la vérification des faits, la génération de titres, la complétion de texte, la sémantique des mots, l'analogie lexicale, la perturbation de phrases, l'étiquetage de texte et divers. D'autres bulles plus petites, non étiquetées ou partiellement visibles, apparaissent sur les bords extérieurs du groupe. La forme générale du graphique est approximativement circulaire, les catégories de tâches les plus importantes étant regroupées vers le centre et les plus petites rayonnant vers l'extérieur.

Pour IFT, le modèle de langage cible est peaufiné (ou méta-ajustement) sur un texte tiré de l'ensemble de données IFT. Cette approche présente l'inconvénient de nécessiter des ressources de calcul équivalentes à celles requises pour un ajustement complet du modèle, mais sur une période beaucoup plus courte que les cycles de pré-entraînement de la plupart des modèles de langage. En revanche, il a été démontré que cette approche améliore la capacité d'un modèle de langage à intégrer des invites et à exécuter des tâches en aval conformément aux instructions. Voir, par exemple, les résultats de [24] présentés dans les figures 6A et 6B. IFT préserve de nombreux avantages des invites tout en visant à améliorer leur efficacité pour les modèles cibles. Ses principaux inconvénients sont qu'IFT reste essentiellement un ajustement, qu'il exige des critères d'arrêt rigoureux pour éviter la perte des capacités générales du modèle (oubli catastrophique) et qu'il ne comble pas nécessairement l'écart avec les méthodes d'ajustement spécifiques à une tâche.

Figure 6 en deux parties. (A) Tableau comparant les performances ROUGE-L moyennes de différents modèles sur des tâches inédites après ajustement fin des instructions à l'aide de Natural Instructions V2, évaluées sur les colonnes anglaise (En) et multilingue (X-lingual). Les modèles sont regroupés en quatre catégories. Modèles de référence heuristiques : Copie de l'entrée de l'instance : 14,2 / 5,4 ; Copie de la sortie de la démo : 28,5 / 50,3. Modèles de langage préentraînés : T5-LM (11B) : 30,2 / – (aucun résultat) ; GPT3 (175B) : 45,0 / 51,3. Modèles adaptés aux instructions : T0 (11B) : 32,3 / – ; InstructGPT (175B) : 52,1 / 52,8 ; Tk-INSTRUCT (notre modèle, 11B) : 62,0 (en gras) / –. Le modèle mTk-INSTRUCT (notre version, 13B) obtient un score de 57,1 / 66,1 (en gras). Estimation de la limite supérieure par apprentissage supervisé : 74,3 / 94,0. Les valeurs en gras indiquent les meilleurs scores par colonne parmi les modèles qui n'ont pas atteint la limite supérieure. (B) Graphique linéaire comparant les scores d'évaluation humaine (ligne orange avec marqueurs circulaires) et les scores ROUGE-L (ligne turquoise avec marqueurs carrés) pour Tk-Instruct sur des tâches inédites, à travers cinq points de contrôle du modèle (axe des abscisses) : Copie d'entrée d'instance, T0 (11B), InstructGPT (3B), Tk-Instruct (3B) et Tk-Instruct (11B). Les deux mesures augmentent avec la taille du modèle : les scores humains passent d'environ 15,2 à 78,9 et les scores ROUGE-L d'environ 14,2 à 62,0. Les scores humains dépassent systématiquement les scores ROUGE-L pour les modèles de plus grande taille, l'écart s'élargissant notamment à Tk-Instruct (3B) et (11B).

Réglage efficace des paramètres avec précision

L'optimisation complète des modèles linéaires à longue portée (LLM) est souvent rendue impossible par les ressources de calcul considérables nécessaires à leur entraînement, même sur de courtes périodes [27]. De plus, même en disposant des ressources nécessaires pour produire une version spécifique d'un LLM à une tâche donnée, il est probable qu'un modèle distinct doive être optimisé pour chaque tâche, ce qui implique une duplication des infrastructures de stockage, de calcul et d'hébergement pour la mise en œuvre effective de ces modèles. Par conséquent, des approches alternatives visant à combler l'écart de performance des LLM optimisés ont été recherchées.

Une extension naturelle de l'optimisation par invite discrète consiste à étendre l'espace de recherche des jetons discrets à l'espace continu des plongements lexicaux, par manipulation ou augmentation de la couche de plongement des modèles de langage. Ces méthodes, connues sous le nom d'optimisation par invite continue, incluent notamment Prompt-Tuning [13], Prefix-Tuning [14] et P-Tuning [16]. Elles constituent une sous-catégorie du réglage fin à faible consommation de paramètres (PEFT). Les méthodes PEFT entraînent une petite fraction des paramètres du modèle tout en visant à retrouver la précision obtenue par un réglage fin complet. Les approches d'optimisation par invite continue se concentrent sur la modification ou l'augmentation des paramètres du modèle afin de coïncider avec les invites en langage naturel injectées, ou de les imiter. Grâce à cette technique, il a été démontré que ces approches rivalisent avec les performances du réglage fin complet pour de nombreuses tâches de traitement automatique du langage naturel (TALN), en particulier lorsque la taille du modèle de langage sous-jacent augmente (voir figure 7 de [13]). Ces méthodes permettent le traitement par lots multitâches en veillant à ce que les pondérations appropriées, spécifiques à la tâche et associées aux incitations accompagnent chaque exemple du lot lors de l'inférence. Cependant, l'interprétabilité des incitations apprises demeure un problème et une question ouverte [11].

Figure 7. Graphique linéaire comparant les scores SuperGLUE (axe des y, de 50 à 100) en fonction du nombre de paramètres du modèle (axe des x, échelle logarithmique de 10⁸ à 10¹¹) pour quatre approches utilisant T5 comme modèle sous-jacent. Quatre courbes sont tracées : Optimisation du modèle (ligne rouge avec marqueurs circulaires), Optimisation du modèle multitâche (ligne orange avec marqueurs circulaires), Conception guidée (ligne bleu foncé avec marqueurs carrés) et Optimisation guidée (ligne verte avec marqueurs en forme de croix), cette dernière étant entourée d’une bande de confiance ombrée. Pour les modèles de petite taille (10⁸ paramètres), les quatre méthodes se regroupent autour de 59 à 65. Lorsque la taille du modèle augmente, les scores d’Optimisation du modèle et d’Optimisation du modèle multitâche augmentent fortement, atteignant environ 90 pour 10¹¹ paramètres. Le score d’Optimisation guidée augmente aussi fortement avec la taille du modèle, convergeant avec celui d’Optimisation du modèle à environ 90 pour 10¹¹ paramètres. La méthode Prompt Design s'améliore plus graduellement, atteignant environ 74 pour 10¹¹ paramètres – un score mentionné dans la légende comme point de référence pour GPT-3 175B. Le graphique démontre qu'à une échelle suffisante, Prompt Tuning égale les performances d'un réglage fin complet du modèle, tandis que Prompt Design est systématiquement moins performante que les deux approches, quelle que soit la taille du modèle.

Bien que les approches d'optimisation par incitation continue présentent de nombreux avantages, l'approche de pointe actuelle pour la PEFT est l'adaptation de bas rang (LoRA) [9]. LoRA généralise l'adaptation des modèles de langage (LM) au-delà de l'incitation, mais se concentre toujours sur la modification du mécanisme d'attention du transformateur, comme c'est le cas pour le P-Tuning, par exemple. L'idée est basée sur des observations empiriques selon lesquelles les poids des LM de bas rang sont de faible « rang intrinsèque ». Autrement dit, bien que les tenseurs des LM soient de grande dimension, l'information qu'ils contiennent tend à être bien approchée dans une dimension beaucoup plus faible. Cela se manifeste, par exemple, par une chute soudaine des valeurs singulières associée à une décomposition en valeurs singulières des poids du modèle.

Considérons une matrice de poids W₀ ∈ ℝ^(d×d)L'hypothèse sous-jacente de LoRA est que, si ΔW Si le « rang intrinsèque » est bas, les mises à jour de réglage fin pourraient aussi l'être. Pendant l'entraînement, LoRA gèle les poids d'origine. W₀ et limite les mises à jour aux matrices de bas rang BA de la forme

An equation defining the LoRA weight update. The expression reads: W-subscript-0 plus delta-W equals W-subscript-0 plus BA, followed by a comma. In this expression, W-subscript-0 represents the original frozen pretrained weight matrix, delta-W represents the weight update and BA represents the product of two low-rank matrices B and A that approximate the update. The equation establishes that rather than modifying W-subscript-0 directly, LoRA decomposes the weight update into the product of two smaller matrices.

où B ∈ ℝ^(d×r) et A ∈ ℝ^(r×d) et r ≪ d est un p'tit entier. Si les mises à jour d'entraînement sont approximativement de bas rang, les poids dans B et UN devrait se rapprocher le plus possible de la mise à jour réelle. Ceci est illustré à la figure 8.

Figure 8. Diagramme illustrant l'adaptation LoRA pour une transformation linéaire. En bas, une barre horizontale x représente l'entrée. Deux chemins parallèles mènent vers le haut à une barre horizontale h représentant la sortie, reliés par un symbole plus. Le chemin de gauche traverse un grand rectangle bleu intitulé « Poids préentraînés W ∈ ℝ^(d×d) », représentant la matrice de poids complète figée, dont la dimension d est indiquée à la base. Le chemin de droite traverse deux trapèzes orange superposés représentant la décomposition de bas rang : le trapèze inférieur est étiqueté A = N(0, σ²), indiquant qu'il est initialisé avec une distribution normale ; le trapèze supérieur est étiqueté B = 0, indiquant qu'il est initialisé à zéro. La dimension du goulot d'étranglement r est indiquée entre les deux trapèzes, illustrant la réduction de rang. La légende précise que le bloc de projection A est initialisé avec des poids distribués normalement.

Il existe quatre matrices conséquentialistes dans l'attention multi-têtes W_q, W_k, W_v, W_oUne question importante se pose : « Quelles matrices doivent être adaptées lors de l’entraînement ? Les résultats présentés dans le tableau 4 suggèrent qu’il faudrait adapter au moins les deux matrices. W_q et W_v procure une amélioration notable des performances. Il est également important de noter l'ampleur de r peuvent être très petites, tout en offrant de bonnes performances. Les plus petites r c'est-à-dire, moins il y a de poids entraînés. Adapter les matrices d'attention de W_q et W_v dans chaque couche de GPT-3 avec des valeurs pour r de 1 et 8, LoRA est capable de capturer et de surpasser le réglage fin du modèle complet, comme on peut le voir dans le tableau 5.

Deux tableaux sont présentés conjointement. Le tableau 4 illustre la précision de validation sur WikiSQL et MultiNLI après l'application de LoRA à différentes combinaisons de matrices de poids d'attention dans GPT-3, avec 18 millions de paramètres entraînables. Les colonnes représentent sept configurations de poids avec différents rangs r : Wq (r = 8), Wk (r = 8), Wv (r = 8), Wo (r = 8), Wq et Wk (r = 4), Wq et Wv (r = 4) et Wq, Wk, Wv et Wo (r = 2). Scores WikiSQL (± 0,5 %) : 70,4 ; 70,0 ; 73,0 ; 73,2 ; 71,4 ; 73,7 (en gras) ; 73,7 (en gras). Scores MultiNLI (± 0,1 %) : 91,0 ; 90,8 ; 91,0 ; 91,3 ; 91,3 ; 91,3 ; 91,7 (en gras). Les valeurs en gras indiquent les meilleures performances : l’adaptation conjointe de Wq et Wv, ou des quatre matrices, donne les meilleurs résultats pour WikiSQL, tandis que l’adaptation des quatre matrices donne le meilleur résultat pour MultiNLI. Le tableau 5 compare les performances des méthodes de génération et d’inférence de langage naturel en termes de précision WikiSQL, de précision MNLI-m et de scores SAMSum R1/R2/RL. Méthodes et nombre de paramètres entraînables : Full-Model FT (175 octets), BitFit (14,2 millions), Prompt-Tuning (3,2 millions), P-Tuning (20,2 millions), Adapter-H (7,1 millions), Adapter-H (40,1 millions), LoRA r = 1 (4,7 millions) et LoRA r = 8 (37,7 millions). Principaux résultats : Full-Model FT surpasse WikiSQL avec un score de 73,8 (en gras) ; LoRA r=8 atteint 74,0 (en gras), dépassant légèrement le réglage fin complet sur WikiSQL. LoRA r=1 obtient le score MNLI-m le plus élevé, soit 91,7 (en gras). LoRA r=1 obtient également les scores SAMSum les plus élevés, soit 53,8/29,8/45,9. La légende indique que LoRA surpasse les approches PEFT précédentes, y compris le réglage fin complet.

La mise en œuvre du traitement par lots multitâches avec LoRA est un peu plus complexe qu'avec des méthodes comme le réglage rapide. En effet, LoRA reconfigure essentiellement des composantes complètes du modèle à travers les matrices. B et UNLes entrées associées à différentes tâches doivent être acheminées via différentes matrices LoRA afin de produire les sorties spécifiques à chaque tâche. Une telle approche est possible, mais exige une orchestration d'infrastructure poussée. En revanche, le traitement de tâches distinctes par lots homogènes se résume à appliquer les pondérations LoRA appropriées, ce qui reste relativement flexible. L'utilisation de LoRA pour les tâches en aval s'éloigne également de l'idée d'interagir avec les modèles de langage (LM) par le biais du langage naturel, ce qui accroît le niveau d'expertise requis pour la réalisation de ces tâches. Cependant, les performances supérieures de LoRA en ont fait une approche extrêmement populaire pour atteindre efficacement une grande précision dans diverses tâches personnalisées grâce aux modèles de langage (LLM).

Conclusion

Dans cet article, nous avons abordé une grande partie des recherches actuelles et émergentes sur les modèles de langage naturel (LLM). Ces modèles continuent de croître, s'entraînent sur des ensembles de données toujours plus volumineux et traitent des milliards de jetons lors de leur phase de pré-entraînement. La conception et la mise en œuvre des invites continuent d'évoluer à mesure que notre compréhension des meilleures pratiques d'interaction avec les LLM via le langage naturel s'affine et que les capacités des LLM sont explorées. Nous avons examiné des méthodes de pointe pour générer automatiquement des invites optimales, tant dans le contexte du langage naturel que dans les espaces multidimensionnels des LLM eux-mêmes. Finalement, nous avons considéré deux approches récentes pour réaliser des tâches en aval spécifiques avec une plus grande précision. La première, IFT, vise à améliorer la capacité des LLM à effectuer des tâches grâce à une incitation directe. La deuxième, LoRA, est une technique extrêmement performante pour ajuster finement une petite fraction des poids totaux d'un LLM afin d'effectuer une tâche en aval avec une précision similaire à celle de l'ajustement fin du modèle complet, réduisant ainsi les ressources nécessaires pour obtenir des performances de pointe pour diverses tâches.

Références

[1] S. Agrawal, C. Zhou, M. Lewis, L. Zettlemoyer et M. Ghazvininejad. Sélection d'exemples en contexte pour la traduction automatique. Dans : Findings of the Association for Computational Linguistics: ACL 2023, pages 8857–8873, Toronto, Canada, juillet 2023. Association for Computational Linguistics.

[2] T. Brown, B. Mann, N. Ryder, M. Subbiah, JD Kaplan, P. Dhariwal, A. Neelakantan, et al. Les modèles de langage apprennent avec peu d'exemples. Dans Advances in Neural Information Processing Systems, volume 33, pages 1877–1901, 2020.

[3] W.-L. Chiang, Z. Li, Z. Lin, Y. Sheng, Z. Wu, H. Zhang, L. Zheng, S. Zhuang, Y. Zhuang, JE Gonzalez et al. Vicuna : un chatbot open source impressionnant GPT-4 avec une qualité ChatGPT de 90 %*, mars 2023.

[4] L. Cui, Y. Wu, J. Liu, S. Yang et Y. Zhang. Reconnaissance d'entités nommées basée sur des modèles à l'aide de BART. Dans Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pages 1835–1845, en ligne, août 2021. Association for Computational Linguistics.

[5] M. Deng, J. Wang, C.-P. Hsieh, Y. Wang, H. Guo, T. Shu, M. Song, EP Xing et Z. Hu. RLPrompt : Optimisation des invites textuelles discrètes par apprentissage par renforcement. Dans : Conférence sur les méthodes empiriques en traitement automatique des langues naturelles, 2022.

[6] H. Duan, A. Dziedzic, N. Papernot et F. Boenisch. Flocks of stochastic parrots : Differentially private prompt learning for large language models. https://arxiv.org/abs/2305.15594, mai 2023.

[7] H. Gonen, S. Iyer, T. Blevins, N. Smith et L. Zettlemoyer. Démystifier les invites dans les modèles de langage par l'estimation de la perplexité. https://arxiv.org/abs/2212.04037, décembre 2022.

[8] J. Hoffmann, S. Borgeaud, A. Mensch, E. Buchatskaya, T. Cai, E. Rutherford, D. de Las Casas, LA Hendricks, J. Welbl, A. Clark, T. Hennigan, E. Noland, K. Millican, G. van den Driessche, B. Damoc, A. Guy, S. Osindero, K. Simonyan, E. Elsen, JW Rae, O. Vinyals et L. Sifre. Formation de grands modèles linguistiques optimaux pour le calcul. Dans S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho et A. Oh, éditeurs, Advances in Neural Information Processing Systems, volume 35, pages 30016-30030. Curran Associés, Inc., 2022.

[9] E. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, L. Wang et W. Chen. Lora : Adaptation de rang bas de grands modèles de langage, 2021.

[10] Z. Jiang, FF Xuand J. Araki et G. Neubig. Comment pouvons-nous savoir ce que les modèles de langage savent ? Transactions of the Association for Computational Linguistics, 8:423–438, 2020.

[11] D. Khashabi, X. Lyu, S. Min, L. Qin, K. Richardson, S. Welleck, H. Hajishirzi, T. Khot, A. Sabharwal, S. Singh et Y. Choi. « Influence erratique des invites : le cas curieux de l’interprétation discrète des invites continues ». Dans : Actes de la conférence 2022 de la section nord-américaine de l’Association for Computational Linguistics : Human Language Technologies, pages 3631–3643, Seattle, États-Unis, juillet 2022. Association for Computational Linguistics.

[12] T. Kojima, SS Gu, M. Reid, Y. Matsuo et Y. Iwasawa. Les grands modèles linguistiques sont des raisonneurs zéro-shot. arXiv preprint arXiv:2205.11916, 2022.

[13] B. Lester, R. Al-Rfou et N. Constant. La puissance de l'échelle pour un réglage efficace des invites paramétriques. Dans les actes de la conférence 2021 sur les méthodes empiriques en traitement automatique du langage naturel, pages 3045–3059, en ligne et à Punta Cana, République dominicaine, novembre 2021. Association for Computational Linguistics.

[14] Xiang Lisa Li et Percy Liang. Prefix-tuning : Optimisation des invites continues pour la génération. Actes de la 59e réunion annuelle de l'Association for Computational Linguistics et de la 11e conférence internationale conjointe sur le traitement automatique du langage naturel (Volume 1 : Articles longs), abs/2101.00190, 2021.

[15] J. Liu, D. Shen, Y. Zhang, B. Dolan, L. Carin et W. Chen. Qu'est-ce qui constitue de bons exemples en contexte pour GPT-3 ? Dans les actes de Deep Learning Inside Out (DeeLIO 2022) : 3e atelier sur l'extraction et l'intégration des connaissances pour les architectures d'apprentissage profond, pages 100–114, Dublin, Irlande et en ligne, mai 2022. Association for Computational Linguistics.

[16] Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Tam, Zhengxiao Du, Zhilin Yang et Jie Tang. P-tuning : le réglage rapide peut être comparable au réglage fin à différentes échelles et pour différentes tâches. Dans : Actes de la 60e conférence annuelle de l’Association for Computational Linguistics (Volume 2 : Articles courts), pages 61–68, Dublin, Irlande, mai 2022. Association for Computational Linguistics.

[17] Y. Lu, M. Bartolo, A. Moore, S. Riedel et P. Stenetorp. « Invites à l’ordre fantastique et où les trouver : surmonter la sensibilité à l’ordre des invites dans les exemples peu nombreux ». Dans : Actes de la 60e réunion annuelle de l’Association for Computational Linguistics (Volume 1 : Articles longs), pages 8086–8098, Dublin, Irlande, mai 2022. Association for Computational Linguistics.

[18] S. Min, X. Lyu, A. Holtzman, M. Artetxe, M. Lewis, H. Hajishirzi et L. Zettlemoyer. Repenser le rôle des démonstrations : qu’est-ce qui rend l’apprentissage en contexte efficace ? Dans les actes de la conférence 2022 sur les méthodes empiriques en traitement automatique des langues naturelles, pages 11048–11064, Abou Dabi, Émirats arabes unis, décembre 2022. Association for Computational Linguistics.

[19] S. Mishra, D. Khashabi, C. Baral, C. Yejin et H. Hajishirzi. Repenser les invites pédagogiques pour le langage de GPTk. pages 589–612, 01 2022.

[20] A. Prasad, P. Hase, X. Zhou et M. Bansal. GrIPS : Recherche d’instructions sans gradient et basée sur l’édition pour l’induction de grands modèles de langage. ArXiv, abs/2203.07281, 2022.

[21] T. Shin, Y. Razeghi, RL Logan IV, E. Wallace et S. Singh. Autoprompt : extraire des connaissances à partir de modèles de langage avec des invites générées automatiquement. pages 4222–4235, 01 2020.

[22] H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozière, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave et G. Lampe. LLaMA : Modèles de langage de fondation ouverts et efficaces, 02 2023.

[23] A. Wang, Y. Pruksachatkun, N. Nangia, A. Singh, J. Michael, F. Hill, O. Levy et SR Bowman. SuperGLUE : un banc d’essai plus performant pour les systèmes de compréhension du langage à usage général. Curran Associates Inc., Red Hook, NY, États-Unis, 2019.

[24] Y. Wang, S. Mishra, P. Alipoormolabashi, Y. Kordi, A. Mirzaei, A. Naik, A. Ashok, AS Dhanasekaran, A. Arunkumar, D. Stap, E. Pathak, G. Karamanolakis, H. Lai, I. Purohit, I. Mondal, J. Anderson, K. Kuznia, K. Doshi, KK Pal, M. Patel, M. Moradshahi, M. Parmar, M. Purohit, N. Varshney, PR Kaza, P. Verma, RS Puri, R. Karia, S. Doshi, SK Sampat, S. Mishra, AS Reddy, S. Patro, T. Dixit et X. Shen. Instructions surnaturelles : Généralisation par des instructions déclaratives sur plus de 1600 tâches PNL. Dans les actes de la conférence 2022 sur les méthodes empiriques en traitement automatique du langage naturel, pages 5085–5109, Abou Dabi, Émirats arabes unis, décembre 2022. Association pour la linguistique informatique.

[25] J. Wei, X. Wang, D. Schuurmans, M. Bosma, E. Chi, Q. Le et D. Zhou. Chain of thought prompting elicits reasoning in large language models. arXiv preprint arXiv:2201.11903, 2022.

[26] J. Wei, J. Wei, Y. Tay, D. Tran, D. Webson, Y. Lu, X. Chen, H. Liu, D. Huang, D. Zhou et T. Ma. Les modèles de langage plus grands font l'apprentissage en contexte différemment, 2023.

[27] J. Yoo, K. Perlin, SR Kamalakara et JGM Arau ́jo. Entraînement évolutif de modèles linguistiques utilisant jax pjit et tpuv4. https://arxiv.org/pdf/2204.06514.pdf, 2022.

[28] W. Yuan, G. Neubig et P. Liu. BARTScore : Évaluation du texte généré en tant que génération de texte. Dans M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang et J. Wortman Vaughan (éd.), Advances in Neural Information Processing Systems, volume 34, pages 27263–27277. Curran Associates, Inc., 2021.

[29] S. Zhang, S. Roller, N. Goyal, M. Artetxe, M. Chen, S. Chen, C. Dewan, M. Diab, X. Li, XV Lin, T. Mihaylov, M. Ott, S. Shleifer, K. Shuster, D. Simig, PS Koura, A. Sridhar, T. Wang et L. Zettlemoyer. OPT : Modèles de langage transformateurs préentraînés ouverts. arXiv:2205.01068, 2022.

Les grands modèles de langage LLM incitent à la recherche

Lié: