- La nouvelle étude d'évaluation de Vector analyse 11 modèles d'IA de pointe du monde entier à l'aide de 16 critères de référence, dont ceux développés par les chercheurs de Vector.
- Cette étude marque la première fois que cette suite étendue de benchmarks et le code sous-jacent sont rendus disponibles en open source, les résultats étant accessibles via un tableau de bord interactif.
- Ce dernier travail témoigne du leadership mondial de Vector en matière d'évaluation et de benchmarks pour les grands modèles linguistiques (LLM).
Cinq points clés pour les développeurs, les chercheurs et les utilisateurs de modèles d'IA
La première étude d'évaluation de l'état des modèles d'IA réalisée par l'équipe d'ingénierie IA de Vector Institute apporte un éclairage nouveau sur l'évaluation et la comparaison des modèles d'IA. Pour la première fois dans ce type de recherche, Vector partage en open source à la fois les résultats de l'étude et le code source sous-jacent, afin de promouvoir la transparence et la responsabilité.
Les entreprises spécialisées en IA développent et commercialisent à un rythme sans précédent des modèles de langage à grande échelle (LLM) toujours plus performants. Chaque nouveau modèle promet des capacités accrues, allant de la génération de texte plus proche de l'humain à la résolution de problèmes et à la prise de décisions avancées. L'élaboration de référentiels largement utilisés et fiables contribue à renforcer la sécurité de l'IA ; elle permet aux chercheurs, aux développeurs et aux utilisateurs de comprendre les performances de ces modèles en termes de précision, de fiabilité et d'équité, et ainsi d'assurer leur déploiement responsable.
L'équipe d'ingénierie en IA de Vector a évalué 11 modèles d'IA de pointe provenant du monde entier, en examinant des modèles à code source ouvert et fermé, notamment la version DeepSeek-R1 de janvier 2025. Chaque agent a été testé par rapport à 16 bancs d'essai, dont MMLU-Pro , MMMU et OS-World , développés par Wenhu Chen et Victor Zhong, membres du corps professoral de l'Institut Vector et titulaires des chaires d'IA du CIFAR Canada. Ces bancs d'essai sont maintenant largement utilisés dans la communauté de la sécurité de l'IA.
Ce travail s'appuie également sur le rôle de premier plan joué par Vector dans le développement d'Inspect Evals, une plateforme de test de sécurité de l'IA open source créée en collaboration avec l'Institut britannique de sécurité de l'IA pour normaliser les évaluations de sécurité mondiales et faciliter la collaboration entre les chercheurs et les développeurs.
Les résultats en accès libre, disponibles dans un tableau de bord interactif ci-dessous, offrent des renseignements précieux qui peuvent aider les chercheurs et les organisations à comprendre les capacités en constante évolution de ces modèles.
Des référentiels robustes et des évaluations accessibles des modèles permettent aux chercheurs, aux organisations et aux décideurs politiques de mieux comprendre les forces, les faiblesses et l'impact concret de ces modèles et systèmes d'IA hautement performants et en constante évolution.
Un nouveau plan directeur pour l'évaluation des modèles de frontières
L'équipe a sélectionné un éventail de modèles à la fine pointe, à la fois open source et propriétaires. Vector a inclus des modèles commerciaux et accessibles au public afin de fournir une vision globale du paysage actuel de l'IA et de mieux comprendre les capacités, les limites et les impacts sociétaux des modèles de pointe largement utilisés.
| Modèles libres | Modèles à code source fermé (tous américains) |
|---|---|
| Qwen2.5-72B-Instruction (Alibaba/Chine) | GPT-4o (Open AI) |
| Llama-3.1-70B-Instruction (Méta/États-Unis) | O1 (Open AI) |
| Commande R+ (Cohere/Canada) | GPT4o-mini (Open AI) |
| Mistral-Large-Instruct-2407 (Mistral/France) | Gemini-1.5-Pro (Google) |
| DeepSeek-R1 (DeepSeek/Chine) | Gemini-1.5-Flash (Google) |
| Claude-3.5-Sonnet (Anthropique) |
L'institut Vector remercie son partenaire de recherche CentML d'avoir facilité l'accès à DeepSeek R1 pour cette évaluation.
Les tests portaient sur un éventail de questions et de scénarios de complexité croissante, utilisant deux types de tests de référence. Les tests à tour unique sont des tâches courtes, sous forme de questions-réponses, axées sur le raisonnement, la restitution des connaissances ou la compréhension multimodale dans un contexte statique. Une question de biologie posée au modèle pourrait être semblable à : « Parmi les propositions suivantes, laquelle n’est PAS une forme d’interaction interspécifique : (a) commensalisme, (b) succession écologique, (c) mutualisme ou (d) parasitisme ? ». Les tests d'interaction dynamique exigent des modèles qu'ils prennent des décisions séquentielles, naviguent dans des environnements et utilisent potentiellement des outils (navigateurs, terminaux, etc.) pour résoudre des problèmes complexes. Ils simulent des scénarios réalistes, exécutant des tâches de haut niveau comme : « Réserver une table pour deux dans un restaurant italien du centre-ville de Toronto ce samedi à 19 h ».
Figure 1. Une carte thermique rapide révèle les performances relatives par rapport aux tâches de base.
Figure 2. L'évaluation du rendement de Vector sur les tâches d'agent révèle une plus grande variance.
Promouvoir la transparence et la responsabilisation
Cette étude est la première à publier en open source les résultats de cette série de tests de rendement, une initiative menée par un organisme indépendant. Vector a également collaboré avec Google DeepMind pour publier en open source et valider de manière indépendante leurs tests de performance « Dangerous Capabilities », ce qui a permis d'accroître la portée et la transparence des résultats.
« Ce type d'évaluation ouverte, reproductible et indépendante permet de distinguer les informations pertinentes des données superflues concernant les capacités annoncées de ces modèles, notamment pour les modèles fermés où il est difficile d'obtenir des informations indépendantes sur leur rendement », souligne John Willes, responsable de l'infrastructure d'IA et de l'ingénierie de recherche chez Vector, qui a dirigé le projet. « Le partage des données, des benchmarks et du code de l'étude via l'open source favorise la transparence, la reproductibilité et la collaboration au sein de la communauté de l'IA. »
Consultez notre classement interactif
Maintenant, les chercheurs, les organismes de réglementation et les utilisateurs finaux peuvent vérifier indépendamment les résultats, comparer les performances des modèles et s'appuyer sur ces résultats pour mettre en œuvre leurs propres critères d'évaluation et réaliser leurs propres évaluations.
Trois faits saillants révèlent les leaders et les retardataires
Les résultats complets sont disponibles dans le classement. Trois faits saillants mettent en évidence les modèles les plus performants et les moins performants.
Compétitivité des logiciels libres
Globalement, les modèles propriétaires ont eu tendance à surpasser les modèles libres, surtout pour les tâches complexes. Cependant, les performances R1 de DeepSeek montrent que les modèles open source peuvent atteindre des performances compétitives sur la plupart des benchmarks et dans la plupart des domaines. Pour les tâches de raisonnement et de traitement des connaissances les plus exigeantes, en particulier celles avec des formats de questions complexes, les meilleurs modèles propriétaires ont conservé un avantage significatif sur leurs homologues open source. Les organisations devraient tenir compte d'autres facteurs que les performances brutes lors du choix d'un modèle d'IA, en comparant les avantages de l'open source (transparence, amélioration continue par la communauté) aux performances potentiellement supérieures de certains modèles propriétaires. Ce choix implique des considérations stratégiques liées à l'innovation à long terme et à la gestion des risques.
Capacité d'agent
Les tests d'évaluation des agents, conçus pour évaluer les capacités de résolution de problèmes concrets, se sont avérés difficiles pour les 11 modèles évalués par l'équipe Vector. Cette évaluation a utilisé l'agent Inspect ReAct et des tests couvrant plusieurs domaines :
- La sécurité , évaluée à travers les benchmarks AgentHarm (mesurant les réponses aux requêtes nuisibles) et Capture The Flag (CTF) pour évaluer les risques de cybersécurité ;
- Codage , évalué par SWE-Bench-Verified, pour évaluer les capacités d'ingénierie logicielle, et ;
- Connaissances générales , mesurées par des assistants d'IA généraux (GAIA) qui testent le raisonnement général et la prise de décision.
Les modèles o1 et Claude 3.5 Sonnet ont démontré les meilleures performances pour les tâches d'agents, notamment les tâches structurées avec des objectifs explicites, surpassant GPT-4o et Gemini 1.5 Pro. Cependant, tous les modèles ont rencontré des difficultés avec les tâches exigeant une plus grande capacité de raisonnement et de planification ouverts. Les performances sur les tâches de génie logiciel évaluées à l'aide de SWE-Bench-Verified étaient faibles pour tous les modèles sans échafaudage d'agent spécifique au domaine. Les modèles o1 et Claude 3.5 Sonnet ont également présenté de meilleurs profils de sécurité grâce à des taux de refus plus élevés pour les requêtes malveillantes, comparativement à GPT-4o et Gemini 1.5 Pro.
Pour les développeurs, l'enseignement principal est que les tâches complexes et spécialisées, comme celles du génie logiciel, nécessiteront une architecture plus avancée que celle d'agents généralistes dotés de simples capacités d'utilisation d'outils. Les concepteurs de produits devront, quant à eux, concevoir une structure supplémentaire autour des modèles afin d'assurer des performances élevées dans des scénarios exigeants et concrets, sans pour autant apporter d'avancées significatives aux modèles sous-jacents.
Capacité multimodale
Les applications concrètes nécessitent des systèmes d'IA capables de traiter et d'interpréter divers types d'informations (images, textes et audio), comme la perception et l'interaction humaines avec le monde. Par exemple, dans le domaine de la santé, une IA multimodale peut analyser des images médicales et les dossiers des patients afin d'aider au diagnostic et à la planification des traitements. Cette capacité de comprendre et d'intégrer différents types d'informations est essentielle pour exploiter pleinement le potentiel de l'IA dans de nombreux contextes réels.
Le test de compréhension multimodale et massive (MMMU), développé par Wenhu Chen, membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, évalue la capacité d'un modèle à raisonner pour résoudre des problèmes nécessitant l'interprétation d'images et de textes, à travers des questions à choix multiples et des questions ouvertes. Les questions sont classées par niveau de difficulté (facile, moyen, difficile) et par domaine, notamment les mathématiques, les finances, la musique et l'histoire.
Lors de l'évaluation, o1 a démontré une compréhension multimodale supérieure pour différents formats de questions et niveaux de difficulté, tout comme Claude 3.5 Sonnet, mais dans une moindre mesure. La plupart des modèles ont connu une baisse significative de leur rendement face à des requêtes multimodales ouvertes plus complexes. Cette tendance s'est confirmée à tous les niveaux de difficulté. o1 a présenté le profil le plus résilient, la baisse de performance étant beaucoup moins marquée. Claude-3.5-Sonnet a conservé des performances relativement stables, mais seulement pour un niveau de difficulté moyen. En général, les performances ont également diminué avec l'augmentation de la difficulté des questions pour tous les modèles.
Ces résultats indiquent que, malgré les progrès de l'IA multimodale, le raisonnement ouvert et les tâches multimodales complexes demeurent des défis importants, soulignant ainsi les domaines à privilégier pour les recherches et développements futurs.
Orientations futures : Perspectives des professeurs de l’Institut Vector
L'évolution rapide des modèles d'IA souligne la nécessité de disposer de cadres d'évaluation capables d'évoluer au rythme des progrès technologiques. La communauté de recherche et l'équipe d'ingénierie en IA du Vector Institute continuent de repousser les limites de la science des benchmarks et de l'évaluation.
Les professeurs du Vector Institute, qui mènent des travaux de pointe en matière de développement de modèles de référence et de sécurité de l'IA, ont partagé leurs points de vue sur l'avenir de l'évaluation des modèles.
Wenhu Chen
Membre du corps professoral de Vector
Présidente de l'IA du CIFAR Canada
Chen a développé MMMU et MMLU-Pro, les deux principaux ensembles de données de référence maintenant utilisés par les grands développeurs de modèles, notamment Anthropic, OpenAI et DeepSeek. Il souligne la nécessité de disposer d'ensembles de données de référence intégrant des annotations d'experts provenant de divers domaines afin d'assurer la précision, la pertinence et l'utilité pratique des modèles. « Les modèles atteignent déjà des niveaux très proches de ceux des experts humains. Pour annoter ces questions, il faudrait vraiment des physiciens, des mathématiciens, des lauréats du prix Nobel », explique-t-il. « Nous avons encore besoin d'efforts considérables de la part d'autres disciplines comme la médecine, le droit ou les finances pour fournir des ensembles de données de très haute qualité ; les modèles ne sont tout simplement pas aussi performants dans ces domaines qu'en mathématiques et en programmation. Les ensembles de données doivent être beaucoup plus diversifiés et adaptés au grand public, et pas seulement aux informaticiens. »
Frank Rudzicz
Membre du corps professoral de Vector
Présidente de l'IA du CIFAR Canada
Rudzicz dirige des recherches de pointe en traitement automatique du langage naturel, en reconnaissance vocale et en sécurité, et est co-auteur de l'ouvrage « Vers des normes internationales pour l'évaluation de l'apprentissage automatique ». Il souligne l'importance d'aligner les évaluations techniques sur leur impact pratique et concret. « Nous, les informaticiens, devons parfois comprendre les indicateurs concrets liés à l'utilisation réelle des outils », explique-t-il. « Par ailleurs, il arrive que la communauté informatique dispose de représentations mathématiques de concepts peu connus en dehors de ce milieu. Nous devons donc améliorer notre communication à ce sujet. »
Victor Zhong
Membre du corps professoral de Vector
Présidente de l'IA du CIFAR Canada
De plus, les évaluations doivent devenir des processus vivants et dynamiques, et non de simples instantanés. Outre ses recherches sur la conception et l'entraînement d'agents langagiers généralistes, Zhong a développé OS World, le principal référentiel utilisé par Anthropic, OpenAI et d'autres pour évaluer les agents d'utilisation informatique. Zhong préconise des méthodologies d'évaluation continues et évolutives. « Nous devons repenser fondamentalement ce que signifie évaluer les systèmes d'apprentissage machine », affirme-t-il. « À mesure que les modèles évoluent, les évaluations peuvent rapidement devenir obsolètes. Afin de demeurer compétitifs, nous assisterons à l'émergence d'évaluations dynamiques, dont la maintenance exige des ressources et des efforts. Nous devrons également repenser les incitatifs à la recherche – et aux communautés de recherche – afin de les aligner sur cette conception de l'évaluation. »
Pleins feux sur l'industrie :
Cohere, commanditaire Bronze du Vector Institute, vise à remodeler le paysage des LLM en comblant les lacunes en matière de performance multilingue et multiculturelle.
Le défi : les cadres d’évaluation traditionnels sont principalement en anglais et tendent à refléter des points de vue occidentaux.
Conséquences : le recours à des ensembles de données traduits en anglais risque de passer à côté de nuances régionales et culturelles, ce qui peut mener à des évaluations biaisées. Son applicabilité est particulièrement limitée pour les langues et les cultures sous-représentées dans les ensembles de données, souvent appelées langues « à faibles ressources ».
Le projet : Piloté par Cohere for AI, le laboratoire de recherche de l’entreprise, Aya est une initiative mondiale de science ouverte qui crée de nouveaux modèles et ensembles de données afin d’étendre le nombre de langues couvertes par l’IA. Au lieu de se concentrer uniquement sur la traduction et les tâches linguistiques de base, le projet de référence Aya évalue des capacités linguistiques plus approfondies, le raisonnement et les considérations éthiques dans différentes langues.
« Notre objectif est de combler les lacunes linguistiques afin que les spécialistes en droit comprennent et prennent en compte les nuances culturelles, au lieu de simplement traduire des mots », explique Sara Hooker, responsable de Cohere for AI. « Grâce à une collaboration internationale, Aya fait la promotion de normes plus inclusives et façonne un écosystème d'IA plus équitable, au service des diverses communautés. »
Cinq points clés à retenir
- L'étude de Vector sur l'état des évaluations peut aider les organisations à évaluer les forces et les risques des différents modèles, en tenant compte de facteurs tels que les biais et la performance des modèles formés en Occident dans divers contextes culturels.
- L'évaluation des modèles d'IA ouvre de nouvelles perspectives pour l'étude des architectures de modèles, de leur interprétabilité et des performances de référence.
- La recherche sur l'évaluation des modèles d'IA doit continuer d'évoluer pour suivre le rythme de l'évolution rapide des LLM.
- Le potentiel transformateur des LLM exige un engagement indéfectible envers la confiance et la sécurité.
- En publiant en open source les résultats d'évaluation et le code sous-jacent, Vector permet une compréhension plus approfondie du rendement et des limites des modèles, et favorise le développement et le déploiement responsables des systèmes d'IA.
En tant que chef de file dans l'élaboration de nouveaux référentiels et l'évaluation indépendante, Vector vise à établir des normes mondiales pour l'IA, afin que celle-ci soit fiable, sûre et respectueuse des valeurs humaines, quel que soit son domaine d'utilisation. Vector vise à donner à toutes les parties prenantes les moyens de développer une IA responsable et de faciliter la transition de la recherche vers des applications concrètes.
Les évaluations indépendantes et publiques constituent un bien public qui peut favoriser l'amélioration de la sécurité et de la confiance dans l'IA.
