Par Shaina Raza et Veronica Chatrath
Les modèles d'IA deviennent rapidement plus grands, plus rapides et plus performants pour comprendre simultanément les images et les textes. Cependant, si la précision et la rapidité sont souvent mises de l'avant, une question essentielle demeure : dans quelle mesure ces modèles sont-ils en phase avec les valeurs humaines ? L'équité, l'empathie, l'inclusion et le jugement éthique demeurent des notions difficiles à atteindre pour de nombreux systèmes de pointe. C'est là qu'intervient HumaniBench .
Développé comme le premier référentiel complet d'évaluation centrée sur l'humain des grands modèles multimodaux (LMM) , HumaniBench représente une avancée majeure dans l'évaluation des systèmes d'IA. Il surpasse les indicateurs traditionnels en évaluant les modèles selon sept principes essentiels alignés sur les besoins humains : équité, éthique, compréhension, raisonnement, inclusivité linguistique, empathie et robustesse .
HumaniBench repose sur un ensemble de données soigneusement constitué de 32 000 paires image-question extraites d'articles de presse réels portant sur des sujets variés et socialement pertinents. Pour chaque image, nous générons une légende et lui attribuons une étiquette d'attribut social (âge, sexe, origine ethnique, sport ou profession) afin de créer des métadonnées riches pour l'annotation ultérieure. Le processus d'annotation utilise un flux de travail GPT-4o évolutif , suivi d'une vérification rigoureuse par des experts, garantissant ainsi que chaque échantillon répond aux normes les plus élevées en matière de qualité et de pertinence.
Pour refléter la complexité des contextes humains, HumaniBench propose sept tâches diverses , chacune étant associée à un ou plusieurs principes centrés sur l'humain :
- Compréhension de la scène (T1) : Le modèle peut-il raisonner sur des scénarios sociaux quotidiens ?
- Identité d'instance (T2) : Peut-elle reconnaître les individus et leurs rôles dans le contexte ?
- Questionnaire visuel à choix multiples (T3) : Permet-il de déceler des attributs visuels nuancés ?
- Multilinguisme (T4) : Les performances sont-elles cohérentes entre les langues à ressources élevées et celles à faibles ressources ? Les modèles LMM traitent-ils équitablement les langues sous-représentées ?
- Ancrage visuel (T5) : Peut-il détecter les objets visuels dans les images et relier le texte aux bonnes parties d'une image ?
- Sous-titrage empathique (T6) : Répond-il avec intelligence émotionnelle ?
- Résilience de l'image (T7) : Est-elle robuste lorsque les images sont perturbées ou soumises à des contraintes du monde réel ?
En utilisant ce cadre d'analyse, l'équipe a comparé 15 modèles linéaires mixtes (LMM) de pointe, à la fois des modèles open source comme Phi4, Gemma, Llama 3.2, CogVLM2 et LLaVA, et des modèles propriétaires comme GPT-4o et Gemini 2.0. Les résultats de cette comparaison ont révélé des surprises : les modèles propriétaires ont obtenu de bons résultats aux tâches de raisonnement, d'empathie et de compréhension générale du langage, tandis que les modèles open source comme Qwen et Phi4 ont excellé dans les tâches d'ancrage visuel et de robustesse. Aucun modèle n'a été parfait ; la quasi-totalité a présenté des disparités dans le traitement des différents groupes démographiques, notamment en fonction de l'âge, de l'ethnicité et de la langue.
Tableau 1 : Comparaison des performances des modèles linéaires mixtes (LMM) avec nos sept principes centrés sur l’humain. Les colonnes sont marquées ✓ si elles sont couvertes, ✗ si elles ne le sont pas, ou ∼ si elles sont partiellement couvertes. « HC » indique une couverture centrée sur l’humain ; « Source des données » indique si les images sont réelles (R) ou synthétiques (S), avec (SD) pour la diffusion stable.
L'empathie, en tant que tâche sociale et cognitive complexe, demeure un critère essentiel pour évaluer l'alignement de l'IA avec l'humain. Les résultats obtenus sur HumaniBench montrent que les modèles propriétaires génèrent généralement des légendes plus empathiques et conservent un ton équilibré, témoignant à la fois d'intelligence émotionnelle et de sensibilité au contexte. Ceci constitue un précédent précieux pour les modèles open source. Cependant, les capacités de détection visuelle de certains modèles à code source ouvert, comme Qwen et Phi, dépassent celles de simples classificateurs de détection d'objets auto-supervisés aléatoires. Globalement, ces résultats soulignent à la fois le potentiel et les limites des modèles linéaires mixtes (LMM) actuels, et mettent en évidence des opportunités pour la communauté open source de développer des systèmes d'IA responsables, équitables et dotés d'intelligence émotionnelle.
Figure 2 : Scores HumaniBench alignés sur les principes. Chaque valeur représente le score moyen des tâches associées à ce principe (↑ plus le score est élevé, meilleur est le résultat). †Logiciel propriétaire ; tous les autres logiciels sont libres.
En résumé, HumaniBench offre bien plus qu'un simple tableau de bord : c'est un outil de diagnostic permettant de comprendre les forces et les faiblesses des modèles, ainsi que leurs conséquences concrètes pour les utilisateurs. L'ensemble des données, le code et la suite d'évaluation sont accessibles au public ici , dans un souci de transparence et de collaboration open source. Alors que nous progressons vers une IA plus centrée sur l'humain, HumaniBench constitue un point de référence opportun, incitant la communauté scientifique à viser plus haut et à mieux harmoniser ses pratiques.
Pour les chercheurs, les développeurs et tous ceux qui s'intéressent à l'avenir d'une IA responsable, HumaniBench offre une voie à suivre : mesurable, pertinente et centrée sur l'humain.
