Auteurs : Ahmed Radwan, Shaina Raza
Un système d'IA qui résume un appel au service à la clientèle, facilite l'apprentissage à partir d'une consultation médicale ou analyse une entrevue vidéo doit faire bien plus que reconnaître des objets ou transcrire la parole. Il doit comprendre ce qui a été dit, comment cela a été dit, ce qui s'est passé et quand cela s'est produit, et il doit fonctionner de manière fiable avec différentes personnes et dans des contextes réels.
Prenons l'exemple d'un candidat à un poste invité à enregistrer des réponses vidéo via une plateforme de recrutement en ligne. Un système d'IA peut être utilisé pour résumer l'entrevue, évaluer les réponses ou aider à décider si le candidat passe à l'étape suivante. Cependant, lorsque ce système fonctionne comme une boîte noire, il est difficile de savoir s'il a bien compris le candidat, interprété correctement son ton et son style de communication, ou s'il a fonctionné de manière cohérente avec des personnes d'âges, de sexes et d'origines ethniques différents. Un système impliqué dans des décisions qui affectent les opportunités d'emploi ne devrait pas être considéré comme fiable simplement parce qu'il produit une réponse.
Pourtant, la plupart des évaluations de l'IA multimodale se concentrent encore sur des images fixes, de courts extraits vidéo ou des transcriptions textuelles. Elles testent rarement si les modèles peuvent raisonner conjointement sur des conversations audio et vidéo naturelles plus longues, identifier le moment où un événement important se produit ou révéler si les performances diffèrent selon les groupes démographiques.
C'est pourquoi nous avons créé le corpus d'interactions sociales sociales omnimodales SONIC-O1 : un référentiel ouvert et validé par des humains pour évaluer les grands modèles de langage multimodaux appliqués à la compréhension audio-vidéo en situation réelle. Il est conçu pour aider les chercheurs et les praticiens à identifier les forces et les faiblesses des systèmes d’IA actuels, ainsi que les conséquences potentielles de ces échecs lors de leur application dans des contextes sociaux importants.
SONIC-O1 a été conçu pour combler cette lacune.
Un point de référence basé sur des interactions réelles
SONIC-O1 contient environ 60 heures de contenu audio-vidéo réel tiré de 231 vidéos examinées par des humains, couvrant 13 thèmes de conversation et cinq domaines plus larges :
- Interactions professionnelles, y compris les entrevues d'embauche et les réunions en milieu de travail
- Conversations éducatives, y compris les rencontres parents-professeurs
- Cadres juridiques et civiques, y compris les procédures judiciaires et les assemblées publiques communautaires
- Interactions axées sur le service, notamment le service à la clientèle, les interactions au restaurant et les visites de logements
- Services communautaires et de santé publique, y compris les consultations médecin-patient, les interventions d'urgence, les conflits liés au transport en commun, le soutien psychologique et la couverture sportive
Les vidéos vont de courts extraits à des conversations pouvant durer jusqu'à une heure. Cela permet à l'ensemble de données de référence d'avoir une vue plus large des capacités du modèle que les ensembles de données se concentrant uniquement sur des contenus courts et fortement montés. SONIC-O1 comprend 4 958 annotations vérifiées par des humains et les métadonnées associées, permettant une analyse par groupes selon des catégories démographiques observables.
Trois tâches, une question centrale : le modèle comprend-il vraiment l’interaction ?
SONIC-O1 évalue trois capacités interconnectées.
1. Résumé vidéo : La première tâche consiste à demander aux modèles de produire un résumé cohérent d'une interaction audio-vidéo complète.
2. Questions à choix multiples fondées sur des preuves : La deuxième tâche teste la compréhension fine grâce à des questions à choix multiples basées sur de courts segments audio-vidéo.
3. Localisation temporelle avec raisonnement : La troisième tâche consiste à demander aux modèles d’identifier le moment où un événement se produit. Par exemple, un modèle peut avoir à déterminer quand un but particulier est marqué dans un extrait vidéo sportif, quand un orateur fait une déclaration clé, ou si un événement se produit avant ou après un autre. Le modèle doit prédire l'heure de début et de fin de l'événement cible et expliquer les éléments justifiant sa réponse.
Pour SONIC-O1, nous avons sélectionné des vidéos sous licence libre et les avons examinées en fonction de leur qualité, de leur pertinence et de leur clarté.
Ce que nous avons constaté : la compréhension audio-vidéo est encore loin d’être résolue.
Nous avons évalué les principaux modèles multimodaux à source fermée et à source ouverte sur les trois tâches de SONIC-O1 : résumé vidéo, raisonnement à choix multiples fondé sur des preuves et localisation temporelle.
Les résultats globaux témoignent de progrès significatifs, mais aussi de limites évidentes. Les modèles propriétaires ont obtenu les meilleurs résultats sur l'ensemble des tests de référence, notamment en matière de résumé ouvert et de localisation temporelle. L'écart était plus faible pour les questions à choix multiples, ce qui suggère que les systèmes actuels sont relativement plus performants lorsqu'ils peuvent sélectionner des réponses parmi un ensemble fixe.
La tâche la plus complexe était la localisation temporelle, qui exige des modèles qu'ils identifient précisément le moment où un événement se produit dans une vidéo. Gemini 3.0 Pro a atteint un R@0,5 de 25,4 %, contre 2,8 % pour le modèle open-source le plus performant, Qwen3-Omni. Cela représente un écart de 22,6 %. Les modèles peuvent souvent décrire ce qui s'est passé ou répondre à une question concernant un extrait vidéo, mais peinent encore à identifier avec fiabilité le moment précis où apparaît l'élément de preuve pertinent.
Les performances variaient aussi selon les contextes réels. La figure ci-dessous montre qu'aucun modèle n'a obtenu des résultats égaux dans les 13 domaines conversationnels. Les interactions à enjeux élevés, telles que les interventions d'urgence et le soutien psychologique, demeurent particulièrement exigeantes car elles nécessitent que les modèles associent le langage parlé, le contexte visuel, le minutage et les subtilités des signaux sociaux.
L'analyse par groupe a révélé les plus grandes disparités dans la localisation temporelle, notamment un écart de 21,4 % pour Gemini 3.0 Pro entre les participants autochtones et noirs, montrant que les moyennes globales peuvent masquer une fiabilité inégale selon les groupes démographiques.
SONIC-O1 offre aux chercheurs et aux développeurs un cadre commun pour étudier ces questions.
