Les chercheurs travaillant sur les vecteurs présenteront plus de 12 articles à la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance des formes 2024 (CVPR 2024). La conférence aura lieu à Seattle, dans l'État de Washington, du 17 au 21 juin.
Quatre articles, rédigés par des chercheurs affiliés à Vector, ont été coécrits par Sanja Fidler, membre du corps professoral de Vector. Ils présentent notamment de nouvelles méthodes de détection et de génération d'images 3D. Deux autres articles ont été coécrits par Wenhu Chen, également membre du corps professoral de Vector ; l'un d'eux introduit un nouvel algorithme permettant de combiner plusieurs grands modèles linguistiques (LLM) pour faire des prédictions en ligne.
Vous trouverez ci-dessous des résumés simplifiés des articles acceptés et des séances d'affiches présentées par les membres du corps professoral de Vector.
Descriptions des articles rédigés par une IA et édités par les coauteurs des articles.
Articles acceptés à CVPR 2024 par les membres du corps professoral de Vector
MMMU : un banc d'essai massif, multidisciplinaire et multimodal pour la compréhension et le raisonnement dans le cadre de l'IA générale experte.
Séance d'affichage 3 et salle d'exposition
Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng, Ruoqi Liu, Ge Zhang, Samuel Stevens, Dongfu Jiang, Weiming Ren, Yuxuan Sun, Cong Wei, Botao Yu, Ruibin Yuan, Renliang Sun, Ming Yin, Boyuan Zheng, Zhenzhu Yang, Yibo Liu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen
Le benchmark MMMU (Massive Multi-discipline Multimodal Understanding) est un nouvel outil conçu pour tester les capacités de compréhension et de raisonnement des modèles d'IA dans un large éventail de disciplines universitaires. Développé par des experts d'institutions telles que IN.AI Research, l'Université de Waterloo et l'Université d'État de l'Ohio, il couvre six disciplines fondamentales : art et design, commerce, sciences, santé et médecine, sciences humaines et sociales, et technologies et ingénierie. MMMU comprend 11 500 questions soigneusement sélectionnées provenant d'examens, de quiz et de manuels universitaires, couvrant 30 matières et 183 sous-domaines. Ces questions sont conçues pour tester la capacité de l'IA à traiter simultanément différents types d'images et de textes, tels que des graphiques, des diagrammes et des cartes. L'objectif est d'amener les modèles d'IA à démontrer une perception et un raisonnement de niveau expert. Ce benchmark a mis à l'épreuve les modèles d'IA existants, notamment le modèle propriétaire GPT-4V (Vision), qui n'a atteint que 56 % de précision, ce qui montre qu'il existe une marge de progression importante. Ce référentiel devrait encourager le développement de modèles d'IA multimodaux avancés qui ne soient pas seulement généralistes, mais experts dans le traitement de tâches spécifiques et axées sur un domaine.
Instruct-Imagen : Génération d'images avec instructions multimodales
Séance d'affichage 2 et salle d'exposition
Hexiang Hu, Kelvin CK Chan, Yu-Chuan Su, Wenhu Chen, Yandong Li, Kihyuk Sohn, Yang Zhao, Xue Ben, William Cohen, Ming-Wei Chang, Xuhui Jia
Cette recherche présente l'algorithme MoE-F, qui combine plusieurs modèles de langage de grande taille (MLG) pour faire des prédictions en ligne, comme la prévision des fluctuations boursières. Au lieu de combiner les MLG de manière fixe, MoE-F adapte la pondération de chaque MLG au fil du temps en fonction de ses performances récentes. L'idée centrale est de traiter le problème comme un « modèle de Markov caché », comme s'il existait un signal inobservable déterminant le MLG le plus performant à chaque étape. MoE-F utilise une technique mathématique appelée filtrage stochastique pour estimer ce signal caché à partir des erreurs de prédiction observables de chaque MLG. Des garanties théoriques sont fournies quant à l'optimalité des équations de filtrage et des pondérations de combinaison. Des expériences menées sur une tâche de prédiction boursière montrent que MoE-F obtient d'excellents résultats, avec une amélioration absolue de 17 % du score F1 par rapport au meilleur MLG individuel. En résumé, MoE-F offre une méthode adaptative et théoriquement fondée pour combiner les MLG dans le cadre de tâches de prédiction en ligne. Il présente un fort potentiel d'amélioration des performances par rapport à l'utilisation d'un modèle unique.
3DiffTection : Détection d'objets 3D avec des caractéristiques de diffusion tenant compte de la géométrie
Séance d'affichage 3 et salle d'exposition
Chenfeng Xu. Huan Ling, Sanja Fidler ou Litanie
3DiffTection est une nouvelle méthode de détection d'objets 3D à partir d'une seule image, utilisant les caractéristiques d'un modèle de diffusion prenant en compte la 3D. La détection d'objets 3D classique nécessite l'annotation de grands ensembles de données avec des boîtes englobantes 3D, une opération très chronophage.
3DiffTection contourne ce problème en enrichissant les caractéristiques d'un modèle de diffusion 2D préentraîné pour lui conférer une compréhension de la 3D. Il fonctionne de deux façons :
- Le « réglage géométrique » consiste à entraîner le modèle à synthétiser de nouvelles vues d'une scène à partir d'une seule image, en utilisant des paires d'images dont les poses de caméra sont connues. Cela donne aux caractéristiques une compréhension 3D sans nécessiter d'étiquettes 3D.
- « Réglage sémantique » par un entraînement supplémentaire du modèle sur l’ensemble de données et la tâche de détection cible.
Finalement, lors des tests, 3DiffTection génère plusieurs vues virtuelles de l'image et agrège les prédictions de boîtes englobantes 3D de chaque vue afin d'améliorer encore la précision. Sur l'ensemble de données complexe Omni3D, 3DiffTection surpasse nettement les méthodes de pointe précédentes, comme Cube-RCNN, pour la détection 3D à partir d'une seule image. De plus, il est très économe en données, atteignant des résultats compétitifs avec seulement 10 % des données d'entraînement.
XCube : Modélisation générative 3D à grande échelle utilisant des hiérarchies de voxels clairsemées
Séance d'affichage 1 et salle d'exposition
Xuanchi Ren, Jiahui Huang, Xiaohui Zeng, Ken Museth, Sanja Fidler, Francis Williams
Cet article présente X3 (prononcé XCube), une nouvelle méthode de génération de formes 3D haute résolution représentées par des hiérarchies de voxels épars. L'idée principale repose sur l'utilisation d'une hiérarchie de modèles de diffusion latente qui génère la forme 3D de manière progressive, du plus grossier au plus fin. À chaque niveau de la hiérarchie, un auto-encodeur variationnel code d'abord la grille de voxels épars en une représentation latente compacte. Ensuite, un modèle de diffusion latente génère le niveau de détail suivant, conditionné par le niveau précédent. Cela permet de générer des formes avec des détails géométriques précis, jusqu'à une résolution de 10 243 voxels, en moins de 30 secondes. Les voxels générés peuvent inclure des attributs tels que les normales de surface et des étiquettes sémantiques. La méthode surpasse les travaux antérieurs sur des ensembles de données d'objets 3D standards comme ShapeNet et Objaverse. Elle peut générer des objets à partir de descriptions textuelles ou d'étiquettes de classe. Les auteurs démontrent également la génération de scènes extérieures à grande échelle (100 m x 100 m) avec une résolution de voxel de 10 cm, une première pour ce type de modèle génératif. D'autres fonctionnalités sont présentées, comme l'édition guidée par l'utilisateur de voxels grossiers pour un contrôle plus précis des détails, la reconstitution d'une forme complète à partir d'une numérisation 3D partielle et l'assemblage de plusieurs vues générées pour améliorer les résultats. Globalement, X3 représente une avancée majeure dans la création de contenu 3D de haute qualité.
Alignez vos gaussiennes : conversion de texte en 4D avec des gaussiennes 3D dynamiques et des modèles de diffusion composés
Séance d'affichage 2 et salle d'exposition
Huan Ling · Seung Wook Kim · Antonio Torralba · Sanja Fidler · Karsten Kreis
Align Your Gaussians (AYG) est une nouvelle méthode de génération d'objets et de scènes 3D dynamiques à partir de descriptions textuelles. Son principe repose sur la combinaison de plusieurs modèles de diffusion performants dans différents domaines : des modèles de conversion texte-image pour une qualité visuelle optimale, des modèles de conversion texte-vidéo pour des mouvements réalistes et des modèles prenant en compte la 3D pour une cohérence géométrique.
Cette approche comporte deux étapes principales :
- Un objet 3D statique est d'abord généré à l'aide d'un modèle de conversion texte-image prenant en compte la 3D. Cet objet est représenté par des fonctions gaussiennes 3D.
- On ajoute ensuite la dynamique en optimisant un champ de déformation qui anime les gaussiennes 3D au fil du temps. Ce processus est guidé par un modèle de conversion texte-vidéo pour produire un mouvement réaliste, tandis qu'un modèle de conversion texte-image garantit une haute qualité visuelle.
Plusieurs techniques novatrices sont introduites pour améliorer le processus de génération, comme la régularisation de la distribution évolutive des gaussiennes 3D et l'amplification du mouvement. Cette approche permet aussi d'étendre les séquences temporelles et de combiner plusieurs objets dynamiques. Les expériences montrent qu'AYG surpasse les méthodes de pointe précédentes en matière de génération de texte en 4D. Parmi les applications possibles, mentionnons la génération rapide d'éléments pour les jeux et la réalité virtuelle, la génération de données synthétiques avec suivi des étiquettes et l'animation créative.
Extrapolation de scènes extérieures avec des automates cellulaires génératifs hiérarchiques
Séance d'affichage 5 et salle d'exposition
Dongsu Zhang, Francis Williams, Žan Gojčič, Karsten Kreis, Sanja Fidler, Young Min Kim, Amlan Kar
Cet article propose hGCA (automates cellulaires génératifs hiérarchiques), une nouvelle méthode de génération de scènes 3D complètes et haute résolution à partir de scans LiDAR épars acquis par des véhicules autonomes. L'idée principale est de construire la géométrie 3D de manière graduelle, du plus grossier au plus fin. Dans une première étape grossière, un modèle d'automate cellulaire génératif applique récursivement des règles de génération locales pour construire une représentation voxel basse résolution de la scène. Un module « planificateur » léger fournit un contexte global pour une génération plus cohérente. Dans une deuxième étape fine, hGCA affine les voxels grossiers en une surface continue haute résolution grâce à des fonctions implicites locales. Diviser la génération en deux étapes améliore l'efficacité. Sur des scènes de rue synthétiques, hGCA surpasse les méthodes de pointe précédentes en termes de qualité de complétion. Elle démontre également une forte généralisation des scans LiDAR synthétiques aux scans réels. La méthode peut même générer de nouveaux objets, au-delà de son ensemble d'entraînement synthétique, en s'inspirant géométriquement des scans réels. Les applications industrielles potentielles incluent la génération d'environnements de simulation pour la conduite autonome, le remplissage des zones manquantes dans les cartes 3D et la création de mondes ouverts réalistes pour les jeux vidéo. Cependant, l'amélioration de la qualité géométrique et la génération de textures rendraient les résultats plus exploitables concrètement.
Exploiter le potentiel du réglage des invites pour faire le lien entre l'apprentissage fédéré généralisé et personnalisé
Séance d'affichage 2 et salle d'exposition
Wenlong Deng, Christos Thrampoulidis, Xiaoxiao Li
Cet article propose une nouvelle méthode, appelée SGPT (Shared and Group Prompt Tuning), pour l'apprentissage fédéré avec des modèles de transformation visuelle. L'apprentissage fédéré permet d'entraîner des modèles sur des données provenant de plusieurs clients sans partage de données, mais les performances peuvent être affectées si les distributions de données des clients sont très différentes (hétérogénéité). SGPT résout ce problème en apprenant à la fois des invites partagées, qui capturent les caractéristiques communes entre les clients, et des invites spécifiques à chaque groupe, qui alignent le modèle sur des ensembles de clients similaires. Un module de sélection d'invite détermine les invites de groupe à utiliser pour chaque entrée. La méthode utilise une approche d'optimisation par descente de coordonnées par blocs, en apprenant d'abord les invites partagées pour capturer les informations communes, puis les invites de groupe pour des connaissances plus spécialisées. Théoriquement, les auteurs limitent l'écart entre la performance globale du modèle fédéré et sa performance sur les données locales de chaque client. SGPT est conçu pour minimiser deux facteurs clés influençant cet écart : l'erreur de généralisation et la divergence de distribution entre les clients. Des expériences menées sur de multiples ensembles de données présentant une hétérogénéité des étiquettes et des caractéristiques montrent que SGPT surpasse systématiquement les méthodes d'apprentissage fédéré de pointe. Cette approche permet d'entraîner un modèle global unique capable de s'adapter automatiquement à diverses distributions de données locales sans nécessiter de réglage précis propre à chaque client.
Assemblage génératif de pièces 3D par la transmission de messages hiérarchiques partie-tout
Séance d'affichage 5 et salle d'exposition
Bi'an Du, Xiang Gao, Wei Hu, Renjie Liao
Les auteurs de l'article proposent une nouvelle méthode, appelée réseau de communication hiérarchique partie-tout, pour générer des objets 3D réalistes par assemblage de leurs parties. Le concept clé consiste d'abord à regrouper les parties similaires en « super-parties », à prédire les poses (positions et orientations) de ces super-parties, puis à utiliser ces informations pour prédire avec plus de précision les poses des parties individuelles.
La méthode utilise un processus hiérarchique en deux étapes :
- Un « encodeur de super-pièces » prend en entrée les géométries des pièces et prédit les poses des super-pièces. Ces poses de super-pièces fournissent une estimation initiale de l'emplacement des pièces individuelles.
- Un « encodeur de pièces » prend ensuite les super-pièces posées, raisonne sur les relations entre les pièces individuelles et prédit une pose finale pour chaque pièce.
Sur l'ensemble de données PartNet, cette approche hiérarchique obtient des résultats exceptionnels pour l'assemblage précis d'objets 3D à partir de leurs composants. L'inspection visuelle du processus révèle que la méthode commence par positionner correctement les éléments principaux, tels que les assises et les dossiers de chaises, avant d'affiner le positionnement des pièces plus fines, comme les pieds et les accoudoirs. Parmi les applications potentielles, on peut citer les outils de conception assistée par ordinateur capables de suggérer ou de compléter automatiquement des conceptions d'objets 3D, la planification d'assemblages robotisés et la génération de grandes quantités de données 3D réalistes pour la simulation et l'apprentissage. Le code est disponible ici .
Segmentation sémantique émergente à vocabulaire ouvert à partir de modèles de vision-langage prêts à l'emploi
Séance d'affichage 1 et salle d'exposition
Luo Jiayun, Siddhesh Khandelwal, Leonid Sigal, Boyang Li
Cet article propose une nouvelle méthode, appelée segmentation sémantique à vocabulaire ouvert Plug-and-Play (PnP-OVSS), pour segmenter des objets arbitraires dans des images à l'aide de grands modèles de vision-langage (VLM) pré-entraînés. Les concepts clés sont :
- Extraire des cartes d'attention texte-image à partir d'un VLM préentraîné pour obtenir des segmentations initiales pour chaque classe d'objets.
- Affinez les cartes d'attention à l'aide de GradCAM, qui les concentre sur les régions d'objets les plus discriminantes.
- Enlever itérativement les zones d'image à forte attention et y revenir pour obtenir des masques d'objets plus complets, une technique appelée Salience DropOut.
- Affinez les masques avec un CRF dense.
Surtout, PnP-OVSS ne nécessite aucun entraînement supplémentaire ni annotation au niveau du pixel, même pour l'optimisation des hyperparamètres. Il atteint d'excellentes performances sans entraînement préalable sur les benchmarks de segmentation standard, surpassant largement les méthodes de référence sans entraînement, ainsi que de nombreuses méthodes d'ajustement fin des modèles de segmentation à vocabulaire ouvert (VLM). Parmi ses applications potentielles, on peut citer l'étiquetage automatique des jeux de données pour la vision par ordinateur, la reconnaissance instantanée d'objets par les robots et les outils de retouche d'images créatifs permettant aux utilisateurs de sélectionner et de modifier des objets en saisissant simplement leur nom. Ses principaux atouts sont la simplicité et l'efficacité de l'approche, qui permet d'extraire des capacités de segmentation à vocabulaire ouvert à partir de modèles de base performants, sans aucun entraînement supplémentaire.
Suggestion visuelle pour la segmentation généralisée à partir de quelques exemples : une approche multi-échelle
Séance d'affichage 5 et salle d'exposition
Mir Hossain Hossain, Mennatullah Siam, Leonid Sigal, Jim Little
Cet article propose une nouvelle méthode, appelée Visual Prompting for Generalized Few-Shot Segmentation (GFSS), utilisant une architecture de décodeur transformateur multi-échelle. L'approche apprend des « repères visuels » représentant les classes de base (apprises à partir de données abondantes) et les nouvelles classes (apprises à partir de quelques exemples) sous forme d'embeddings. Ces repères interagissent avec les caractéristiques des images à différentes échelles dans un décodeur transformeur. Les repères des nouvelles classes sont initialisés par la mise en commun des caractéristiques des quelques images d'exemple, masquées par les masques de segmentation de référence. Un aspect clé est l'introduction d'un mécanisme d'« attention causale » unidirectionnel : les repères de base influencent les nouveaux repères, mais pas l'inverse. Cela permet de contextualiser les nouveaux repères tout en évitant qu'ils ne dégradent les représentations des classes de base. La méthode permet également un « réglage transductif des repères » : les repères visuels peuvent être optimisés de manière non supervisée sur les images de test non étiquetées afin de s'adapter à la distribution des données de test.
Incitation forte ou faible : inversion de l'incitation pour les modèles de diffusion texte-image
Séance d'affichage 2 et salle d'exposition
Shweta Mahajan, Tanzila Rahman, Kwang Moo Yi, Leonid Sigal
Cet article propose une nouvelle méthode appelée Prompting Hard or Hardly Prompting (PH2P) pour « inverser » un modèle de diffusion texte-image afin de trouver l'invite textuelle la plus susceptible de générer une image cible donnée.
Les principaux enseignements sont les suivants :
- Par la suite, les étapes temporelles plus bruyantes du processus de diffusion sont plus sensibles à l'invite de conditionnement. En concentrant l'optimisation sur ces étapes ultérieures, on obtient des invites plus sémantiques et interprétables.
- L'utilisation d'un système de projection différée permet de conserver les invites optimisées au sein du vocabulaire d'entraînement initial du modèle. Cela garantit que les invites demeurent pertinentes et lisibles par un humain.
PH2P surpasse les approches de référence en générant des suggestions qui saisissent plus précisément la sémantique des images cibles. Ces suggestions permettent de synthétiser des images diverses, mais sémantiquement similaires. Parmi les applications potentielles, on trouve des outils d'exploration et d'édition créatives : l'utilisateur fournit une image conceptuelle cible et le système suggère une suggestion descriptive modifiable. L'inversion des suggestions pourrait aussi permettre la génération évolutive de concepts par modification itérative des images et des suggestions. Finalement, les régions ciblées correspondant à chaque jeton pourraient servir à la localisation et à la segmentation non supervisées d'objets.
UnO : Champs d'occupation non supervisés pour la perception et la prévision
Séance d'affichage 4 et salle d'exposition
Ben Agro, Quinlan Sykora, Sergio Casas, Thomas Gilles, Raquel Urtasun
UNO (Unsupervised Occupancy Fields) est une méthode proposée dans cet article pour apprendre un modèle 3D du monde à partir de données LiDAR non étiquetées. Ce modèle permet de percevoir l'environnement actuel et d'en prédire l'état futur. UNO apprend à prédire l'occupation 3D (la présence ou l'absence d'un objet en un point de l'espace) au fil du temps, de manière auto-supervisée, en utilisant les futurs balayages LiDAR comme pseudo-étiquettes. Son architecture repose sur un réseau neuronal implicite qui permet d'interroger l'occupation en tout point 3D continu et à tout instant futur. UNO peut être efficacement transféré à des tâches en aval. Pour la prévision de nuages de points LiDAR, elle obtient des résultats de pointe sur plusieurs ensembles de données en ajoutant un moteur de rendu léger à l'occupation prédite. Après un paramétrage précis sur un nombre limité de données étiquetées pour la prédiction sémantique de l'occupation en vue aérienne, UNO surpasse les méthodes entièrement supervisées, démontrant ainsi d'impressionnantes capacités d'apprentissage avec peu d'exemples. Parmi les applications potentielles, on peut citer une planification de déplacement plus sécuritaire pour les véhicules autonomes, en leur permettant d'anticiper l'état futur de l'ensemble de la scène, et non plus seulement des objets détectés. La capacité d'UNO à apprendre à partir de données non étiquetées et à généraliser à des objets rares peut améliorer la robustesse et la sécurité.
Cliquez ici pour en savoir plus sur les travaux de vision par ordinateur menés par les chercheurs de Vector.
