Par Ian Gormely
14 juin 2021
Les chercheurs de Vector se préparent encore une fois pour une conférence chargée sur la vision par ordinateur et la reconnaissance des formes, qui se tiendra virtuellement du 19 au 25 juin. Les travaux présentés par les chercheurs de Vector lors de la conférence de cette année illustrent les nombreuses applications de l'apprentissage machine dans des domaines tels que la santé, la sécurité et même l'industrie de la beauté.
Dans leur article intitulé « LOHO : Optimisation latente des coiffures par orthogonalisation », Graham Taylor, membre du corps professoral de Vector, Florian Shkurti, chercheur associé à Vector, et leur équipe ont utilisé un modèle génératif pour modifier une photo et visualiser l'apparence d'une personne avec une coiffure ou une couleur différente. Cet article, fruit d'une collaboration avec Modiface, une entreprise torontoise spécialisée dans les technologies de la beauté, a réutilisé un modèle StyleGANv2 entraîné pour modifier naturellement l'apparence d'une personne sans intervention physique.
À l'opposé, on trouve « Extraction de modèles sans données », où Nicolas Papernot, membre du corps professoral de Vector, et son équipe démontrent comment il est possible de voler un modèle d'apprentissage automatique dont seules les prédictions sont accessibles au public. Si les API d'apprentissage automatique (où les calculs sont effectués côté propriétaire du modèle) sont vulnérables à de telles attaques, les applications où les prédictions sont réalisées sur l'appareil de l'utilisateur, comme une application sur téléphone intelligent, le sont particulièrement, même sans connaître les données utilisées pour leur entraînement. Les chercheurs ont proposé une solution potentielle à ce type de cyberattaque dans un autre article, « Inférence de jeux de données : résolution de la propriété dans l'apprentissage machine », présenté à l'ICLR plus tôt cette année.
Vous trouverez ci-dessous les résumés et les résumés simplifiés de nombreux articles acceptés, coécrits par des membres du corps professoral de Vector.
AdvSim : Générer des scénarios critiques pour la sécurité des véhicules autonomes
Jingkang Wang, Ava Pun, James Tu, Sivabalan Manivasagam, Abbas Sadat, Sergio Casas, Mengye Ren, Raquel Urtasun
À mesure que les systèmes de conduite autonome s'améliorent, la simulation de scénarios de défaillance potentielle de la pile d'autonomie devient cruciale. Traditionnellement, ces scénarios sont générés pour quelques scènes, en lien avec le module de planification qui utilise comme entrée les états réels des acteurs. Cette approche n'est pas extensible et ne permet pas d'identifier toutes les défaillances d'autonomie possibles, comme les erreurs de perception dues à l'occlusion. Dans cet article, nous proposons AdvSim, un cadre d'entraînement adverse permettant de générer des scénarios critiques pour la sécurité de tout système d'autonomie basé sur LiDAR. À partir d'un scénario de trafic initial, AdvSim modifie les trajectoires des acteurs de manière physiquement plausible et met à jour les données des capteurs LiDAR pour correspondre à l'environnement perturbé. Plus important encore, en simulant directement à partir des données des capteurs, on obtient des scénarios adverses critiques pour la sécurité de l'ensemble de la pile d'autonomie. Nos expériences montrent que notre approche est générale et permet d'identifier des milliers de scénarios critiques pour la sécurité, sémantiquement pertinents, pour un large éventail de systèmes de conduite autonome modernes. De plus, on montre que la robustesse et la sécurité de ces systèmes peuvent être encore améliorées en les entraînant avec des scénarios générés par AdvSim.
Extraction de modèles sans données
Jean-Baptiste Truong, Pratyush Maini, Robert J. Walls, Nicolas Papernot
Vous pensez être à l'abri du vol de modèles parce que votre modèle d'apprentissage machine (ML) résout une tâche de niche et qu'aucune donnée pertinente n'est accessible au public ? Dans nos travaux les plus récents sur l'« Extraction de modèles sans données », nous démontrons que des adversaires peuvent voler votre modèle sans la moindre connaissance de vos données d'entraînement, dans un environnement de type « boîte noire » où seules les prédictions du modèle sont exposées publiquement. Nous utilisons un générateur de données synthétiques qui maximise la disparité entre les prédictions de la victime et la copie volée (perte L1) via une approximation de gradient faible utilisant les différences finies. Bien que nos travaux constituent une menace pour le MLaaS (Multi-Learning as a Service), ils représentent une menace encore plus importante pour les systèmes d'apprentissage automatique embarqués, où les attaquants peuvent généralement effectuer un nombre illimité de requêtes sans coût supplémentaire.
DatasetGAN : une usine de données étiquetées efficace nécessitant un minimum d’intervention humaine
Yuxuan Zhang, Huan Ling, Jun Gao, Kangxue Yin, Jean-François Laflèche, Adela Barriuso, Antonio Torralba, Sanja Fidler
Nous présentons DatasetGAN : une procédure automatique pour générer des ensembles de données massifs d'images segmentées sémantiquement de haute qualité, avec un minimum d'intervention humaine. Les réseaux profonds actuels sont extrêmement gourmands en données et tirent profit d'un entraînement sur des ensembles de données à grande échelle, dont l'annotation est fastidieuse. Notre méthode s'appuie sur la puissance des GAN récents pour générer des images réalistes. Nous montrons comment le code latent du GAN peut être décodé pour produire une segmentation sémantique de l'image. L'entraînement du décodeur ne nécessite que quelques exemples étiquetés pour généraliser à l'ensemble de l'espace latent, ce qui permet de générer un ensemble de données annotées infini ! Ces ensembles de données générés peuvent ensuite être utilisés pour entraîner n'importe quelle architecture de vision par ordinateur, au même titre que les ensembles de données réels. Comme seulement quelques images nécessitent une segmentation manuelle, il devient possible d'annoter les images avec une extrême précision et de générer des ensembles de données avec des segmentations d'objets et de parties riches. Pour illustrer la puissance de notre approche, nous avons généré des ensembles de données pour 7 tâches de segmentation d'images, incluant des étiquettes au niveau du pixel pour 34 parties du visage humain et 32 parties de voiture. Notre approche surpasse largement toutes les méthodes de référence semi-supervisées et est au même niveau que les méthodes entièrement supervisées, qui nécessitent dans certains cas jusqu'à 100 fois plus de données annotées que notre méthode.
Apprentissage multitâche profond pour la localisation, la perception et la prédiction conjointes
John Phillips, Julieta Martinez, Ioan Andrei Bârsan, Sergio Casas, Abbas Sadat, Raquel Urtasun
Au cours des dernières années, nous avons constaté des progrès considérables dans de nombreuses sous-tâches de la conduite autonome, notamment la perception, la prévision et la planification des mouvements. Cependant, ces systèmes supposent souvent que le véhicule est localisé avec précision sur une carte haute définition. Dans cet article, on remet en question cette hypothèse et on étudie les problèmes rencontrés dans les architectures de conduite autonome de pointe en cas d'erreur de localisation. À partir de nos observations, nous concevons un système qui effectue conjointement la perception, la prédiction et la localisation. Notre architecture permet de réutiliser les ressources de calcul entre ces différentes tâches et, par conséquent, de corriger efficacement les erreurs de localisation. Nous présentons des expériences réalisées sur un vaste ensemble de données de conduite autonome, démontrant l'efficacité et la précision de notre approche.
DriveGAN : Vers une simulation neuronale contrôlable de haute qualité
Seung Wook Kim, Jonah Philion, Antonio Torralba, Sanja Fidler
Les simulateurs réalistes sont essentiels à l'entraînement et à la validation des systèmes robotiques. Alors que la plupart des simulateurs actuels sont conçus manuellement, une approche évolutive consiste à utiliser l'apprentissage automatique pour analyser le comportement de l'environnement en réponse à une action, directement à partir des données. Dans ce travail, nous cherchons à apprendre à simuler un environnement dynamique directement dans l'espace des pixels, en observant des séquences d'images non annotées et leurs paires d'actions associées. Nous présentons DriveGAN, un nouveau simulateur neuronal de haute qualité, qui assure la contrôlabilité en décomposant ses différents composants sans supervision. Outre les commandes de direction, il permet également d'échantillonner les caractéristiques d'une scène, comme les conditions météorologiques et la position des objets non joueurs. DriveGAN étant un simulateur entièrement différentiable, il permet en outre de simuler à nouveau une séquence vidéo donnée, offrant ainsi à un agent la possibilité de parcourir une scène enregistrée et d'effectuer éventuellement des actions différentes. Nous entraînons DriveGAN sur plusieurs ensembles de données, dont 160 heures de données de conduite réelles. Nous démontrons que notre approche surpasse largement les performances des simulateurs basés sur les données précédents et permet de nouvelles fonctionnalités inédites.
Apprentissage par énergie pour la génération de graphes de scène
Mohammed Suhail , Abhay Mittal , Behjat Siddiquie , Chris Broaddus , Jayan Eledath , Gerard Medioni , Leonid Sigal
Comprendre le contenu d'une scène à partir d'une image est fondamental pour de nombreuses tâches autonomes. Les travaux actuels abordent cette problématique en produisant des représentations graphiques dont les nœuds correspondent aux instances d'objets (par exemple, « personne », « voiture ») et les arêtes aux relations fonctionnelles/constituantes (par exemple, « conduire »). Le problème est que ces méthodes ne tiennent compte que de la qualité des prédictions pour chaque objet ou relation pris individuellement. Il en résulte des représentations de scènes souvent incohérentes (par exemple, une même personne conduisant et marchant). Nous proposons une méthode générale capable d'apprendre à évaluer de manière holistique les représentations graphiques et à produire des interprétations de scènes plus précises et cohérentes.
GeoSim : Simulation vidéo réaliste par composition géométrique pour la conduite autonome
Yun Chen, Frieda Rong, Shivam Duggal, Shenlong Wang, Xinchen Yan, Sivabalan Manivasagam, Shangjie Xue, Ersin Yumer, Raquel Urtasun
La simulation de capteurs à grande échelle représente un défi majeur pour les domaines critiques en matière de sécurité, comme la conduite autonome. Les travaux actuels en simulation d'images ne parviennent pas toujours à un rendu photoréaliste ou ne modélisent pas l'environnement 3D et les objets dynamiques qui le composent, ce qui compromet le contrôle et le réalisme physique. Dans cet article, nous présentons GeoSim, un processus de composition d'images qui tient compte de la géométrie. GeoSim synthétise de nouveaux scénarios de conduite urbaine en enrichissant les images existantes avec des objets dynamiques extraits d'autres scènes et rendus sous des angles inédits. Pour ce faire, nous constituons d'abord une banque d'objets 3D diversifiée, à partir de données de capteurs, présentant une géométrie et une apparence réalistes. Lors de la simulation, nous implémentons une nouvelle procédure de simulation par composition prenant en compte la géométrie. Cette procédure : 1) propose des placements d'objets plausibles et réalistes dans une scène donnée ; 2) génère de nouvelles vues d'objets dynamiques à partir de la banque d'objets ; et 3) compose et fusionne les segments d'images rendus. Les images synthétiques obtenues sont réalistes, tiennent compte du trafic et sont géométriquement cohérentes, ce qui permet à notre approche de s'adapter à des cas d'utilisation complexes. Nous présentons deux applications importantes : la simulation vidéo réaliste à longue portée à l’aide de plusieurs capteurs de caméra, et la génération de données synthétiques pour l’augmentation des données lors de tâches de segmentation ultérieures. Consultez https://tmux.top/publication/geosim/ pour des résultats vidéo en haute résolution.
LOHO : Optimisation latente des coiffures par orthogonalisation
Rohit Saha, Brendan Duke, Florian Shkurti, Graham W. Taylor, Parham Aarabi
Vous êtes-vous déjà demandé à quoi vous ressembleriez avec une nouvelle coupe de cheveux avant d'aller chez le coiffeur ? Grâce à LOHO, notre méthode, plus besoin d'imaginer : LOHO utilise des réseaux antagonistes génératifs (GAN) inversés pour créer une photo de vous avec votre nouvelle coupe. LOHO est une approche d'optimisation qui inverse un modèle StyleGANv2 entraîné afin de transférer l'apparence et le style des cheveux à partir de coiffures de référence, comme celles de vos célébrités ou influenceurs préférés. En utilisant LOHO pour la manipulation de l'espace latent, les utilisateurs peuvent créer des images photoréalistes inédites en manipulant les attributs des cheveux individuellement ou simultanément. Ce projet est le fruit d'une collaboration entre l'entreprise torontoise ModiFace (une filiale de L'Oréal) et les enseignants et les étudiants de Vector.
Estimation de pose 3D monoculaire multi-personnes par intégration de réseaux descendants et ascendants
Yu Cheng, Bo Wang, Bo Yang, Robby T. Tan
Dans l'estimation de pose 3D de plusieurs personnes à partir de vidéos monoculaires, l'occlusion interindividuelle et les interactions rapprochées peuvent entraîner des erreurs de détection humaine et un regroupement peu fiable des articulations. Les méthodes descendantes existantes reposent sur la détection humaine et souffrent donc de ces problèmes. Les méthodes ascendantes existantes, quant à elles, n'utilisent pas la détection humaine, mais traitent toutes les personnes simultanément à la même échelle, ce qui les rend sensibles aux variations d'échelle entre plusieurs personnes. Pour surmonter ces difficultés, nous proposons d'intégrer les approches descendantes et ascendantes afin d'exploiter leurs atouts respectifs. Notre réseau descendant estime les articulations de toutes les personnes présentes dans une portion d'image, et non d'une seule, ce qui le rend robuste aux erreurs potentielles de délimitation. Notre réseau ascendant intègre des cartes de chaleur normalisées basées sur la détection humaine, ce qui lui permet de mieux gérer les variations d'échelle. Finalement, les poses 3D estimées par les réseaux descendant et ascendant sont traitées par notre réseau d'intégration pour obtenir les poses 3D finales. Outre l'intégration de réseaux ascendants et descendants, contrairement aux discriminateurs de pose existants conçus pour une seule personne et incapables, par conséquent, d'évaluer les interactions interpersonnelles naturelles, nous proposons un discriminateur de pose à deux personnes qui favorise les interactions naturelles entre deux individus. Finalement, on applique une méthode semi-supervisée pour pallier le manque de données 3D de référence. Nos évaluations quantitatives et qualitatives démontrent l'efficacité de notre méthode par rapport aux méthodes de référence les plus performantes.
MP3 : Un modèle unifié pour cartographier, percevoir, prédire et planifier
Sergio Casas, Abbas Sadate, Raquel Urtasun
Les cartes haute définition (cartes HD) sont un élément clé de la plupart des systèmes de conduite autonome modernes, grâce à leurs précieuses informations sémantiques et géométriques. Malheureusement, la production de cartes HD s'avère difficile à déployer à grande échelle en raison de leur coût et des exigences qu'elles imposent au système de localisation, qui doit fonctionner partout avec une précision centimétrique. Pouvoir conduire sans carte HD serait très avantageux pour le déploiement à grande échelle des solutions de conduite autonome et pour améliorer la tolérance aux pannes des systèmes existants (par exemple, en cas de défaillance de la localisation ou de carte désuète). Dans cette optique, nous proposons MP3, une approche de bout en bout pour la conduite sans carte, qui utilise comme entrées des données brutes de capteurs et une commande de haut niveau (par exemple, tourner à gauche à l'intersection). MP3 prédit des représentations intermédiaires sous la forme d'une carte en ligne et de l'état actuel et futur des agents dynamiques, et les exploite dans un nouveau planificateur de mouvement neuronal pour prendre des décisions interprétables en tenant compte de l'incertitude. Nous démontrons que notre approche est nettement plus sûre, plus confortable et permet de mieux suivre les commandes que les méthodes de référence dans des simulations en boucle fermée à long terme complexes, ainsi que par rapport à un conducteur expert dans un ensemble de données réelles à grande échelle.
Niveau de détail géométrique neuronal : rendu en temps réel avec des formes 3D implicites
Towaki Takikawa, Joey Litalien, Kangxue Yin, Karsten Kreis, Charles Loop, Derek Nowrouzezahrai, Alec Jacobson, Morgan McGuire, Sanja Fidler
Les fonctions de distance signées (SDF) neuronales émergent comme une représentation efficace des formes 3D. Les méthodes de pointe encodent généralement la SDF à l'aide d'un grand réseau neuronal de taille fixe afin d'approximer les formes complexes par des surfaces implicites. Cependant, le rendu avec ces grands réseaux est coûteux en calcul, car il nécessite de nombreux passages à travers le réseau pour chaque pixel, ce qui rend ces représentations impraticables pour l'infographie en temps réel. Nous introduisons une représentation neuronale efficace qui, pour la première fois, permet le rendu en temps réel de SDF neuronales haute fidélité, tout en atteignant une qualité de reconstruction géométrique de pointe. Nous représentons les surfaces implicites à l'aide d'un volume de caractéristiques basé sur un octree qui s'adapte aux formes avec plusieurs niveaux de détail (LOD) discrets et permet un LOD continu grâce à l'interpolation SDF. Nous développons également un algorithme efficace pour rendre directement notre nouvelle représentation SDF neuronale en temps réel en interrogeant uniquement les LOD nécessaires grâce à un parcours d'octree épars. Nous démontrons que notre représentation est de 2 à 3 ordres de grandeur plus efficace en termes de vitesse de rendu que les travaux antérieurs. De plus, elle offre une qualité de reconstruction de pointe pour les formes complexes, autant selon les métriques géométriques 3D que selon les métriques d'espace image 2D.
Composantes neuronales : Apprentissage d'abstractions de formes 3D expressives avec des réseaux neuronaux inversibles
Despoina Paschalidou, Angelos Katharopoulos, Andreas Geiger, Sanja Fidler
Les progrès impressionnants réalisés dans l'extraction de formes 3D ont permis d'obtenir des représentations capables de capturer les géométries des objets avec une grande fidélité. Parallèlement, les méthodes basées sur les primitives cherchent à représenter les objets comme des assemblages de parties sémantiquement cohérents. Cependant, en raison de la simplicité des représentations primitives existantes, ces méthodes ne parviennent pas à reconstruire avec précision les formes 3D à partir d'un petit nombre de primitives/parties. Nous proposons une solution au compromis entre la qualité de la reconstruction et le nombre de parties avec Neural Parts, une nouvelle représentation primitive 3D qui définit les primitives à l'aide d'un réseau de neurones inversible (INN) implémentant des transformations homéomorphiques entre une sphère et l'objet cible. L'INN nous permet de calculer la transformation inverse de l'homéomorphisme, ce qui permet le calcul efficace de la fonction de surface implicite d'une primitive et de son maillage, sans post-traitement. Notre modèle apprend à analyser les objets 3D en assemblages de parties sémantiquement cohérents sans aucune supervision au niveau des parties. Les évaluations sur ShapeNet, D-FAUST et FreiHAND démontrent que nos primitives peuvent saisir des géométries complexes et ainsi réaliser simultanément des reconstructions géométriquement précises et interprétables en utilisant un ordre de grandeur inférieur de primitives que les méthodes d'abstraction de forme de pointe.
Permutation, quantification et optimisation fine : compression efficace des réseaux neuronaux
Julieta Martinez, Jashan Shewakramani, Ting Wei Liu, Ioan Andrei Bârsan, Wenyuan Zeng, Raquel Urtasun
La compression des grands réseaux neuronaux est une étape cruciale pour leur déploiement sur des plateformes de calcul aux ressources limitées. Dans ce contexte, la quantification vectorielle constitue un cadre attrayant permettant d'exprimer plusieurs paramètres à l'aide d'un seul code. Elle a récemment permis d'atteindre des performances de pointe en matière de compression de réseaux pour diverses tâches fondamentales de vision par ordinateur et de traitement automatique du langage naturel. La clé du succès de la quantification vectorielle réside dans le choix des groupes de paramètres à compresser ensemble. Les travaux antérieurs se sont appuyés sur des heuristiques regroupant la dimension spatiale des filtres convolutionnels individuels, mais une solution générale reste à trouver. Ceci est souhaitable pour les convolutions ponctuelles (qui dominent les architectures modernes), les couches linéaires (qui n'ont pas de notion de dimension spatiale) et les convolutions (lorsque plusieurs filtres sont compressés dans le même mot de code). Dans cet article, on observe que les poids de deux couches adjacentes peuvent être permutés tout en exprimant la même fonction. Nous établissons ensuite un lien avec la théorie du débit-distorsion et recherchons des permutations qui permettent d'obtenir des réseaux plus faciles à compresser. Finalement, on utilise un algorithme de quantification par recuit simulé pour optimiser la compression du réseau et atteindre une précision finale accrue. Nous présentons des résultats sur la classification d'images, la détection d'objets et la segmentation, réduisant l'écart avec le modèle non compressé de 40 à 70 % par rapport à l'état de l'art actuel.
S3 : Champs neuronaux de forme, de squelette et de skinning pour la modélisation humaine 3D
Ze Yang, Shenlong Wang, Sivabalan Manivasagam, Zeng Huang, Wei-Chiu Ma, Xinchen Yan, Ersin Yumer, Raquel Urtasun
La modélisation et l'animation de personnages humains constituent un élément essentiel à la création de mondes virtuels pour de nombreuses applications, telles que la réalité virtuelle ou les tests de robotique en simulation. Face à l'infinité de variations humaines (morphologie, posture, vêtements), il est crucial de développer des méthodes capables de reconstruire et d'animer automatiquement des personnages humains à grande échelle à partir de données réelles. Dans cette optique, nous représentons la forme, la posture et les poids de skinning du piéton par des fonctions implicites neuronales apprises directement à partir des données. Cette représentation nous permet de gérer une grande variété de formes et de postures de piétons sans avoir à ajuster explicitement un modèle paramétrique du corps humain, ce qui nous permet de traiter un plus large éventail de géométries et de topologies humaines. Nous démontrons l'efficacité de notre approche sur différents ensembles de données et montrons que nos reconstructions surpassent les méthodes de pointe existantes. De plus, nos expériences de réanimation montrent que nous pouvons générer des animations humaines 3D à grande échelle à partir d'une simple image RGB (et/ou d'un balayage LiDAR optionnel) en entrée.
Traduction d'images guidée par la saillance
Lai Jiang, Xiaofei Wang, Mai Xu, Léonid. Signal
La génération d'images est une tâche fondamentale en vision. Nous proposons une nouvelle approche de cette tâche, dont le but est de produire une variante minimalement altérée d'une image existante, où le regard est attiré uniquement par une ou plusieurs régions spécifiques, sélectionnées par l'utilisateur. Prenons l'exemple d'une photo d'une personne à l'extérieur. Outre cette personne, l'image peut contenir d'autres éléments en arrière-plan ou au premier plan (voitures, motos, etc.) susceptibles de distraire l'attention du spectateur. L'approche proposée, à partir d'une entrée spécifiant qu'une personne doit être le sujet principal, apprendrait différentes stratégies de manipulation d'image (suppression, floutage, décoloration, etc.) afin de rendre les zones parasites moins distinctes.
SceneGen : Apprendre à générer des scènes de trafic réalistes
Shuhan Tan, Kelvin Wong, Shenlong Wang, Sivabalan Manivasagam, Mengye Ren, Raquel Urtasun
Nous abordons le problème de la génération automatique de scènes de trafic réalistes. Les méthodes existantes insèrent généralement des acteurs dans la scène selon un ensemble d'heuristiques manuelles et sont limitées dans leur capacité à modéliser la complexité et la diversité réelles du trafic, induisant ainsi un écart de contenu entre les scènes synthétisées et les scènes réelles. De ce fait, les simulateurs existants manquent de la fidélité nécessaire à l'entraînement et au test des véhicules autonomes. Pour pallier cette limite, nous présentons SceneGen, un modèle autorégressif neuronal de scènes de trafic qui s'affranchit des règles et des heuristiques. Plus précisément, connaissant l'état du véhicule et une carte haute définition de la zone environnante, SceneGen insère des acteurs de différentes classes dans la scène et synthétise leurs tailles, orientations et vitesses. Nous démontrons, sur deux ensembles de données à grande échelle, la capacité de SceneGen à modéliser fidèlement les distributions des scènes de trafic réelles. De plus, nous montrons que SceneGen, couplé à une simulation de capteurs, peut être utilisé pour entraîner des modèles de perception généralisables au monde réel.
Prédiction auto-supervisée et simultanée en plusieurs étapes de la dynamique routière et de la carte des coûts
Elmira Amirloo , Mohsen Rohani , Ershad Banijamali , Jun Luo , Pascal Poupart
Bien que l'apprentissage supervisé soit largement utilisé pour les modules de perception dans les solutions de conduite autonome classiques, son passage à l'échelle est limité par l'immense quantité de données à étiqueter. Inversement, si les architectures de bout en bout ne nécessitent pas de données étiquetées et sont potentiellement plus évolutives, elles sacrifient l'interprétabilité. Nous présentons une nouvelle architecture, entraînée de manière entièrement auto-supervisée, pour la prédiction simultanée et en plusieurs étapes de la carte des coûts spatio-temporels et de la dynamique routière.
Segmentation sémantique avec des modèles génératifs : apprentissage semi-supervisé et forte généralisation hors domaine
Daiqing Li, Junlin Yang, Karsten Kreis, Antonio Torralba, Sanja Fidler
L'entraînement de réseaux profonds avec des données étiquetées limitées, tout en assurant une forte capacité de généralisation, est essentiel pour réduire l'effort d'annotation humaine. C'est l'objectif de l'apprentissage semi-supervisé, qui exploite des données non étiquetées plus largement disponibles pour compléter de petits ensembles de données étiquetées. Dans cet article, nous proposons un nouveau cadre pour les tâches discriminatives au niveau du pixel, utilisant un modèle génératif d'images et d'étiquettes. Concrètement, nous entraînons un réseau antagoniste génératif (GAN) qui capture la distribution conjointe image-étiquette et est entraîné efficacement à l'aide d'un grand ensemble d'images non étiquetées, complété par seulement quelques images étiquetées. Notre architecture repose sur StyleGAN2, enrichie d'une branche de synthèse d'étiquettes. L'étiquetage des images lors de la phase de test est réalisé en intégrant d'abord l'image cible dans l'espace latent conjoint via un réseau d'encodage et une optimisation lors du test, puis en générant l'étiquette à partir de l'intégration inférée. Nous évaluons notre approche dans deux domaines importants : la segmentation d'images médicales et la segmentation faciale par parties. Nous démontrons d'excellentes performances dans le domaine par rapport à plusieurs méthodes de référence, et sommes les premiers à présenter une généralisation hors domaine extrême, comme le passage de la tomodensitométrie à l'imagerie par résonance magnétique en imagerie médicale, et de photographies de visages réels à des peintures, des sculptures, et même des dessins animés et des visages d'animaux. Page du projet .
SSTVOS : Transformateurs épars spatio-temporels pour la segmentation d'objets vidéo
Brendan Duke, Abdalla Ahmed, Christian Wolf, Parham Aarabi, Graham W. Taylor
Comment un algorithme d'apprentissage machine peut-il suivre des objets dans l'espace et le temps ? SSTVOS est capable de retracer le mouvement de chaque objet d'une scène, en avant et en arrière, en prédisant sa silhouette, appelée « masque ». Ces masques sont utiles pour des applications telles que la rotoscopie (effets visuels dans les longs métrages), le résumé vidéo et la compression vidéo HD. SSTVOS analyse chaque pixel d'une vidéo et recherche des pixels similaires dans le reste de la vidéo grâce à un processus appelé « attention ». L'attention génère un ensemble de scores indiquant la similarité de chaque pixel avec les autres pixels de la vidéo. SSTVOS regroupe ensuite ces scores pour prédire le mouvement de chaque objet au fil du temps. Ce travail est le fruit d'une collaboration internationale entre des chercheurs canadiens (Institut Vector, Université de Guelph) et français (Institut national des sciences appliquées de Lyon), et le partenaire industriel ModiFace (filiale de L'Oréal).
Vers des meilleures pratiques pour l'annotation efficace des ensembles de données de classification d'images à grande échelle
Yuan-Hong Liao, Amlan Kar, Sanja Fidler
Les données sont le moteur de la vision par ordinateur moderne, ce qui implique la collecte de vastes ensembles de données. Cette collecte est coûteuse et garantir la qualité des étiquettes représente un défi majeur. Dans cet article, nous étudions des stratégies d'annotation efficaces pour la collecte d'étiquettes de classification multiclasses pour une vaste collection d'images. Bien que des méthodes exploitant des modèles appris pour l'étiquetage existent, une approche étonnamment répandue consiste à interroger des humains pour un nombre fixe d'étiquettes par donnée et à les agréger, ce qui s'avère onéreux. En s'appuyant sur des travaux antérieurs concernant la modélisation probabiliste conjointe en ligne des annotations humaines et des croyances générées par machine, nous proposons des modifications et des bonnes pratiques visant à minimiser l'effort d'étiquetage humain. Plus précisément, nous tirons parti des avancées en matière d'apprentissage autosupervisé, considérons l'annotation comme un problème d'apprentissage semi-supervisé, identifions et atténuons les pièges et éliminons plusieurs choix de conception clés afin de proposer des recommandations efficaces pour l'étiquetage. Notre analyse est réalisée dans le cadre d'une simulation plus réaliste impliquant l'interrogation d'annotateurs humains, ce qui révèle des problèmes liés à l'évaluation par les méthodes de simulation de travail existantes. Des simulations réalisées sur un sous-ensemble de 125 000 images d'ImageNet100 montrent qu'il est possible d'obtenir une annotation avec une précision de 80 % (top-1) avec 0,35 annotation par image en moyenne, soit une amélioration de 2,7x par rapport aux travaux antérieurs et de 6,7x par rapport à l'annotation manuelle. Page du projet : cette URL
Vers un modèle de classification robuste par génération de données contrefactuelles et invariantes
Chun-Hao Chang , George Alexandru Adam , Anna Goldenberg
Qu'est-ce qui permet d'identifier une image comme représentant un chat ? Qu'est-ce qui pousse un médecin à soupçonner la présence d'une tumeur sur une tomodensitométrie ? Ces questions relèvent intrinsèquement de la causalité, or les modèles d'apprentissage automatique (AA) classiques s'appuient sur des associations plutôt que sur la causalité. En conséquence, on observe des problèmes d'équité, de robustesse et de discrimination dans de nombreux domaines de l'apprentissage automatique. Dans cet article, nous avons intégré des connaissances causales humaines aux modèles d'AA et démontré que ces derniers conservent une grande précision malgré les changements d'environnement. Ceci est crucial pour permettre le transfert des modèles entre différents environnements, par exemple entre différents services hospitaliers dans le cadre d'applications médicales.
TrafficSim : Apprendre à simuler des comportements multi-agents réalistes
Simon Suo, Sebastian Regalado, Sergio Casas, Raquel Urtasun
La simulation offre un potentiel considérable pour l'évaluation à grande échelle des systèmes de conduite autonome, permettant un développement rapide et un déploiement sécurisé. Afin de combler l'écart entre la simulation et le monde réel, il est nécessaire de simuler des comportements multi-agents réalistes. Les environnements de simulation existants s'appuient sur des modèles heuristiques qui encodent directement les règles de circulation, ce qui les empêche de prendre en compte les manœuvres irrégulières (par exemple, les accrochages, les demi-tours) et les interactions complexes (par exemple, les cédées, les insertions). À l'inverse, nous exploitons des données réelles pour apprendre directement des démonstrations humaines et ainsi capturer un ensemble plus diversifié de comportements d'acteurs. À cette fin, nous proposons TrafficSim, un modèle de comportement multi-agents pour la simulation réaliste du trafic. Plus précisément, nous utilisons un modèle à variables latentes implicites pour paramétrer une politique commune des acteurs, générant des plans socialement cohérents pour tous les acteurs présents dans la scène. Pour apprendre une politique robuste adaptée à la simulation à long terme, nous déroulons la politique lors de l'entraînement et l'optimisons au fil du temps grâce à une simulation entièrement différentiable. Notre objectif d'apprentissage intègre à la fois les démonstrations humaines et le gros bon sens. Nous démontrons que TrafficSim génère des scénarios de trafic beaucoup plus réalistes et diversifiés qu'un ensemble varié de scénarios de référence. Notamment, on peut exploiter les trajectoires générées par TrafficSim comme un moyen efficace d'augmenter les données pour entraîner un meilleur planificateur de mouvement.
UniT : Transfert de connaissances unifié pour la détection et la segmentation d’objets en mode any-shot
Siddhesh Khandelwal , Raghav Goyal , Leonid Sigal
L'identification d'objets dans une image nécessite souvent l'accès à de nombreuses données étiquetées, dont l'obtention est longue et coûteuse. Il est donc souhaitable de pouvoir détecter et segmenter des objets même avec peu ou pas d'images étiquetées. Nous avons développé une approche intuitive qui transfère les connaissances acquises sur des objets bien étiquetés à des objets peu étiquetés. Cette approche repose sur l'exploitation des similarités linguistiques et visuelles entre ces types d'objets. Par exemple, si l'objet « oiseau » est peu étiqueté, il est détecté grâce à la capacité d'un réseau de neurones à identifier les objets « chat » (linguistiquement similaires ; animaux) et « avion » (visuellement similaires), tous deux abondamment étiquetés.
