Par Ian Gormely
La capacité de construire et d'entraîner des réseaux neuronaux reste hors de portée pour de nombreuses personnes et organisations en raison de la grande quantité de données, de temps et de puissance de calcul nécessaires à l'entraînement de nouveaux modèles d'IA.
Un nouveau moteur de recherche permet maintenant aux développeurs d'exploiter plus facilement la puissance des réseaux neuronaux. Neural Data Server (NDS) est un moteur de recherche de données d'IA conçu par Sanja Fidler, membre du corps professoral de Vector, David Acuna, doctorant chez Vector, et Xi Yan, étudiant de premier cycle à l'Université de Toronto. Il utilise l'apprentissage machine pour trouver les données les plus pertinentes nécessaires au pré-entraînement, une étape cruciale dans la création de modèles d'apprentissage profond performants. Cela permet d'économiser du temps précieux, d'économiser de la puissance de calcul et, en fin de compte, de l'argent. L'équipe présentera NDS et l'article qui l'accompagne, « Neural Data Server : un moteur de recherche à grande échelle pour les données d'apprentissage par transfert », lors d'une communication orale à la conférence CVPR ce mois-ci.
Comme son nom l'indique, le préentraînement consiste à entraîner ou à conditionner un réseau neuronal profond avant qu'il ne commence une tâche spécifique. Il peut améliorer considérablement les performances d'un tel réseau, surtout lorsque les données étiquetées sont rares. « Sans pré-entraînement, la différence de performance est flagrante », explique Fidler, qui considère les données comme le nerf de la guerre de l'apprentissage automatique. « Il faut beaucoup de données pour entraîner des modèles vraiment performants. Or, les plus grands ensembles de données contiennent des dizaines de millions de points de données, et leur traitement peut prendre des semaines et nécessite d'importantes ressources de calcul. « Dans le milieu universitaire, en particulier, nos ressources sont limitées », ajoute-t-elle. « On ne peut tout simplement pas se permettre un pré-entraînement sur 10 ou 20 millions d'images, et ce, pour de multiples expériences. »
NDS permet de réduire le temps et la puissance de calcul nécessaires au préentraînement en éliminant les données non pertinentes. Si un utilisateur souhaite développer une application liée à la mode, au lieu d'entraîner un réseau neuronal sur un vaste ensemble d'images de véhicules, NDS supprimera toutes les images ne contenant pas de gros plans de personnes et de leurs vêtements. On obtient ainsi des ensembles de données plus petits, mais plus efficaces. Il est important de noter que NDS ne stocke pas les données. À l'instar de tout autre moteur de recherche, il indexe les ensembles de données d'apprentissage machine accessibles au public, les rendant ainsi consultables.
Contrairement à la recherche de jeux de données de Google, NDS recommande ensuite les données les plus pertinentes pour le modèle spécifique de l'utilisateur. Pour effectuer une recherche, les utilisateurs téléchargent et exécutent un ensemble d'« experts », de petits modèles d'apprentissage machine, sur leur jeu de données. Les résultats — des statistiques, et non les données elles-mêmes — sont renvoyés à NDS, qui identifie le sous-ensemble de données le mieux adapté au modèle. Tout le processus ne prend que quelques minutes.
Gratuit et respectueux de la vie privée des utilisateurs, NDS permet aux chercheurs à l'extérieur des établissements d'enseignement supérieur et aux grandes entreprises de créer leurs propres réseaux neuronaux. Fidler souligne que les entreprises en démarrage – entreprises possédant les compétences et les idées novatrices nécessaires à la création de nouveaux modèles, mais dépourvues d'infrastructures informatiques – sont particulièrement bien placées pour tirer profit de NDS.
« On voit que la communauté en a besoin », dit Acuna. « La formation préalable est essentielle pour obtenir des résultats de pointe, et nous voulons la rendre simple et accessible à tous. »
« La qualité des systèmes d’apprentissage machine dépend entièrement de la qualité de leurs données », explique Xi. « Nous espérons que notre NDS permettra d’exploiter plus efficacement l’immense quantité de données disponibles aujourd’hui. »
Également présent à CVPR 2020
Des chercheurs affiliés à Vector ont présenté plusieurs articles à la conférence CVPR cette année.
Réglage automatique de la lumière structurée par descente de gradient stochastique optique
Wenzheng Chen, Parsa Mirdehghan, Sanja Fidler (vecteur), Kiriakos N. Kutulakos (vecteur)
La découverte d'un schéma de codage et de décodage optimal est essentielle à la reconstruction 3D par détection de profondeur active. Alors que la plupart des travaux antérieurs utilisent des règles heuristiques pour concevoir le codage sans tenir compte des caractéristiques réelles du dispositif, notre méthode, au contraire, intègre ces caractéristiques en optimisant conjointement les paramètres du réseau neuronal et les paramètres matériels spécifiques. Notre méthode, que nous appelons SGD optique, permet au système d'imagerie de profondeur active choisi de déterminer automatiquement l'éclairage et les algorithmes de décodage optimaux. Il suffit de placer son dispositif préféré devant un support texturé, de sélectionner la mesure d'évaluation souhaitée, de laisser notre algorithme faire le travail, et d'obtenir ainsi le code et le décodeur les mieux adaptés au dispositif.
Front2Back : Reconstruction de forme 3D à partir d'une seule vue via la prédiction avant-arrière
Yuan Yao, Nico Schertler, Enrique Rosales, Helge Rhodin, Leonid Sigal (vecteur), Alla Sheffer
La reconstruction de formes 3D à partir d'images 2D est un problème classique de vision par ordinateur aux nombreuses applications pratiques, allant de la navigation et la manipulation d'objets au raisonnement et à la compréhension spatiale. Malgré des progrès significatifs dans ce domaine, elle demeure un défi en raison de l'ambiguïté inhérente à la reconstruction de surfaces occultées ou partiellement observées. Dans ce travail, nous exploitons un ensemble de contraintes géométriques guidées par la perception pour améliorer ces reconstructions. Nous observons principalement que la plupart des objets du quotidien (y compris les objets fabriqués par l'homme) sont symétriques. Nous sommes capables d'estimer ces symétries et de les utiliser pour prédire les vues occultées (arrière) des objets à partir de la face observable, grâce à une architecture de réseau neuronal. Les vues de face observée et arrière prédites exposent presque entièrement la surface extérieure de l'objet. Ainsi, en fusionnant les informations issues de ces vues, on peut reconstruire une surface complète et précise. Nos expériences démontrent que notre approche surpasse les méthodes de reconstruction de formes 3D de pointe à partir de données 2D et 2,5D en termes de fidélité géométrique et de préservation des détails.
Classification visuelle améliorée à partir de quelques exemples
Peyman Bateni, Rghav Goyal, Vaden Masrani, Frank Wood, Leonid Sigal (vecteur)
L'apprentissage à partir d'une quantité limitée de données est une tâche fondamentale en vision par ordinateur, promettant de réduire la nécessité d'avoir des ensembles de données exhaustivement étiquetés. La plupart des approches actuelles se sont concentrées sur des méthodes de plus en plus complexes d'extraction de caractéristiques d'images ou sur des stratégies de structuration des données pour un apprentissage efficace. Dans ce travail, nous proposons une approche plus simple : l'apprentissage d'une métrique de distance prenant en compte la distribution, ce qui permet d'améliorer significativement les performances d'un modèle de pointe existant (CNAPS). Nous montrons qu'il est possible de structurer le modèle de manière à rendre possible l'apprentissage de cette mesure avec un nombre réduit d'échantillons. L'approche résultante, qu'on appelle Simple CNAPS, comporte près de 10 % de paramètres en moins, tout en étant 6 % plus performante que le modèle original.
Apprendre à évaluer les modèles de perception à l'aide de mesures centrées sur le planificateur
Jonah Philion, Amlan Kar, Sanja Fidler (NVIDIA)
Les mesures d'évaluation sont cruciales pour la conduite autonome, car elles déterminent les algorithmes finalement déployés dans les véhicules. Le problème des mesures d'évaluation actuelles pour la perception en conduite autonome réside dans leur conception manuelle de longues listes d'heuristiques, espérant que le résultat final soit approximativement corrélé aux performances de conduite. Dans cet article, nous proposons une mesure plus rigoureuse pour la détection d'objets 3D, spécifiquement adaptée à la conduite autonome. L'idée centrale de notre mesure est d'isoler la tâche de détection d'objets et de mesurer l'impact des détections produites sur la conduite. Sans avoir été conçue manuellement, notre métrique pénalise de nombreuses erreurs que d'autres mesures pénalisent par définition.
Apprendre à simuler des environnements dynamiques avec GameGAN
Seung Wook Kim, Yuhao Zhou, Jonah Philion, Antonio Torralba, Sanja Fidler (NVIDIA)
GameGAN est un modèle d'IA basé sur un réseau neuronal qui apprend à imiter les moteurs de jeu. Il est entraîné en ingérant des scénarios et les actions des utilisateurs dans un jeu. Une fois entraîné, il peut afficher l'écran suivant en fonction des touches pressées, permettant ainsi de jouer sans moteur de jeu, mais uniquement grâce à l'IA ! GameGAN possède également un module de mémoire qui conserve en mémoire les éléments générés et peut dissocier les arrière-plans des objets en mouvement.
