Photo : Will Grathwohl (à l'extrême gauche) avec ses collègues chercheurs du Vector Institute, Jesse Bettencourt, Yulia Rubanova et Ricky Chen.
Par Ian Gormely
L'intelligence artificielle est une technologie révolutionnaire. Cependant, à l'instar d'Internet avant l'avènement des navigateurs web, elle demeure inaccessible à beaucoup. Le véritable potentiel du Web ne s'est révélé que lorsque les barrières à l'entrée ont été abaissées au point que « n'importe qui possédant un ordinateur portable pouvait potentiellement créer le prochain Facebook », explique Will Grathwohl, chercheur chez Vector et doctorant à l'Université de Toronto. « Je pense qu'on devrait rendre l'IA accessible à tous. Ceux qui ont les meilleures idées d'application ne sont généralement pas ceux qui ont créé la technologie. Mais pour l'instant, ce n'est pas du tout le cas. »
Grathwohl faisait partie d'une importante délégation de chercheurs affiliés à Vector qui ont participé cette année à la Conférence internationale sur les représentations d'apprentissage (ICLR) à La Nouvelle-Orléans. Au total, 12 affiches de professeurs de Vector ont été acceptées à la conférence. Grathwohl y a présenté oralement l'article intitulé « FFJORD : Dynamique continue de forme libre pour les modèles génératifs réversibles et évolutifs », coécrit avec Ricky TQ Chen, Jesse Bettencourt, Ilya Sutskever et David Duvenaud, également professeur chez Vector.
FFJORD, acronyme de Free-form Jacobian of Reversible Dynamics (Jacobien de forme libre pour la dynamique réversible), représente une petite mais importante étape dans la quête de Grathwhol pour faciliter l'accès à l'IA. Ces cinq dernières années ont été marquées par des progrès considérables dans ce domaine, notamment grâce à l'apprentissage automatique. Cependant, ces avancées nécessitent encore d'énormes quantités de données étiquetées manuellement – par exemple, des photos de chats identifiés comme tels – et une puissance de calcul importante, deux ressources coûteuses. « Pour moi, la méthode la plus intéressante pour réduire ce volume de données consiste à exploiter les vastes quantités de données non étiquetées disponibles », explique le jeune homme de 27 ans. « L'une des approches qui a gagné en popularité consiste à étudier les modèles génératifs. »
L'article de Grathwohl porte spécifiquement sur les flux normalisants, une classe de modèles génératifs devenus populaires dans la communauté de l'apprentissage automatique pour leur capacité à générer des échantillons et à calculer la vraisemblance. Leur construction impose cependant de nombreuses restrictions aux réseaux de neurones utilisables pour résoudre un problème. FFJORD applique le concept de temps continu comme solution de contournement pour construire des flux normalisants plus performants et moins restrictifs.
Cette approche s'appuie sur une idée initialement proposée par David Duvenaud, directeur de thèse de Grathwohl et membre du corps professoral de Vector, dans l'article « Neural Ordinary Differential Equations » , qui a valu à Duvenaud et à ses coauteurs, Ricky Tian Qi Chen, Yulia Rubanova et Jesse Bettencourt, le prix du meilleur article lors de la conférence NeuIPS de l'année dernière. « L'article de David présentait l'idée de paramétrer un processus dynamique à temps continu à l'aide d'un réseau de neurones. Cela a ouvert un tout nouveau paradigme pour aborder l'apprentissage automatique dans les réseaux neuronaux », explique Grathwohl. En tirant parti de l'idée de Duvenaud de passer du temps discret (données échantillonnées à intervalles réguliers) au temps continu (données échantillonnées à tout moment du flux), il est possible de créer des modèles génératifs normalisés basés sur le flux de manière beaucoup plus simple et expressive.
Après avoir obtenu sa licence en 2014, Grathwohl a passé plusieurs années à explorer différents secteurs de l'industrie technologique, d'abord comme entrepreneur, développant des logiciels de modération de contenu, puis en utilisant l'apprentissage machine pour l'indexation de produits au sein d'une start-up. Finalement, il s'est tanné du manque de créativité. C'est pourtant de ce milieu qu'est née l'idée de reprendre ses études. « Mon travail consistait à mettre en place une infrastructure de collecte de données et à trouver comment la réaliser au moindre coût », explique-t-il. « Nous devions développer davantage de classificateurs pour répondre aux besoins de plus de secteurs et de clients. Chacun d'eux représentait un coût constant en temps et en argent. J'ai compris qu'on devait optimiser ces systèmes avec moins de données. »
FFJORD ne règle pas ce problème, mais constitue un pas dans la bonne direction. « Des modèles plus performants, capables de gérer le manque de données étiquetées, seront essentiels », explique-t-il, en précisant qu'à terme, la normalisation des flux pourrait également faciliter la modélisation des environnements, un aspect important de la recherche génétique et de la robotique. « Tout progrès dans les modèles génératifs non supervisés nous sera utile dans le cadre de l'apprentissage semi-supervisé. »
