Photo : Will Grathwohl (à l'extrême gauche) avec ses collègues de l'Institut Vecteur, Jesse Bettencourt, Yulia Rubanova et Ricky Chen.

Par Ian Gormely

L'intelligence artificielle est une technologie transformatrice. Pourtant, tout comme l'internet avant les navigateurs web, elle reste inaccessible à de nombreuses personnes. Le véritable potentiel du web n'a été réalisé que lorsque les barrières à l'entrée ont été abaissées au point que "toute personne disposant d'un ordinateur portable avait la possibilité de créer le prochain Facebook", explique Will Grathwohl, chercheur chez Vector et étudiant de troisième cycle à l'université de Toronto. "Je pense que nous devrions mettre l'IA entre les mains des gens. Les personnes qui ont les meilleures idées sur la manière d'appliquer quelque chose ne sont généralement pas celles qui ont créé cette chose. Mais pour l'instant, ce n'est pas du tout le cas."

M. Grathwohl faisait partie d'un solide contingent de personnes affiliées à Vector qui ont participé à la Conférence internationale sur les représentations d'apprentissage (ICLR) qui s'est tenue cette année à la Nouvelle-Orléans. Au total, 12 affiches de membres de la faculté Vecteur ont été acceptées à la conférence, et Grathwohl a fait une présentation orale de l'article "FFJORD : Free-Form Continuous Dynamics for Scalable Reversible Generative Models" qu'il a co-écrit avec Ricky T. Q. Chen, Jesse Bettencourt, Ilya Sutskever, et David Duvenaud, membre de la faculté Vecteur.

FFJORD, acronyme de Free-form Jacobian of Reversible Dynamics, est une étape modeste mais importante dans la quête de Grathwhol pour abaisser les barrières à l'entrée de l'IA. Au cours des cinq dernières années, des progrès considérables ont été réalisés dans ce domaine, en particulier en ce qui concerne l'utilisation de l'apprentissage automatique. Mais ces avancées nécessitent toujours de grandes quantités de données étiquetées à la main - par exemple des photos de chats identifiées comme telles - et de la puissance de calcul, ce qui n'est ni l'un ni l'autre bon marché. "Pour moi, la méthode la plus intéressante pour réduire cette quantité de données consiste à trouver des moyens d'utiliser les énormes quantités de données non étiquetées qui existent", explique le jeune homme de 27 ans. "L'une des méthodes les plus répandues pour y parvenir consiste à utiliser des modèles génératifs.

L'article de Grathwohl porte spécifiquement sur la normalisation des flux, une classe de modèles génératifs qui sont devenus populaires dans la communauté de l'apprentissage automatique en raison de leur capacité à générer des échantillons et à calculer la vraisemblance. Pour les construire, il faut cependant imposer de nombreuses restrictions aux réseaux neuronaux qui peuvent être utilisés pour résoudre un problème. FFJORD applique l'idée du temps continu comme solution de contournement pour construire de meilleurs flux de normalisation, moins restrictifs.

Il s'appuie sur une idée avancée pour la première fois par le conseiller de Grathwohl, David Duvenaud, membre de la faculté des sciences vectorielles, dans l'article Neural Ordinary Differential Equations, qui a valu à Duvenaud et à ses coauteurs Ricky Tian Qi Chen, Yulia Rubanova et Jesse Bettencourt le prix du meilleur article lors de la conférence NeuIPS de l'année dernière. "L'article de David présentait l'idée d'un réseau neuronal paramétrant un processus dynamique à temps continu. Cela a ouvert la voie à un tout nouveau paradigme de réflexion sur les choses qui impliquent l'apprentissage automatique dans les réseaux neuronaux", explique M. Grathwohl. L'idée de Duvenaud de passer du temps discret (données échantillonnées à intervalles réguliers) au temps continu (données échantillonnées à n'importe quel moment du flux) permet de créer des modèles génératifs normalisés basés sur le flux d'une manière beaucoup plus simple et expressive.

Après avoir terminé ses études en 2014, Grathwohl a passé plusieurs années dans l'industrie technologique, d'abord en tant qu'entrepreneur, en développant un logiciel de modération de contenu, et plus tard en utilisant l'apprentissage automatique pour l'indexation des produits dans une startup. Il a fini par se sentir frustré par le manque de créativité. C'est pourtant de ce milieu qu'est née l'inspiration qui l'a poussé à reprendre ses études. "Mon travail consistait à mettre en place une infrastructure de collecte de données et à trouver le moyen de le faire de la manière la moins coûteuse possible", explique-t-il. "Nous devions construire plus de classificateurs pour servir plus d'industries et plus de clients. Chacun d'entre eux représentait un coût constant en temps et en argent. Je me suis rendu compte que nous devions améliorer le fonctionnement de ces outils en utilisant moins de données.

FFJORD ne résout pas ce problème, mais c'est un pas dans la bonne direction. "De meilleurs modèles capables de résoudre ce problème de données moins étiquetées seront un élément clé", dit-il, notant qu'à terme, la normalisation des flux pourrait également aider à modéliser les environnements, un aspect important de la recherche génétique et de la robotique. "Toute amélioration des modèles génératifs non supervisés nous aidera dans le cadre de l'apprentissage semi-supervisé.