26 mars 2021

Par Ian Gormely

Le symposium annuel de recherche de l’Institut Vector a eu lieu en février, un événement de deux jours mettant en valeur les dernières œuvres de pointe issues de la communauté de recherche sur les vecteurs.

« Au cours de la dernière année, les chercheurs de Vector ont équilibré les questions de recherche fondamentale à long terme avec l’agilité et la capacité de poursuivre des objectifs d’opportunité sur des enjeux socio-économiques pour bénéficier à la vie des Canadiens et de la communauté mondiale », explique Richard Zemel, directeur de la recherche de Vector.

L’événement comprenait des remarques du PDG de Vector, Garth Gibson, du directeur de la recherche sur Vector et président IA du CIFAR au Canada, Richard Zemel, ainsi que des présentations des membres du corps professoral de Vector et des présidents IA du CIFAR, Alan Aspuru-Guzik, Sheila McIlraith, Anna Goldenberg, Animesh Garg et Nicholas Papernot.

Graham Taylor, membre du corps professoral de Vector et président canadien de l’IA au CIFAR, a noté plusieurs tendances dans divers sous-domaines de l’apprentissage automatique et de la formation des données. Il dit qu’une grande partie de travaux récents ont été réalisés sur le phénomène de la « double descente » dans les modèles de réseaux de neurones profonds, ce qui a entraîné une repensée des théories classiques de la généralisation. « Il y a eu une avalanche d’articles ces dernières années qui ne sont pas consacrés à augmenter la précision des benchmarks avec de nouvelles architectures sophistiquées, mais à essayer de comprendre ce qui se passe dans nos architectures populaires existantes. »

Il cite l’affiche présentée par Anna Golubeva, affiliée aux études supérieures de Vector, lors du symposium, comme un bon exemple de ce type de recherche. « Nous savons qu’avec les réseaux de neurones profonds, la performance s’améliore en augmentant le nombre de paramètres », la partie du modèle qui est apprise à partir des données d’entraînement. « L’affiche d’Anna cherche à répondre à la question : l’augmentation des performances est-elle due au plus grand nombre de paramètres, ou est-ce à la plus grande largeur? »

Concernant son travail, Golubeva affirme : « En faisant de la théorie IA/ML, les progrès ne sont pas aussi rapides et les résultats progressifs ne sont pas aussi impressionnants que dans certains domaines de l’apprentissage automatique appliqué », dit-elle. « C’est un long parcours, mais les progrès théoriques en IA sont d’une importance cruciale pour tous, car cela dépend en théorie si nous pouvons rendre l’IA fiable, fiable et équitable. »

Taylor a également été impressionné par le laboratoire de chimie autonome lancé par Aspuru-Guzik. « Elle peut bénéficier des avancées en robotique, en prise de décision séquentielle et en modèles génératifs, qui sont tous des domaines de recherche actifs chez Vector. »

Ce chevauchement de disciplines dans le domaine de l’apprentissage automatique est devenu un thème commun, quelque chose que Papernot a observé dans son propre domaine de recherche – la vie privée et la sécurité – et particulièrement dans le domaine de l’IA en santé. « Déploiement de l’apprentissage automatique sur de nombreuses applications critiques comme la santé exigera de fortes garanties de confidentialité », dit-il. « Cela a mené à une avalanche de travaux sur des algorithmes capables d’offrir de telles garanties, et en particulier dans un contexte décentralisé. » 

Par exemple, Papernot et ses coauteurs (dont les chercheurs de Vector Christopher A. Choquette-Choo, Natalie Dullerud et Adam Dziedzic) travaillent sur l’apprentissage collaboratif confidentiel et privé (CaPC), un protocole d’apprentissage automatique collaboratif avec de fortes garanties de confidentialité et de confidentialité. « Cela signifie que les hôpitaux qui ont entraîné des modèles localement peuvent maintenant collaborer et faire des prédictions conjointement sans se révéler les entrées sur lesquelles ils prédisent, leurs modèles ou leurs données d’entraînement. »

Montrant encore une fois l’interconnexion des recherches présentées au symposium, Taylor a apprécié le travail CaPC de Papernot pour une raison différente. « Il existe un lien fort entre la vie privée et la généralisation », dit-il. « Il faut souvent échanger la robustesse contre la performance. Mais de nouveaux cadres de protection de la vie privée comme le CaPC peuvent en fait améliorer la généralisation. C’est vraiment excitant! »

Même si le symposium s’est tenu virtuellement, c’était une occasion rare pour la communauté, séparée par la pandémie depuis un an, de se rassembler en ligne. « La possibilité de venir parler aux étudiants de leurs recherches et de voir toutes les recherches incroyables à venir a été un moment fort pour moi », explique Zemel. « Je suis incroyablement fier de ce que tout le monde a accompli au cours de la dernière année, surtout compte tenu des circonstances. » 

Au cours de l’événement, la communauté de recherche de Vector a entendu des conférences de membres du corps professoral sur certains des enjeux les plus importants du moment et de l’avenir. Ils ont écouté des séances d’affiches de membres de la communauté de recherche de Vector et ont passé du temps à réseauter avec leurs pairs, collègues et mentors pendant les pauses. 

En regardant vers l’avenir, Zemel est enthousiaste à l’idée de retravailler dans l’environnement plus spontané offert par les bureaux de Vector, ainsi que des progrès réalisés grâce à la recherche continue en apprentissage automatique. Il voit de grandes avancées dans la compréhension des modèles d’apprentissage profond et la définition des représentations qu’ils forment à l’horizon. « J’attends aussi de grandes avancées dans des applications importantes, comme la science des matériaux, la robotique et la santé », dit-il, ajoutant : « Les chercheurs en vecteurs montreront la voie, bien sûr. »