26 mars 2021

Par Ian Gormely

Le symposium annuel de recherche de l'Institut Vecteur s'est tenu en février. Il s'agit d'un événement de deux jours qui présente les derniers travaux de pointe de la communauté des chercheurs de l'Institut Vecteur.

"Au cours de l'année écoulée, les chercheurs de Vector ont trouvé un équilibre entre les questions de recherche fondamentale à long terme et l'agilité et la capacité de poursuivre des cibles d'opportunité sur des questions socio-économiques afin d'améliorer la vie des Canadiens et de la communauté mondiale", déclare le directeur de la recherche de Vector, Richard Zemel. Richard Zemel.

L'événement a été marqué par les remarques du PDG de Vector Garth Gibson et de Richard Zemel, directeur de recherche chez Vector et titulaire de la chaire CIFAR AI au Canada, ainsi que des présentations des membres de la faculté Vector et des titulaires de la chaire CIFAR AI, à savoir Alan Aspuru-Guzik, Sheila McIlraith, Anna Goldenberg, Animesh Garget Nicholas Papernot.

Membre de la faculté Vector et titulaire de la chaire CIFAR AI au Canada Graham Taylor a relevé un certain nombre de tendances dans divers sous-domaines de la ML et de la DL. Il explique qu'un grand nombre de travaux récents ont été réalisés autour du phénomène de "double descente" dans les modèles de réseaux neuronaux profonds, ce qui a amené à repenser les théories classiques de généralisation. "Au cours des deux dernières années, une multitude d'articles ont été publiés, non pas pour améliorer la précision des benchmarks avec de nouvelles architectures sophistiquées, mais pour essayer de comprendre ce qui se passe à l'intérieur de nos architectures populaires existantes.

Il pointe du doigt l'affiche Anna Golubeva, affiliée à Vector Postgraduate, a présenté au symposium un bon exemple de ce type de recherche. "Nous savons qu'avec les réseaux neuronaux profonds, les performances s'améliorent en augmentant le nombre de paramètres, c'est-à-dire la partie du modèle qui est apprise à partir des données d'apprentissage. "L'affiche d'Anna cherche à répondre à la question suivante : l'augmentation des performances est-elle due à l'augmentation du nombre de paramètres ou à l'augmentation de la largeur ?

En ce qui concerne son travailGolubeva déclare : "En ce qui concerne la théorie de l'IA/ML, les progrès ne sont pas aussi rapides et les résultats progressifs ne sont pas aussi impressionnants que dans certains domaines appliqués de la ML", dit-elle. "C'est un travail de longue haleine, mais les progrès théoriques dans le domaine de l'IA sont d'une importance cruciale pour tout le monde, car c'est en fonction des progrès théoriques que nous pourrons rendre l'IA digne de confiance, fiable et équitable.

Taylor a également été impressionné par le laboratoire de chimie autonome créé par Aspuru-Guzik. "Il peut bénéficier des progrès de la robotique, de la prise de décision séquentielle et des modèles génératifs, qui sont tous des domaines de recherche actifs chez Vector.

Ce chevauchement des disciplines dans le domaine de l'apprentissage automatique est apparu comme un thème commun, que M. Papernot a observé dans son propre domaine de recherche - la protection de la vie privée et la sécurité - et en particulier dans l'espace de l'IA dans le domaine de la santé. "Le déploiement de l'apprentissage automatique dans de nombreuses applications critiques telles que les soins de santé nécessitera de solides garanties en matière de protection de la vie privée", explique-t-il. "Cela a donné lieu à une multitude de travaux sur les algorithmes qui peuvent fournir de telles garanties, en particulier dans un cadre décentralisé. 

Par exemple, M. Papernot et ses coauteurs (dont les chercheurs de Vector Christopher A. Choquette-Choo, Natalie Dullerud et Adam Dziedzic) travaillent sur les thèmes suivants Apprentissage collaboratif confidentiel et privé (CaPC)un protocole d'apprentissage automatique collaboratif offrant de solides garanties en matière de respect de la vie privée et de confidentialité. "Cela signifie que les hôpitaux qui ont formé des modèles localement peuvent maintenant collaborer et faire des prédictions conjointement sans révéler les uns aux autres les entrées sur lesquelles ils prédisent, leurs modèles ou leurs données de formation."

Une fois de plus, montrant l'interconnexion des recherches exposées au symposium, Taylor a apprécié le travail de Papernot sur le CaPC pour une raison différente. "Il existe un lien étroit entre la confidentialité et la généralisation", explique-t-il. "Il est souvent nécessaire d'échanger la robustesse contre la performance. Mais les nouveaux cadres préservant la vie privée, comme le CaPC, peuvent en fait améliorer la généralisation. C'est très intéressant !

Même si le symposium s'est déroulé virtuellement, c'était une occasion rare pour la communauté, séparée par la pandémie depuis un an, de se réunir en ligne. "La possibilité de s'arrêter et de parler aux étudiants de leurs recherches et de voir toutes les recherches étonnantes à venir a été un moment fort pour moi", a déclaré M. Zemel. "Je suis incroyablement fière de ce que chacun a accompli au cours de l'année écoulée, surtout compte tenu des circonstances. 

Au cours de cet événement, la communauté des chercheurs de Vector a écouté les interventions des membres de la faculté sur certaines des questions les plus importantes du moment et de l'avenir. Ils ont écouté les présentations de posters des membres de la communauté de recherche de Vector et ont passé du temps en réseau avec des pairs, des collègues et des mentors pendant les pauses. 

Pour ce qui est de l'avenir, M. Zemel est enthousiasmé par la perspective de travailler à nouveau dans l'environnement plus spontané qu'offrent les bureaux de Vector, ainsi que par les progrès qui seront réalisés grâce à la recherche continue dans le domaine de l'apprentissage automatique. Il voit se profiler à l'horizon de grandes percées dans la compréhension des modèles d'apprentissage profond et dans le façonnage des représentations qu'ils forment. "Je m'attends également à de grandes avancées dans des applications importantes, telles que la science des matériaux, la robotique et les soins de santé", déclare-t-il, ajoutant que "les chercheurs de Vector montreront la voie, bien entendu".