26 mars 2021
Par Ian Gormely
Le symposium annuel de recherche du Vector Institute a eu lieu en février ; cet événement de deux jours a présenté les travaux de pointe les plus récents issus de la communauté de recherche Vector.
« Au cours de la dernière année, les chercheurs de Vector ont su concilier les questions de recherche fondamentale à long terme avec l’agilité et la capacité de saisir les opportunités offertes par les enjeux socioéconomiques afin d’améliorer la vie des Canadiens et de la communauté mondiale », déclare Richard Zemel, directeur de la recherche chez Vector .
L'événement comprenait des allocutions du PDG de Vector, Garth Gibson, et du directeur de la recherche de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, Richard Zemel, ainsi que des présentations des membres du corps professoral de Vector et des titulaires de la chaire d'intelligence artificielle du CIFAR, Alan Aspuru-Guzik , Sheila McIlraith , Anna Goldenberg , Animesh Garg et Nicholas Papernot .
Graham Taylor, membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada, a relevé plusieurs tendances dans divers sous-domaines de l'apprentissage machine et de l'apprentissage profond. Il explique que de nombreux travaux récents ont porté sur le phénomène de « double descente » dans les modèles de réseaux neuronaux profonds, ce qui a conduit à repenser les théories de généralisation classiques. « Ces deux dernières années ont vu une profusion d'articles qui ne visent pas à améliorer la précision sur les bancs d'essai avec de nouvelles architectures sophistiquées, mais plutôt à comprendre ce qui se passe au sein de nos architectures populaires actuelles. »
Il cite l'affiche présentée par Anna Golubeva, doctorante associée au projet Vector, lors du symposium, comme un bon exemple de ce type de recherche. « Nous savons qu'avec les réseaux de neurones profonds, les performances s'améliorent avec l'augmentation du nombre de paramètres », c'est-à-dire la partie du modèle apprise à partir des données d'entraînement. « L'affiche d'Anna cherche à répondre à la question suivante : l'amélioration des performances est-elle due au plus grand nombre de paramètres, ou à la plus grande largeur du réseau ? »
Concernant ses travaux , Golubeva déclare : « En matière de théorie de l’IA/ML, les progrès sont moins rapides et les résultats incrémentaux moins impressionnants que dans certains domaines appliqués du ML. C'est un long chemin, mais les progrès théoriques en IA sont essentiels pour tous, car c'est de ces progrès que dépend la capacité à rendre l'IA digne de confiance, fiable et équitable. »
Taylor a aussi été impressionné par le laboratoire de chimie autonome développé par Aspuru-Guzik. « Il peut tirer parti des avancées en robotique, en prise de décision séquentielle et en modélisation générative, qui sont autant de domaines de recherche actifs chez Vector. »
Ce chevauchement des disciplines au sein du domaine de l'apprentissage machine est devenu un thème récurrent, que Papernot a constaté dans son propre domaine de recherche – la protection de la vie privée et la sécurité – et plus particulièrement dans le secteur de l'IA appliquée à la santé. « Le déploiement de l'apprentissage automatique dans de nombreuses applications critiques, comme les soins de santé, exigera de solides garanties de confidentialité », explique-t-il. « Cela a engendré une multitude de travaux sur des algorithmes capables d'offrir de telles garanties, notamment dans un contexte décentralisé. »
Par exemple, Papernot et ses coauteurs (dont les chercheurs de Vector Christopher A. Choquette-Choo, Natalie Dullerud et Adam Dziedzic) travaillent sur CaPC (Confidential and Private Collaborative Learning) , un protocole d'apprentissage automatique collaboratif offrant de solides garanties de confidentialité et de respect de la vie privée. « Cela signifie que les hôpitaux qui ont entraîné des modèles localement peuvent désormais collaborer et faire des prédictions conjointement sans révéler aux autres les données d'entrée utilisées pour les prédictions, leurs modèles ou leurs données d'entraînement. »
Illustrant une fois de plus l'interconnexion des recherches présentées au symposium, Taylor a apprécié les travaux de Papernot sur CaPC pour une raison différente. « Il existe un lien étroit entre la confidentialité et la généralisation », explique-t-il. « On doit souvent faire un compromis entre robustesse et performance. Mais les nouveaux cadres préservant la confidentialité, comme CaPC, peuvent en réalité améliorer la généralisation. C'est vraiment excitant ! »
Bien que le symposium se soit tenu en ligne, il a offert une occasion rare à la communauté, séparée par la pandémie depuis un an, de se réunir virtuellement. « Pouvoir échanger avec les étudiants sur leurs recherches et découvrir tous les projets de recherche prometteurs en cours a été un moment fort pour moi », déclare Zemel. « Je suis extrêmement fière du travail accompli par chacun au cours de la dernière année, surtout compte tenu des circonstances. »
Lors de cet événement, la communauté de recherche de Vector a assisté à des présentations de professeurs sur des enjeux majeurs actuels et futurs. Elle a également pu observer les présentations par affiches des membres de la communauté et échanger avec leurs pairs, collègues et mentors pendant les pauses.
Tourné vers l'avenir, Zemel se réjouit à l'idée de retrouver l'environnement plus flexible des bureaux de Vector, ainsi que des progrès qui seront réalisés grâce à la recherche en cours dans le domaine de l'apprentissage automatique. Il entrevoit des percées majeures dans la compréhension des modèles d'apprentissage profond et la modélisation des représentations qu'ils produisent. « Je m'attends également à des progrès considérables dans des applications importantes, telles que la science des matériaux, la robotique et la santé », dit-il, ajoutant : « Les chercheurs de Vector seront bien sûr à la fine pointe de l'innovation. »
