Superviseure de stage : Kelsey Allen, membre du corps professoral de Vector

À jour :
Maîtrise en informatique à l’Université de la Colombie-Britannique

Décrivez votre rôle de stagiaire en recherche chez Vector.

Pendant mon passage chez Vector, j’ai collaboré avec ma superviseure, Kelsey Allen, pour explorer des méthodes permettant d’apprendre des simulations physiques 3D précises basées sur des particules à partir de données d’interactions réelles. Notre objectif était de combler le fossé simulation-réel inhérent aux simulateurs de physique conventionnels, surtout lors de la modélisation des interactions d’objets déformables avec des propriétés matérielles inconnues.

Sur quels projets spécifiques avez-vous travaillé pendant votre stage?

Le projet sur lequel j’ai travaillé consistait à apprendre aux robots à « sentir » comment les outils interagissent avec les matériaux mous, par exemple, comment un rouleau à pâte change la pâte. J’ai utilisé l’apprentissage automatique pour prédire comment les objets déformables réagissent, même lorsqu’ils interagissent avec des formes d’outils que le modèle n’avait jamais vues auparavant. Le plus cool, c’est que ce système peut s’appliquer directement à nos vies personnelles, imaginez un robot qui fait des biscuits qui cuit des biscuits en forme de votre nom. En tant que personne qui adore la pâtisserie, pouvoir fusionner mon travail technique avec mes passe-temps de cuisine était honnêtement un rêve!

Comment décririez-vous votre expérience globale en tant que stagiaire chez Vector?

Ce qui a rendu mon stage chez Vector vraiment spécial, c’est la flexibilité dans le choix des projets. J’aimais avoir la liberté d’explorer des problèmes qui m’enthousiassaient vraiment, ce qui rendait le travail à la fois personnellement épanouissant et professionnellement gratifiant.

Pour ceux qui participent au programme de mentorat IMPACT : Avec quelle entreprise avez-vous été jumelée, et quel était votre rôle? Comment le mentorat a-t-il enrichi votre expérience de stage?

J’ai été jumelé avec Srikar Kovvali de KPMG. Ce mentorat m’a appris comment l’expertise en apprentissage automatique peut combler le fossé entre la recherche technique et les défis d’affaires réels. En tant que consultant technique, vous pouvez aborder des problèmes concrets auxquels les entreprises font face tout en observant directement comment votre travail influence les décisions et les résultats d’affaires.

Superviseur de stage : Rahul G Krishnan, membre du corps professoral de Vector

À jour :
Doctorant à l’Université de Cambridge

Qu’est-ce que tu recherches en ce moment?

J’étais stagiaire en recherche sous la direction du Dr Rahul Krishnan, travaillant sur l’apprentissage automatique enG. Donc, plus précisément, je travaille sur un projet qu’on appelle Reload. C’est une nouvelle méthode de désapprentissage automatique que Rahul et moi avons développée cet été.

Qu’avez-vous accompli grâce au programme de mentorat IMPACT?

J’ai été jumelé avec Russell Dixon de Roche et, honnêtement, parler avec lui à travers le programme de mentorat a été un plaisir. Ça m’a semblé être une bonne façon d’obtenir des conseils amicaux ainsi que des conseils de quelqu’un qui a suivi un parcours professionnel précis qui m’intéresse. Et il m’a vraiment aidée à développer ma capacité à me présenter, à bâtir une marque, et aussi à comprendre comment naviguer dans le monde universitaire et aussi ce que ça fait de passer du milieu universitaire à l’industrie et comment cette interaction fonctionne.

Superviseur de stage : Rahul G Krishnan, membre du corps professoral de Vector

À jour :
Doctorant de l’Institut Max Plank

Qu’est-ce que tu recherches en ce moment?
Donc, mes principaux intérêts de recherche portent sur l’apprentissage de la représentation SR, mais en gros, cela signifie qu’en essayant d’utiliser des réseaux de neurones pour extraire des relations causa-effet à partir de données, avec la promesse de rendre ces méthodes plus robustes et fiables dans les applications réelles.

Quel a été votre moment le plus mémorable en tant que stagiaire?
Ce que j’ai le plus aimé pendant mon temps, c’est à quel point le groupe m’a soutenu et inspiré intellectuellement. Et en gros, ils m’ont juste donné un coup de pouce. Alors j’avais tendance à plaisanter avec tout le monde en disant que le seul problème que j’ai ici, c’est que j’ai beaucoup trop d’idées, et c’est un bon problème à avoir. C’est vraiment l’endroit parfait où être.

Superviseurs de stage : Alireza Makhzani et Roger Grosse, membres du corps professoral de Vector

À jour :
Doctorant à UC Irvine

Comment votre expérience de stage et le fait de faire partie de la communauté Vector ont-ils influencé vos prochaines étapes?

Mon projet de surveillance et de pilotage de grands modèles de langage pour la sécurité de l’IA m’a permis d’acquérir une expérience directe dans ce domaine, ainsi qu’une bonne compréhension de la multitude de défis et d’opportunités. Mon expérience de stage m’a exposé à une variété de nouveaux sujets et idées qui ont élargi ma réflexion en recherche, et je me sens prêt à continuer à les explorer dans mes futurs travaux.

Quels sont certains des moments forts de votre expérience chez Vector?

Se faire de nouveaux amis, discuter d’idées de recherche intéressantes, spéculer sur l’avenir de l’IA, explorer Toronto et au-delà (y compris les majestueuses chutes du Niagara et le parc provincial Algonquin), tout cela avec les merveilleux habitants de Vector. Et bien sûr, assister à la conférence de Geoffrey Hinton au Convocation Hall de l’Université de Toronto!

Superviseure de stage : Yalda Mohsenzadeh, membre du corps professoral de Vector
Actuel : BSc[H] en informatique et biologie à l’Université de Windsor
Actuellement en échange international à l’USI au Japon

Quel projet vous a le plus passionné pendant votre stage?

Tout au long de mon stage, j’ai travaillé sur des travaux exploratoires fascinants sur la mémorabilité des images faciales grâce à l’apprentissage profond. Ce projet a parfaitement combiné mes passions pour l’informatique et la biologie, me permettant de me challenger à un grand degré.

Comment votre expérience de stage et le fait de faire partie de la communauté Vector ont-ils influencé vos prochaines étapes?

Faire partie de la communauté Vector et participer à mon stage a été extrêmement gratifiant et bénéfique pour mes prochaines étapes de carrière. J’ai pu évoluer comme développeur et personne, ainsi qu’en réseautant avec des gens brillants de partout au pays.

Superviseur de stage : Graham Taylor, membre du corps professoral de Vector
Actuel : B.Sc étudiant à l’UofT

Sur quoi avez-vous travaillé et qu’avez-vous appris pendant votre stage chez Vector?

Pendant mon stage de recherche, j’ai eu l’occasion de plonger en profondeur dans un projet incroyablement captivant qui couvrait l’accélération matérielle, l’apprentissage automatique probabiliste et la bioinformatique, axé sur des algorithmes évolutifs pour le codage ADN. L’un des aspects les plus excitants de ce stage a été d’écrire des noyaux CUDA personnalisés pour l’accélération GPU, ce qui a été une toute nouvelle expérience pour moi, et m’a exposé aux subtilités du calcul parallèle et à l’optimisation des algorithmes d’apprentissage automatique pour les GPU. Bien que la courbe d’apprentissage initiale et les défis aient parfois été intimidants, les récompenses en termes de performance à la fine pointe de la tâche étaient extrêmement satisfaisantes.

Comment avez-vous découvert que vous vous intéressiez à l’IA?

Mon intérêt pour l’intelligence artificielle n’a pas été un bond immédiat, mais plutôt une transition graduelle qui découlait de mon parcours initial en biologie. Lorsque j’ai commencé ma première année d’université, j’étais fasciné par la complexité des systèmes biologiques, et je me suis lancé le défi de mettre en place un réseau de neurones entièrement à partir de zéro. Bien que mes premières expériences aient été rudimentaires, j’ai été captivé par la perspective de modèles capables d’apprendre des données et de leur potentiel dans des domaines comme la médecine ou la génomique. Cela a éveillé ma curiosité et m’a motivé à approfondir le domaine de l’apprentissage automatique.

Superviseur de stage : Juan Felipe Carrasquilla, membre du corps professoral de Vector
Actuel : Ingénieur logiciel quantique, Zapata Computing
Précédent : Étudiant en maîtrise, physique, Université de Milan

Sur quoi avez-vous travaillé et qu’avez-vous appris pendant votre stage chez Vector?

Mon projet de recherche portait sur l’étude des systèmes de spin quantique en tirant parti de la puissance de calcul des réseaux de neurones. En théorie de la matière condensée, les systèmes quantiques de spin sont des modèles simplifiés conçus afin de mieux comprendre le mécanisme microscopique du magnétisme, qui implique intrinsèquement des phénomènes quantiques à plusieurs corps. Malgré leur simplicité, de tels modèles sont extrêmement difficiles à étudier théoriquement, si bien que les approches computationnelles ont prédominé au cours des dernières décennies. Parmi ceux-ci, une option puissante est la méthode Monte Carlo variationnelle. Pendant mon stage, j’ai étudié si et comment l’introduction d’un réseau de neurones comme composante de cet algorithme pourrait augmenter sa performance et fournir une meilleure estimation des principales propriétés de l’état fondamental du système de spin. Plus précisément, mes recherches portaient sur l’utilisation d’une machine Boltzmann restreinte : la composante IA était extrêmement intéressante à découvrir et à expérimenter! 

Quels sont certains des moments forts de votre expérience chez Vector?

Le stage chez Vector et la collaboration avec mon superviseur Juan Carrasquilla ont été extrêmement instructifs et précieux. Cela m’a donné l’occasion d’approfondir mes connaissances en physique et, plus important encore, d’entrer dans le monde fascinant de l’apprentissage automatique. Entrer en contact avec d’autres chercheurs en vecteurs dans le domaine vectoriel m’a exposé à d’innombrables techniques et cas d’utilisation de l’intelligence artificielle, et m’a permis de rencontrer des chercheurs de pointe et des personnes brillantes!

Pendant mon stage chez Vector, j’ai aussi eu l’occasion d’entrer en contact avec l’environnement de l’industrie, ce que je n’avais pas pu expérimenter auparavant. Cela a été fondamental pour changer mon parcours professionnel, passant du milieu universitaire à l’industrie.

Superviseur de stage : Chris J. Maddison, membre du corps professoral de Vector
Actuel : PhD, Université Stanford

Sur quoi avez-vous travaillé pendant votre stage chez Vector?

Notre projet principal portait sur la compression des données pour l’apprentissage automatique en aval plutôt que sur la perception humaine. En effet, les compresseurs standards (e.g. JPEG) sont optimisés de façon à ce que les reconstructions ressemblent à celles des humains. De nos jours, la plupart des données ne sont pas vues par les humains, mais plutôt traitées par des algorithmes spécifiques à chaque tâche, et stocker les données dans des formats lisibles par l’humain peut être prohibitif. Du côté théorique, nous avons formalisé la compression pour l’apprentissage automatique en aval en caractérisant le meilleur débit binaire possible afin d’assurer une haute performance sur toutes les tâches souhaitées. Sur le plan pratique, nous avons montré comment entraîner de tels compresseurs de manière non supervisée pour obtenir un gain de compression supérieur à 1000 fois sur des images standards comparé au JPEG. À long terme, nous espérons que ce type de compression permettra aux individus de traiter des données à des échelles qui ne sont actuellement possibles que dans de grandes institutions, et que notre société permettra de tirer parti des grandes sources de données de manière plus durable.

Lisez l’article Lossy Compression for Lossless Prediction qui a été accepté à NeurIPS 2021.

Quels sont certains des moments forts de votre expérience chez Vector?

Vers la fin du stage, j’ai été invité à donner une longue conférence sur notre travail sur la compression lors d’un séminaire de conférence de Vector jeudi. C’était une excellente occasion pour moi d’apprendre à présenter mon travail, à informer d’autres sur nos résultats et à interagir avec d’autres chercheurs qui avaient des commentaires intéressants. J’ai aussi eu d’autres occasions précieuses de présenter mon travail dans le laboratoire de Chris Maddison et celui de Dan Roy.

On m’a aussi montré comment maximiser l’impact de sa recherche et collaborer plus efficacement. Après mon stage, j’ai continué à collaborer avec le laboratoire de Chris et j’espère vraiment continuer à le faire dans un avenir prévisible. Chris a été un véritable mentor qui a continué à me donner des conseils utiles sur ma carrière et ma vie même après avoir quitté Vector.