Superviseur du stage : Kelsey Allen, membre de la faculté Vector

Actuellement :
MS, Computer Science à l'Université de British Colombia

Décrivez votre rôle en tant que stagiaire de recherche chez Vector.

Durant mon séjour chez Vector, j'ai collaboré avec ma directrice de thèse, Kelsey Allen, pour explorer des méthodes permettant d'obtenir des simulations physiques 3D précises basées sur des particules à partir de données d'interaction réelles. Notre objectif était de combler le fossé entre simulation et réalité inhérent aux simulateurs de physique conventionnels, notamment pour la modélisation d'interactions d'objets déformables aux propriétés matérielles inconnues.

Sur quels projets spécifiques avez-vous travaillé pendant votre stage ?

Le projet sur lequel j'ai travaillé consistait à apprendre à des robots à « ressentir » l'interaction des outils avec les matériaux souples, par exemple la transformation d'un rouleau à pâtisserie en pâte. J'ai utilisé l'apprentissage automatique pour prédire la réaction des objets déformables, même lorsqu'ils interagissent avec des formes d'outils que le modèle n'avait jamais vues auparavant. Le plus intéressant, c'est que ce système peut être directement appliqué à notre vie personnelle : imaginez un robot qui prépare des biscuits en forme de votre nom. Passionnée de pâtisserie, combiner mon travail technique avec mes loisirs culinaires était un rêve !

Comment décririez-vous votre expérience globale en tant que stagiaire Vector ?

Ce qui a rendu mon stage chez Vector vraiment spécial, c'est la flexibilité dans le choix des projets. J'ai adoré avoir la liberté d'explorer des problématiques qui me passionnaient vraiment, ce qui a rendu ce travail à la fois enrichissant sur le plan personnel et professionnel.

Pour les participants au programme de mentorat IMPACT : à quelle entreprise avez-vous été associé et quel était votre rôle ? Comment le mentorat a-t-il enrichi votre expérience de stage ?

J'ai été mis en relation avec Srikar Kovvali de KPMG. Ce mentorat m'a appris comment l'expertise en apprentissage automatique peut combler le fossé entre la recherche technique et les défis opérationnels concrets. En tant que consultant technique, vous êtes amené à aborder des problématiques concrètes rencontrées par les entreprises tout en constatant l'impact de votre travail sur les décisions et les résultats commerciaux.

Superviseur du stage : Rahul G Krishnan, membre de la faculté Vector

Actuellement :
Doctorant à l'Université de Cambridge

Quelles sont les recherches en cours ?

J'étais stagiaire en recherche sous la direction du Dr Rahul Krishnan, et je travaillais sur le désapprentissage automatique. Plus précisément, j'ai travaillé sur un projet que nous avons appelé Reload. Il s'agit d'une nouvelle méthode de désapprentissage automatique que Rahul et moi avons développée cet été.

Qu'avez-vous réalisé grâce au programme de mentorat IMPACT ?

J'ai été jumelé avec Russell Dixon de Roche et, honnêtement, parler avec lui dans le cadre du programme de mentorat a été très agréable. C'est une façon agréable d'obtenir des conseils amicaux et des conseils de la part de quelqu'un qui a suivi une voie professionnelle spécifique qui m'intéresse. Il m'a vraiment aidé à développer ma capacité à me présenter et à construire une marque, ainsi qu'à comprendre comment naviguer dans le monde universitaire et ce que l'on ressent lorsqu'on passe de l'université à l'industrie et comment cette interaction fonctionne.

Superviseur du stage : Rahul G Krishnan, membre de la faculté Vector

Actuellement :
Doctorant de l'Institut Max Plank

Quelles sont vos recherches actuelles ?
Mes recherches portent principalement sur l'apprentissage par représentation. L'apprentissage par représentation, c'est-à-dire l'utilisation de réseaux neuronaux pour extraire les relations de cause à effet des données, avec la promesse de rendre ces méthodes plus robustes et plus fiables dans les applications du monde réel.

Quel a été votre moment le plus mémorable en tant que stagiaire ?
Ce que j'ai le plus apprécié pendant mon stage, c'est le soutien et l'inspiration intellectuelle du groupe dans lequel je me trouvais. En fait, ils m'ont juste donné un coup de pouce. J'avais tendance à dire à tout le monde, en plaisantant, que le seul problème que j'ai ici, c'est que j'ai beaucoup trop d'idées, et c'est un bon problème. C'est donc l'endroit idéal pour moi.

Superviseur du stage : Alireza Makhzani et Roger Grosse, membres de la faculté Vector

Actuellement :
Doctorant à l'Université de Californie à Irvine

Comment votre expérience de stage et votre appartenance à la communauté Vector ont-elles influencé vos prochaines étapes ?

Mon projet de surveillance et de pilotage de grands modèles de langage pour la sécurité de l'IA m'a permis d'acquérir une expérience de première main dans ce domaine, ainsi qu'une bonne compréhension de la myriade de défis et d'opportunités qui s'y rattachent. Mon stage m'a permis de découvrir toute une série de nouveaux sujets et de nouvelles idées qui ont élargi ma réflexion sur la recherche, et je me sens prête à continuer à les explorer dans mes futurs travaux.

Quels sont les points forts de votre expérience chez Vector ?

Se faire de nouveaux amis, discuter d'idées de recherche intéressantes, spéculer sur l'avenir de l'IA, explorer Toronto et ses environs (y compris les majestueuses chutes du Niagara et le parc provincial Algonquin), le tout avec les merveilleuses personnes de Vector. Et bien sûr, assister à la conférence de Geoffrey Hinton au Convocation Hall de l'Université de Toronto !

Superviseur du stage : Yalda Mohsenzadeh, membre de la faculté Vector
Actuellement : BSc[H] en CS et Biologie à l'Université de Windsor
Actuellement en échange international à l'ICU au Japon

Quel est le projet qui vous a le plus enthousiasmé pendant votre stage ?

Tout au long de mon stage, j'ai travaillé sur des travaux exploratoires fascinants sur la mémorabilité des images faciales en utilisant l'apprentissage profond. Ce projet a parfaitement combiné mes passions pour la science informatique et la biologie, ce qui m'a permis de me mettre au défi à un haut niveau.

Comment votre expérience de stage et votre appartenance à la communauté Vector ont-elles influencé vos prochaines étapes ?

Faire partie de la communauté Vector et participer à mon stage a été extrêmement enrichissant et bénéfique pour la suite de ma carrière. J'ai pu évoluer en tant que développeur et en tant que personne, ainsi que nouer des contacts avec des personnes intelligentes de tout le pays.

Superviseur du stage : Graham Taylor, membre de la faculté Vector
Actuellement : étudiant en B.Sc. à l'UofT

Sur quoi avez-vous travaillé et qu'avez-vous appris pendant votre stage chez Vector ?

Au cours de mon stage de recherche, j'ai eu l'occasion de me plonger dans un projet incroyablement intéressant qui couvrait l'accélération matérielle, l'apprentissage automatique probabiliste et la bio-informatique, en se concentrant sur des algorithmes évolutifs pour le codage à barres de l'ADN. L'un des aspects les plus passionnants de ce stage a été l'écriture de noyaux CUDA personnalisés pour l'accélération GPU, une expérience entièrement nouvelle pour moi, qui m'a permis de découvrir les subtilités du calcul parallèle et de l'optimisation des algorithmes d'apprentissage automatique pour les GPU. Bien que la courbe d'apprentissage initiale et les défis aient été parfois décourageants, les récompenses en termes de performances de pointe ont été immensément satisfaisantes.

Comment avez-vous découvert que vous étiez intéressé par l'IA ?

Mon intérêt pour l'intelligence artificielle n'a pas été un saut immédiat, mais plutôt une transition graduelle qui découle de ma formation initiale en biologie. Lorsque j'ai entamé ma première année d'université, j'étais fasciné par la complexité des systèmes biologiques et je me suis mis au défi d'implémenter un réseau neuronal en partant de zéro. Bien que mes premières expériences aient été rudimentaires, j'ai été séduit par la perspective de modèles capables d'apprendre à partir de données et par leur potentiel dans des domaines tels que la médecine ou la génomique. Cela a éveillé ma curiosité et m'a motivé à approfondir le domaine de l'apprentissage automatique.

Superviseur du stage : Juan Felipe Carrasquilla, membre de la faculté Vector
Actuellement : Ingénieur logiciel quantique, Zapata Computing
Précédemment : Étudiant en maîtrise de sciences, Physique, Université de Milan

Sur quoi avez-vous travaillé et qu'avez-vous appris pendant votre stage chez Vector ?

Mon projet de recherche était axé sur l'étude des systèmes de spin quantique en tirant parti de la puissance de calcul des réseaux neuronaux. Dans la théorie de la matière condensée, les systèmes de spins quantiques sont des modèles simplifiés conçus pour mieux comprendre le mécanisme microscopique du magnétisme, qui implique intrinsèquement des phénomènes quantiques à plusieurs corps. Malgré leur simplicité, ces modèles sont extrêmement difficiles à étudier théoriquement, c'est pourquoi les approches informatiques ont été prédominantes au cours des dernières décennies. Parmi celles-ci, une option puissante est la méthode de Monte Carlo variationnelle. Au cours de mon stage, j'ai cherché à savoir si et comment l'introduction d'un réseau neuronal comme composant de cet algorithme pouvait améliorer ses performances et fournir une meilleure estimation des principales propriétés de l'état fondamental du système de spin. Plus précisément, ma recherche s'est concentrée sur l'utilisation d'une machine de Boltzmann restreinte : la composante IA était extrêmement intéressante à apprendre et à manipuler !

Quels sont les points forts de votre expérience chez Vector ?

Le stage chez Vector et la collaboration avec mon superviseur Juan Carrasquilla ont été extrêmement instructifs et précieux. Il m'a permis d'approfondir mes connaissances en physique et, plus important encore, d'entrer dans le monde fascinant de l'apprentissage automatique. Le fait d'être en contact avec d'autres chercheurs de l'espace Vector m'a permis de découvrir d'innombrables techniques et cas d'utilisation de l'intelligence artificielle, et d'entrer en contact avec des recherches de pointe et des personnes brillantes !

Au cours de mon stage chez Vector, j'ai également eu l'occasion d'entrer en contact avec l'environnement industriel, ce que je n'avais pas eu la chance d'expérimenter auparavant. Cela a joué un rôle fondamental dans le changement de mon parcours professionnel, qui est passé de l'université à l'industrie.

Superviseur du stage : Chris J. Maddison, membre du corps enseignant de Vector
Actuellement : Doctorat, Université de Stanford

Sur quoi avez-vous travaillé pendant votre stage chez Vector ?

Notre projet principal portait sur la compression des données pour l'apprentissage automatique en aval plutôt que sur la perception humaine. En effet, les compresseurs standard (par exemple JPEG) sont optimisés de manière à ce que les reconstructions ressemblent à celles des humains. De nos jours, la plupart des données ne sont pas vues par l'homme mais plutôt traitées par des algorithmes spécifiques, et le stockage des données dans des formats lisibles par l'homme peut s'avérer prohibitif. Sur le plan théorique, nous avons formalisé la compression pour l'apprentissage automatique en aval en caractérisant le meilleur débit binaire réalisable pour garantir des performances élevées pour toutes les tâches souhaitées. Sur le plan pratique, nous avons montré comment entraîner ces compresseurs de manière non supervisée pour obtenir un gain de compression de plus de 1000 fois sur des images standard par rapport à JPEG. À long terme, nous espérons que ce type de compression permettra aux individus de traiter des données à des échelles qui ne sont actuellement possibles que dans de grandes institutions, et à notre société de tirer parti de sources de données volumineuses d'une manière plus durable.

Lire l'article Lossy Compression for Lossless Prediction qui a été accepté à NeurIPS 2021.

Quels sont les points forts de votre expérience chez Vector ?

Vers la fin du stage, j'ai été invitée à faire un long exposé sur nos travaux de compression lors d'un séminaire Vector's Jeudi talk. Ce fut pour moi une excellente occasion d'apprendre à présenter mon travail, de faire connaître nos résultats et d'interagir avec d'autres chercheurs qui m'ont fait part de leurs commentaires intéressants. J'ai également eu d'autres occasions précieuses de présenter mon travail dans les laboratoires de Chris Maddisonet de Dan Roy.

On m'a également montré comment maximiser l'impact de mes recherches et collaborer plus efficacement. Après mon stage, j'ai continué à collaborer avec le laboratoire de Chriset j'espère vraiment continuer à le faire dans un avenir proche. Chris a été un véritable mentor qui a continué à me donner des conseils utiles pour ma carrière et ma vie, même après avoir quitté Vector.