Superviseur du stage : Alireza Makhzani et Roger Grosse, membres de la faculté Vector

Actuellement :
Doctorant à l'Université de Californie à Irvine

Comment votre expérience de stage et votre appartenance à la communauté Vector ont-elles influencé vos prochaines étapes ?

Mon projet de surveillance et de pilotage de grands modèles de langage pour la sécurité de l'IA m'a permis d'acquérir une expérience de première main dans ce domaine, ainsi qu'une bonne compréhension de la myriade de défis et d'opportunités qui s'y rattachent. Mon stage m'a permis de découvrir toute une série de nouveaux sujets et de nouvelles idées qui ont élargi ma réflexion sur la recherche, et je me sens prête à continuer à les explorer dans mes futurs travaux.

Quels sont les points forts de votre expérience chez Vector ?

Se faire de nouveaux amis, discuter d'idées de recherche intéressantes, spéculer sur l'avenir de l'IA, explorer Toronto et ses environs (y compris les majestueuses chutes du Niagara et le parc provincial Algonquin), le tout avec les merveilleuses personnes de Vector. Et bien sûr, assister à la conférence de Geoffrey Hinton au Convocation Hall de l'Université de Toronto !

Superviseur du stage : Yalda Mohsenzadeh, membre de la faculté Vector
Actuellement : BSc[H] en CS et Biologie à l'Université de Windsor
Actuellement en échange international à l'ICU au Japon

Quel est le projet qui vous a le plus enthousiasmé pendant votre stage ?

Tout au long de mon stage, j'ai travaillé sur des travaux exploratoires fascinants sur la mémorabilité des images faciales en utilisant l'apprentissage profond. Ce projet a parfaitement combiné mes passions pour la science informatique et la biologie, ce qui m'a permis de me mettre au défi à un haut niveau.

Comment votre expérience de stage et votre appartenance à la communauté Vector ont-elles influencé vos prochaines étapes ?

Faire partie de la communauté Vector et participer à mon stage a été extrêmement enrichissant et bénéfique pour la suite de ma carrière. J'ai pu évoluer en tant que développeur et en tant que personne, ainsi que nouer des contacts avec des personnes intelligentes de tout le pays.

Superviseur du stage : Graham Taylor, membre de la faculté Vector
Actuellement : étudiant en B.Sc. à l'UofT

Sur quoi avez-vous travaillé et qu'avez-vous appris pendant votre stage chez Vector ?

Au cours de mon stage de recherche, j'ai eu l'occasion de me plonger dans un projet incroyablement intéressant qui couvrait l'accélération matérielle, l'apprentissage automatique probabiliste et la bio-informatique, en se concentrant sur des algorithmes évolutifs pour le codage à barres de l'ADN. L'un des aspects les plus passionnants de ce stage a été l'écriture de noyaux CUDA personnalisés pour l'accélération GPU, une expérience entièrement nouvelle pour moi, qui m'a permis de découvrir les subtilités du calcul parallèle et de l'optimisation des algorithmes d'apprentissage automatique pour les GPU. Bien que la courbe d'apprentissage initiale et les défis aient parfois été décourageants, les récompenses en termes de performances de pointe ont été immensément satisfaisantes.

Comment avez-vous découvert que vous étiez intéressé par l'IA ?

Mon intérêt pour l'intelligence artificielle n'a pas été un saut immédiat, mais plutôt une transition graduelle qui découle de ma formation initiale en biologie. Lorsque j'ai entamé ma première année d'université, j'étais fasciné par la complexité des systèmes biologiques et je me suis mis au défi d'implémenter un réseau neuronal en partant de zéro. Bien que mes premières expériences aient été rudimentaires, j'ai été séduit par la perspective de modèles capables d'apprendre à partir de données et par leur potentiel dans des domaines tels que la médecine ou la génomique. Cela a éveillé ma curiosité et m'a motivé à approfondir le domaine de l'apprentissage automatique.

Superviseur du stage : Juan Felipe Carrasquilla, membre de la faculté Vector
Actuellement : Ingénieur logiciel quantique, Zapata Computing
Précédemment : Étudiant en maîtrise de sciences, Physique, Université de Milan

Sur quoi avez-vous travaillé et qu'avez-vous appris pendant votre stage chez Vector ?

Mon projet de recherche était axé sur l'étude des systèmes de spin quantique en tirant parti de la puissance de calcul des réseaux neuronaux. Dans la théorie de la matière condensée, les systèmes de spins quantiques sont des modèles simplifiés conçus pour comprendre le mécanisme microscopique du magnétisme, qui implique intrinsèquement des phénomènes quantiques à plusieurs corps. Malgré leur simplicité, ces modèles sont extrêmement difficiles à étudier théoriquement, c'est pourquoi les approches informatiques ont été prédominantes au cours des dernières décennies. Parmi celles-ci, une option puissante est la méthode de Monte Carlo variationnelle. Au cours de mon stage, j'ai cherché à savoir si et comment l'introduction d'un réseau neuronal comme composant de cet algorithme pouvait améliorer ses performances et fournir une meilleure estimation des principales propriétés de l'état fondamental du système de spin. Plus précisément, ma recherche s'est concentrée sur l'utilisation d'une machine de Boltzmann restreinte : la composante IA était extrêmement intéressante à apprendre et à manipuler !

Quels sont les points forts de votre expérience chez Vector ?

Le stage chez Vector et la collaboration avec mon superviseur Juan Carrasquilla ont été extrêmement instructifs et précieux. Il m'a permis d'approfondir mes connaissances en physique et, plus important encore, d'entrer dans le monde fascinant de l'apprentissage automatique. Le fait d'être en contact avec d'autres chercheurs de l'espace Vector m'a permis de découvrir d'innombrables techniques et cas d'utilisation de l'intelligence artificielle, et d'entrer en contact avec des recherches de pointe et des personnes brillantes !

Au cours de mon stage chez Vector, j'ai également eu l'occasion d'entrer en contact avec l'environnement industriel, ce que je n'avais pas eu la chance d'expérimenter auparavant. Cela a joué un rôle fondamental dans le changement de mon parcours professionnel, qui est passé du monde universitaire à l'industrie.

Superviseur du stage : Chris J. Maddison, membre du corps enseignant de Vector
Actuellement : Doctorat, Université de Stanford

Sur quoi avez-vous travaillé pendant votre stage chez Vector ?

Notre projet principal portait sur la compression des données pour l'apprentissage automatique en aval plutôt que sur la perception humaine. En effet, les compresseurs standard (par exemple JPEG) sont optimisés de manière à ce que les reconstructions ressemblent à celles des humains. De nos jours, la plupart des données ne sont pas vues par l'homme mais plutôt traitées par des algorithmes spécifiques, et le stockage des données dans des formats lisibles par l'homme peut s'avérer prohibitif. Sur le plan théorique, nous avons formalisé la compression pour l'apprentissage automatique en aval en caractérisant le meilleur débit binaire réalisable pour garantir des performances élevées pour toutes les tâches souhaitées. Sur le plan pratique, nous avons montré comment entraîner ces compresseurs de manière non supervisée pour obtenir un gain de compression de plus de 1000 fois sur des images standard par rapport à JPEG. À long terme, nous espérons que ce type de compression permettra aux individus de traiter des données à des échelles qui ne sont actuellement possibles que dans de grandes institutions, et à notre société de tirer parti de sources de données volumineuses d'une manière plus durable.

Lire l'article Lossy Compression for Lossless Prediction qui a été accepté à NeurIPS 2021.

Quels sont les points forts de votre expérience chez Vector ?

Vers la fin du stage, j'ai été invitée à faire un long exposé sur nos travaux de compression lors d'un séminaire Vector's Jeudi talk. Ce fut pour moi une excellente occasion d'apprendre à présenter mon travail, de faire connaître nos résultats et d'interagir avec d'autres chercheurs qui m'ont fait part de leurs commentaires intéressants. J'ai également eu d'autres occasions précieuses de présenter mon travail dans les laboratoires de Chris Maddisonet de Dan Roy.

On m'a également montré comment maximiser l'impact de mes recherches et collaborer plus efficacement. Après mon stage, j'ai continué à collaborer avec le laboratoire de Chriset j'espère vraiment continuer à le faire dans un avenir proche. Chris a été un véritable mentor qui a continué à me donner des conseils utiles pour ma carrière et ma vie, même après avoir quitté Vector.