Titre : Perspective de la physique statistique sur la compréhension de l'apprentissage avec les réseaux neuronaux

Abtract : Depuis plus de quatre décennies, la physique statistique étudie des modèles de réseaux neuronaux artificiels exactement solubles. Dans cet exposé, nous explorerons la manière dont ces modèles offrent un aperçu de l'apprentissage profond et des grands modèles de langage. Plus précisément, nous examinerons une stratégie de recherche qui échange des hypothèses de distribution sur les données contre un contrôle précis du comportement d'apprentissage dans des contextes de haute dimension. Nous discuterons de plusieurs types de transitions de phase qui émergent dans cette limite, en particulier en fonction de la quantité de données. En particulier, nous soulignerons comment les transitions de phase discontinues sont liées à la dureté algorithmique, ayant un impact sur le comportement des algorithmes d'apprentissage basés sur le gradient. Enfin, nous passerons en revue les progrès récents en matière d'apprentissage à partir de séquences et les avancées dans la compréhension de la généralisation dans les architectures modernes, y compris le rôle des couches d'attention de type point-produit dans les transformateurs.

À propos de la série de conférences distinguées de Vector
Le Vector Distinguished Lecture Series est un rassemblement formel de scientifiques des données universitaires et industriels de la région du Grand Toronto (GTA) pour discuter de sujets avancés dans le domaine de l'apprentissage automatique. Son objectif est de renforcer la communauté de l'apprentissage automatique à Toronto. Les conférences seront données par des professeurs internationaux et locaux ainsi que par des professionnels de l'industrie.

Cette série de séminaires s'adresse aux professeurs d'université et aux étudiants diplômés en apprentissage automatique dans les domaines de l'informatique, de l'ECE, des statistiques, des mathématiques, de la linguistique et de la médecine, ainsi qu'aux scientifiques des données titulaires d'un doctorat qui effectuent des recherches appliquées intéressantes dans la région du Grand Toronto. La communauté torontoise de l'apprentissage automatique sera plus forte lorsque nous nous connaîtrons et que nous connaîtrons les problèmes sur lesquels les gens travaillent.

La série de conférences de prestige de Vector est actuellement ouverte au public à distance. Les chercheurs de la communauté Vector auront la possibilité de rencontrer les conférenciers en personne. Toutes les conférences seront diffusées en ligne et publiées sur la chaîne YouTube de Vector.