Par Arber Kacollja
L'atelier sur la théorie de l'apprentissage machine récemment organisé par l'Institut Vector a réuni des chercheurs spécialisés dans ce domaine afin de présenter leurs travaux les plus récents, d'aborder des sujets d'actualité et de partager leurs réflexions sur les fondements théoriques de l'apprentissage automatique. Cet événement, organisé par Shai Ben-David, membre du corps professoral de Vector, et Ruth Urner, chercheuse associée, a eu lieu à l'Université de Waterloo en novembre.
Les théoriciens de l'apprentissage machine jouent un rôle crucial pour relever les défis et poser de nouvelles questions fondamentales dans ce domaine. En explorant en profondeur les fondements de l'apprentissage machine, ils contribuent au développement de nouveaux concepts susceptibles de transformer les méthodologies de résolution de problèmes. Éventuellement, leurs contributions peuvent engendrer un changement de paradigme dans la manière d'aborder les problématiques complexes de l'IA.
Les participants se sont réunis à l'Université de Waterloo en novembre pour l'atelier de Vector sur la théorie de l'apprentissage automatique.
Durant cette journée d'atelier, les professeurs, les professeurs associés, les postdoctorants et les chercheurs de l'Institut Vector ont assisté à des exposés de chercheurs parmi les plus éminents en apprentissage automatique. Ces exposés ont abordé un large éventail de sujets liés aux fondements mathématiques de l'apprentissage automatique. Les participants ont également pris part à des discussions de groupe interactives ainsi qu'à une séance d'affichage où des doctorants ont présenté leurs travaux de recherche.
Shai Ben-David, membre du corps professoral de Vector, souhaite la bienvenue aux participants à l'atelier.
Ben-David a abordé différentes notions de caractérisation et de dimension de l'apprenabilité. Le théorème fondamental de l'apprentissage statistique stipule que la dimension de Vapnik-Chervonenkis (VC) caractérise l'apprenabilité des classes pour la tâche de prédiction d'étiquettes binaires. Peut-on proposer des caractérisations similaires pour d'autres tâches d'apprentissage, telles que la prédiction multiclasse, l'apprentissage non supervisé de distributions de probabilité, etc. ? Ben-David, titulaire de la chaire d'intelligence artificielle du CIFAR Canada et professeur à l'École d'informatique David Cheriton de l'Université de Waterloo, a également présenté des résultats récents de son laboratoire, démontrant l'inexistence de telles dimensions pour l'apprentissage statistique en général et pour l'apprentissage de classes de distributions de probabilité.
Au-delà des paradigmes classiques des statistiques et de l'informatique
Murat Erdogdu , membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, et les chercheurs de son laboratoire étudient l'effet de l'optimisation par gradient sur l'apprentissage des caractéristiques dans les réseaux neuronaux à deux couches. Dans sa présentation, M. Erdogdu, également professeur adjoint au Département d'informatique et au Département de sciences statistiques de la Faculté des arts et des sciences de l'Université de Toronto, a considéré un contexte où le nombre d'échantillons est du même ordre de grandeur que la dimension d'entrée. Il a démontré que, lorsque les données d'entrée sont isotropes, la descente de gradient améliore systématiquement le modèle initial de caractéristiques aléatoires en termes de risque de prédiction, pour une certaine classe de cibles. S'appuyant sur l'observation pratique que les données contiennent souvent une structure supplémentaire (la covariance d'entrée présente un alignement non trivial avec la cible), les travaux de l'équipe de recherche prouvent que la classe des cibles apprenables peut être considérablement étendue, démontrant une nette distinction entre les méthodes à noyau et les réseaux neuronaux à deux couches dans ce régime.
Les réseaux de neurones sont devenus si vastes que leur comportement peut être bien approché par des « réseaux de neurones infinis », obtenus en considérant la limite lorsque le nombre de neurones tend vers l'infini. Cependant, il existe de nombreuses limites infinies possibles. Par exemple, une limite bien connue est celle du « noyau tangent neuronal » (NTK), où la profondeur est fixe et la largeur des couches tend vers l'infini.
Mihai Nica, professeure adjointe et membre associé de la faculté Vector à l'Université de Guelph, a introduit une autre limite infinie : la limite de profondeur et de largeur infinies, où la profondeur et la largeur sont simultanément mises à l'échelle à l'infini. Cela mène à des distributions exotiques non gaussiennes, très différentes du comportement de type NTK, mais qui correspondent plus précisément à la sortie des réseaux de neurones finis.
Au cours de la dernière décennie, de nombreuses prédictions importantes ont été faites concernant les spectres des matrices hessiennes empiriques et d'information lors de l'entraînement (par descente de gradient stochastique) de réseaux surparamétrés. Aukosh Jagannath, professeur adjoint à l'Université de Waterloo, a présenté des travaux récents menés en collaboration avec Gérard Ben Arous, Reza Ghessari et Jiaoyang Huang, qui établissent rigoureusement certaines de ces prédictions. La présentation portait sur leurs résultats pour un analogue de grande dimension du problème XOR, démontrant que la trajectoire de la descente de gradient stochastique (SGD) s'aligne rapidement avec les sous-espaces propres aberrants de faible rang émergents des matrices hessiennes et de gradient. Cet alignement se produit couche par couche, le sous-espace propre aberrant de la dernière couche évoluant au cours de l'entraînement et présentant un déficit de rang lorsque la SGD converge vers des classificateurs sous-optimaux.
Vers un système d'apprentissage automatique robuste et fiable
Sivan Sabato , membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, également professeur agrégé à l'Université McMaster, a discuté du potentiel et des défis liés à l'utilisation d'explications comme données d'entrée pour un algorithme d'apprentissage. L'objectif est que les systèmes d'apprentissage machine puissent apprendre beaucoup plus rapidement de l'expérience s'ils reçoivent aussi des explications d'un enseignant compétent, comme le font les humains.
Par exemple, pour apprendre à diagnostiquer automatiquement des patients, on utilise généralement l'historique des patients et de leurs diagnostics. Or, ce processus serait beaucoup plus efficace si le système d'apprentissage pouvait aussi interroger les médecins sur certains diagnostics. De même, les logiciels et les sites Web seraient mieux personnalisés s'ils permettaient aux utilisateurs d'exprimer leurs préférences.
L'intégration d'explications dans le processus d'apprentissage nécessite de comprendre comment elles peuvent être utilisées et comment elles doivent être interprétées par l'algorithme. Peut-être que l'aspect le plus complexe est de faire en sorte que le système d'apprentissage tienne compte du fait que les explications peuvent être utiles, mais aussi parfois erronées. Un système d'apprentissage efficace doit utiliser les explications avec discernement, afin de tirer profit des bonnes explications sans être trop sensible aux mauvaises. Cette présentation a proposé des méthodes précisément pour y parvenir.
Ruth Urner, membre associée du corps professoral de Vector, présente sa conférence intitulée « Modèles d'adversaires ».
Urner , également professeure agrégée à l'Université York, a axé sa présentation sur la modélisation adéquate des exigences de robustesse face aux adversaires. Elle a examiné comment différentes hypothèses de modélisation peuvent mener à des conclusions radicalement différentes. Urner a soutenu qu'il faut minimiser les hypothèses concernant le mode d'action d'un adversaire et a présenté des résultats récents sur divers assouplissements de l'apprentissage dans le cadre standard de la robustesse face aux adversaires (ou robustesse stratégique).
Dans cette optique, l'apprentissage statistique repose traditionnellement sur la génération de données d'entraînement et de test par un même processus. Cependant, il arrive que les instances réagissent (de manière stratégique ou malveillante) à un prédicteur publié visant un résultat spécifique. De telles manipulations des données lors des tests peuvent entraîner des défaillances inattendues du modèle appris. De nombreuses études, tant pratiques que théoriques, visent à atténuer les risques de sécurité qui en résultent en développant des méthodes robustes aux perturbations malveillantes.
Estimation statistique sous contraintes de confidentialité différentielles
Gautam Kamath, membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, a présenté les travaux de recherche de son équipe sur l'estimation statistique dans le respect de la vie privée. L'estimation statistique permet d'effectuer des tâches fondamentales comme la compréhension des tendances sous-jacentes à un ensemble de données ou le calcul de certaines statistiques agrégées comme la moyenne. La question cruciale est de savoir comment procéder sans divulguer d'informations sensibles sur les points de données individuels de l'ensemble. M. Kamath, également professeur adjoint à l'École d'informatique David R. Cheriton de l'Université de Waterloo, a abordé de nombreux problèmes nouveaux qui se posent dans ce contexte et les solutions possibles, notamment les compromis liés aux biais statistiques, aux données à queues épaisses et aux distributions a priori sur l'ensemble de données.
Par ailleurs, Hassan Ashtiani, membre associé de la faculté Vector et professeur adjoint à l'Université McMaster, a présenté une conférence sur l'apprentissage personnel des modèles de mélange gaussien (GMM). Les GMM constituent une vaste classe de distributions utilisées pour modéliser divers phénomènes scientifiques, notamment dans les travaux pionniers de Karl Pearson dans les années 1890, portant sur l'étude des caractéristiques des crabes de rivage. Au cours des dernières années, la conception d'algorithmes optimaux en termes d'échantillonnage et efficaces sur le plan du calcul pour l'estimation des GMM a suscité un intérêt considérable.
Cependant, concevoir des méthodes différentiellement privées pour l'apprentissage des GMM s'est avéré complexe. Fait intéressant, certaines de ces difficultés révèlent des lacunes fondamentales dans notre compréhension de l'estimation statistique privée. Dans sa présentation, Ashtiani a exposé certains de ces défis et des approches génériques pour les relever. Un thème récurrent consiste à utiliser des estimateurs non privés comme une boîte noire, à « stabiliser » leurs résultats, puis à agréger ces résultats de manière différentiellement privée. Parmi les résultats obtenus figurent la première réduction efficace, du point de vue du calcul, de l'estimation de paramètres privés à l'estimation de paramètres non privés pour les GMM, ainsi que le premier résultat d'apprentissage pour les GMM dans le cadre de l'estimation de la densité.
Parmi les autres faits saillants de l'événement, citons la discussion de Yaoliang Yu, membre du corps professoral de Vector, sur l'empoisonnement des données, la compression des modèles et l'estimation des valeurs (liée à Shapley), ainsi que la présentation de Daniel Roy, membre du corps professoral de Vector et codirecteur de recherche, sur les applications des infinitésimaux aux problèmes ouverts de la théorie statistique de la décision.
Les travaux des théoriciens de l'apprentissage vont au-delà de la simple résolution de problèmes ; ils catalysent une compréhension plus profonde des phénomènes émergents. En explorant les principes fondamentaux qui sous-tendent l'apprentissage machine, ces théoriciens apportent des éclairages qui non seulement améliorent l'efficacité des systèmes existants, mais ouvrent également la voie au développement d'approches novatrices. Essentiellement, leurs contributions constituent le socle de l'évolution constante de l'apprentissage machine et de l'intelligence artificielle, façonnant ainsi le paysage de ces domaines dynamiques.
Vous voulez en savoir plus sur les initiatives de recherche actuelles de l'Institut Vector en théorie de l'apprentissage machine ? Cliquez ici pour accéder à la liste complète des conférences.
