La deuxième édition de l'atelier de Vector sur la sécurité et la confidentialité de l'apprentissage machine a réuni des membres du corps professoral, des professeurs associés, des postdoctorants et des chercheurs de la communauté de recherche élargie de Vector. Lors de cet événement, qui s'est tenu en juillet, les participants ont discuté des innovations en matière de sécurité et de confidentialité de l'apprentissage machine, des tendances émergentes, des outils et techniques pratiques, ainsi que des résultats de recherche.
Les progrès technologiques offrent d'immenses possibilités, mais aussi des risques potentiellement tout aussi importants. L'objectif principal de cet atelier était de fédérer une communauté de chercheurs à l'intersection des systèmes d'apprentissage automatique et de l'informatique fiable et sécurisée. Cependant, la rapidité des progrès dans ce domaine a non seulement suscité des appels à la création d'outils de pointe, mais aussi à garantir que le développement technologique continu soit respectueux de la vie privée, sécuritaire et responsable.
« Les problèmes de robustesse, de confidentialité, de quantification de l’incertitude, et autres, constituent des obstacles majeurs au déploiement en conditions réelles à fort enjeu », explique Gautam Kamath , membre du corps professoral de Vector et organisateur de l’atelier. « Il arrive que certaines menaces soient minimisées, voire ignorées. Or, les vulnérabilités techniques sous-jacentes se manifestent de façon récurrente, avec des conséquences toujours plus graves en cas d’échec. Il est donc essentiel que la communauté de l’Institut Vector, en collaboration avec la communauté plus large de l’apprentissage machine, travaille ensemble pour résoudre ces problèmes. »
Hassan Ashtiani, membre associé de la faculté Vector, présente une communication lors de l'atelier.
Robustesse
Un aspect crucial du déploiement de l'apprentissage machine est sa vulnérabilité potentielle aux attaques adverses. Au cours des dix dernières années, une abondante littérature théorique sur l'apprentissage a émergé, étudiant les fondements mathématiques de l'apprentissage robuste (apprentissage en présence d'un adversaire lors du déploiement). Cependant, de nombreux travaux théoriques (tant en apprentissage robuste que non robuste) fournissent des garanties qui ne sont plus valables lorsqu'on ajoute l'exigence que l'algorithme d'apprentissage soit calculable ; il existe en effet une procédure qui s'arrête systématiquement sur tous les échantillons potentiels. Pascale Gourdeau, chercheuse postdoctorale chez Vector, a présenté une communication sur la calculabilité de l'apprentissage robuste, basée sur un travail mené en collaboration avec Tosca Lechner, chercheuse postdoctorale chez Vector et Ruth Urner, membre associée du corps professoral de Vector. Elles ont démontré que l'ajout de cette exigence simple de calculabilité modifie considérablement le paysage de l'apprentissage robuste. Elles ont également introduit une mesure de complexité qui limite inférieurement, mais pas supérieurement, le nombre d'échantillons nécessaires à l'apprentissage dans ce cadre.
Tosca Lechner , nouvelle boursière postdoctorale chez Vector et doctorante à l'Université de Waterloo, a présenté ses travaux sur l'apprentissage robuste face à des capacités de manipulation incertaines. Un des défis rencontrés par les classificateurs après leur déploiement est que les nouvelles instances peuvent adapter la présentation de leurs caractéristiques, voire induire intentionnellement le classificateur en erreur en modifiant la représentation de manière imperceptible pour l'humain. Les domaines de la classification stratégique et de l'apprentissage robuste face à l'adversité traitent de ces situations. On suppose souvent que les capacités de manipulation, ou les zones de changement imperceptible, sont connues du classificateur dans les deux cas. En réalité, les connaissances préalables sur ces capacités sont plus limitées.
S'appuyant sur un travail conjoint avec Shai Ben-David , membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada , Ruth Urner, membre associée du corps professoral de Vector, et Vinayak Pathak, cette présentation a introduit la notion d'apprentissage PAC robuste face à l'adversité et stratégiquement robuste pour une classe de structures de manipulation candidates plausibles. Elle a également examiné quelles connaissances préalables sur les candidates permettaient d’assurer l’apprentissage. Dans un contexte défavorable, l’abstention ainsi qu’un accès supplémentaire à l’oracle peuvent garantir la capacité d’apprentissage. L'apprentissage des capacités de manipulation à partir des variations de distribution peut rendre possible un apprentissage stratégiquement robuste.
Prédiction conforme
La quantification de l'incertitude (QI) dans les réseaux neuronaux profonds (RNP) joue un rôle crucial dans les applications critiques pour la sécurité, telles que le diagnostic médical et la robotique. Une simple prédiction ponctuelle d'un RNP, sans indication du niveau de confiance du modèle, peut induire en erreur. Par exemple, un classificateur RNP d'une image tomodensitométrique pulmonaire peut prédire qu'un patient est en bonne santé parmi six résultats possibles, voire plus : bonne santé, fibrose pulmonaire, cancer du poumon, pneumonie, BPCO et asthme. Dans ce cas, un médecin envisageant une imagerie diagnostique assistée par l'IA pourrait demander des examens complémentaires si le modèle indique que sa prédiction de bonne santé est accompagnée d'une forte incertitude (seulement 55 % de confiance), contrairement à un modèle dont le niveau de confiance est de 80 %. Dans son exposé, Reza Samavi , membre affilié de la faculté Vector et professeur agrégé à l'Université métropolitaine de Toronto, a présenté une méthode de prédiction conforme pour les modèles DNN où une prédiction ponctuelle est remplacée par un ensemble de prédictions où le modèle est très confiant (par exemple, 90 %) que le résultat réel se trouve dans l'ensemble.
Au lieu de simplement prédire avec une faible confiance que le patient est en bonne santé, le modèle peut prédire avec une grande certitude que le résultat sera l'un des suivants : bonne santé, pneumonie ou fibrose pulmonaire. Cela suggère au médecin qu'un examen plus approfondi pourrait être justifié. De cette manière, l'ensemble de prédictions traduit la notion heuristique d'incertitude en une notion rigoureuse, présentant plusieurs avantages par rapport aux méthodes de quantification de l'incertitude dépendantes de la distribution, telles que MC-Dropout. Cette approche est indépendante de la distribution, peut fonctionner avec n'importe quel modèle de type « boîte noire » et ne repose sur pratiquement aucune hypothèse. En particulier, les recherches de Samavi ont montré qu'avec une surcharge négligeable, la taille optimale de l'ensemble de prédiction est atteignable. En utilisant les données déjà disponibles dans la couche logit d'un réseau de neurones profond (DNN), le classificateur peut être calibré après son déploiement, notamment lorsque le modèle est déployé dans un environnement hors distribution, par exemple lorsqu'un modèle d'imagerie diagnostique est entraîné sur une population nord-américaine, mais déployé ailleurs. La quantification de l'incertitude permet de construire des modèles moins biaisés et plus équitables.
Confidentialité différentielle
Hassan Ashtiani , membre associé de Vector et professeur agrégé à l'Université McMaster, a présenté une solution au problème classique de la sélection d'hypothèses sous la contrainte de la confidentialité différentielle locale (LDP). Le modèle LDP est privilégié pour la protection de la vie privée dans plusieurs applications sensibles utilisées par des entreprises comme Apple, Google et Microsoft. Contrairement au modèle centralisé, le modèle LDP ne requiert pas la confiance d'une entité centrale pour la collecte et le traitement des données privées. La confidentialité est assurée localement, par exemple sur les appareils personnels. Le modèle LDP convient également à des contextes comme l'apprentissage fédéré, où l'apprentissage est distribué. M. Ashtiani a également évoqué ses travaux récents avec Shahab Asoodeh , également membre associé de Vector et professeur adjoint à l'Université McMaster, et Alireza Pour, sur le problème fondamental de la sélection d'hypothèses dans le modèle LDP. Il est à noter que tout algorithme optimal pour ce problème nécessiterait plusieurs itérations d'interactions.
Sasho Nikolov, membre associé de la faculté Vector, présente une communication lors de l'atelier.
L'estimation statistique privée vise à calculer des estimations précises concernant une population sans révéler d'informations privées sur aucun individu. Un problème fondamental dans ce domaine est l'estimation de la moyenne, où les données de chaque individu sont encodées sous forme de vecteur de grande dimension (liste de nombres) et l'objectif est d'estimer la moyenne de ces vecteurs. Une méthode de base pour l'estimation privée de la moyenne consiste à calculer la moyenne, puis à garantir la confidentialité en ajoutant à chaque coordonnée un bruit soigneusement corrélé, tiré d'une distribution normale. Cette méthode a l'avantage d'être non biaisée : le bruit a la même probabilité d'augmenter ou de diminuer la vraie moyenne dans n'importe quelle direction. Dans sa présentation, Aleksandar Nikolov , membre associé de la Faculté des sciences vectorielles et professeur agrégé à l'Université de Toronto, a montré comment optimiser les corrélations entre les bruits afin de minimiser l'erreur et a prouvé qu'avec ces corrélations optimales, l'ajout d'un bruit normalement distribué constitue la méthode d'estimation privée de la moyenne non biaisée la plus précise.
Les préoccupations liées à la confidentialité des données des utilisateurs finaux ont freiné l'utilisation de modèles sophistiqués déployés dans le nuage, comme le Machine Learning as a Service. Une méthode pour atténuer ces fuites consiste à ajouter un bruit différentiellement privé local aux requêtes sensibles avant de les envoyer au cloud. Cependant, cette méthode dégrade l'utilité du modèle cloud, car elle génère des résultats potentiellement erronés pour les requêtes bruitées. David Lie , chercheur associé à Vector et professeur à l'Université de Toronto, a démontré qu'au lieu d'accepter cette perte d'utilité, il est possible de déployer un modèle fiable sur un appareil appartenant à l'utilisateur et de l'entraîner avec les connaissances agrégées disponibles dans les étiquettes bruitées et potentiellement incorrectes renvoyées par les requêtes bruitées adressées au modèle cloud, afin de retrouver les étiquettes correctes.
Les étudiants des cycles supérieurs présentent leurs recherches lors d'une séance d'affichage.
Apprentissage fédéré
En apprentissage machine, la configuration standard repose sur un ensemble de données centralisé et traité au sein d'un système étroitement intégré. En réalité , les données sont souvent réparties entre de nombreux acteurs. Le partage direct de données peut être interdit pour des raisons de confidentialité. C'est là qu'intervient l'apprentissage fédéré (FL). Le FL permet l'entraînement collaboratif de modèles globaux tout en conservant les données sur des sites locaux. Seules les informations relatives au modèle local sont partagées.
Dans le FL classique, un serveur coordonne l'entraînement des modèles entre les sites locaux (appelés clients) et exige que ces derniers partagent les paramètres/poids des modèles avec le serveur pour l'agrégation des modèles. Avec l'algorithme FedAvg, cette agrégation est réalisée en calculant la moyenne des poids des modèles. Cependant, pour le FL traditionnel, le recours à un serveur centralisé peut accroître la vulnérabilité et les risques liés à la confiance. De plus, les architectures des modèles locaux peuvent varier en raison des différentes ressources de calcul disponibles, et les données provenant de différents clients peuvent être décalées. Compte tenu de ces contraintes pratiques, Xiaoxiao Li , membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada, également professeur adjoint à l'Université de la Colombie-Britannique, a proposé une nouvelle technique de FL décentralisée en introduisant des ancres synthétiques. Appelée DeSA , cette technique assouplit les restrictions et les hypothèses afin d'améliorer le transfert de connaissances dans le FL. Plus précisément, Li a proposé de partager les données synthétiques des sites locaux avec des protections de confidentialité différentielles. Appelées ancres locales, elles saisissent les distributions de données locales et sont partagées entre les clients avant la formation du FL. Ensuite, les clients regroupent les ancres locales partagées en ancres globales. Lors de l'apprentissage flexible (FL), les clients utilisent à la fois leurs données locales et l'ancre globale pour mettre à jour leurs modèles locaux en fonction de l'objectif d'entraînement. Concernant le partage d'informations, les clients échangent simplement les logits de sortie de leurs modèles, et cet échange peut être réalisé par distillation des connaissances. De plus, les ancres globales servent de régularisateur pour harmoniser les caractéristiques apprises par différents clients. Le pipeline global, illustré à la figure 1, permet à différents clients disposant de données et de modèles hétérogènes de collaborer efficacement dans le respect de la confidentialité.
Figure 1 : Un point d’ancrage global partagé facilite l’échange sécurisé d’informations entre collaborateurs (Source : Diapositives de présentation DeSA ICML, Huang, CY, Srinivas, K., Zhang, X., et Li, X.*, Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors. En 2024 International Conference on Machine Learning)
La confidentialité en pratique
Masoumeh Shafieinejad , scientifique en apprentissage automatique appliqué au sein de l'équipe d'ingénierie de l'IA de Vector, a parlé d'un portefeuille de projets axés sur les technologies d'amélioration de la confidentialité (PET), un travail réalisé en collaboration avec les parties prenantes de Vector, notamment Xi He , membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada, Amii et RBC.
Axée sur la promotion de la protection de la vie privée dès la conception dans les secteurs de la finance et de la santé, la recherche de Shafieinejad sur la génération de données synthétiques à partir de données tabulaires multitables a été bien accueillie par l'industrie. Elle favorise également une collaboration sécurisée et respectueuse de la vie privée entre différentes organisations, dans le contexte de la génération de données tabulaires synthétiques multi-parties et de l'apprentissage fédéré pour les données sur la santé.
En tant que chercheuse appliquée, Shafieinejad accorde une importance égale à l'étude des facteurs qui facilitent ou entravent l'adoption des technologies de protection de la vie privée par l'industrie. Cette étude revêt une importance particulière compte tenu du projet de loi C-27 du gouvernement canadien, qui vise à renforcer la protection de la vie privée et à gérer les risques liés à l'IA. Shafieinejad a souligné la nécessité de traduire les résultats des évaluations techniques de la protection de la vie privée en évaluations des risques pertinentes pour l'industrie et le gouvernement. Elle a conclu son intervention en invitant à poursuivre les discussions et à collaborer sur ce sujet.
Masoumeh Shafieinejad, scientifique spécialisée en apprentissage automatique appliqué et en technologies d'amélioration de la confidentialité, présente une intervention lors de l'atelier.
Et après ?
Les études multidisciplinaires et les discussions multipartites sont essentielles pour relever les défis complexes posés par le développement de l'IA. Leur objectif : développer des solutions pratiques et fiables garantissant la sécurité tout en favorisant un environnement agile et en permettant le déploiement sécurisé d'applications d'IA novatrices, tout en préservant la confidentialité des données.
Malgré les progrès réalisés dans le domaine de la recherche mentionnés ci-dessus, d'importantes questions subsistent concernant la sécurité et la confidentialité des données dans l'apprentissage automatique. Par exemple, les progrès futurs permettront-ils d'entraîner des modèles d'apprentissage machine à l'aide de données synthétiques ? De plus, comment intégrer plus efficacement les garanties de confidentialité et de protection des données dans la conception de la prochaine génération de modèles d'apprentissage profond ?
Visionnez les interventions de la première édition de l'atelier sur la sécurité et la confidentialité de l'apprentissage automatique vectoriel.
Vous en voulez plus ?
Gautam Kamath, membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, analyse les derniers développements en matière de robustesse et de confidentialité.
