Par Natasha Ali

Le récent atelier sur la sécurité et la confidentialité de l’apprentissage automatique a réuni plusieurs membres distingués du corps professoral, affiliés du corps professoral et boursiers postdoctoraux du Vector Institute. Tenu au bureau du Vector Institute en juillet, l’événement a vu des chercheurs discuter des tendances émergentes et des résultats de recherche dans le domaine de la sécurité et de la vie privée en apprentissage automatique, alors que les développements rapides mènent à des appels immédiats pour réguler le processus d’entraînement automatique et préserver les informations privées ainsi que les données des utilisateurs.

Réduction de la susceptibilité des modèles d’apprentissage automatique aux attaques

Nicholas Papernot, membre du corps professoral de Vector, a présenté une approche unique sur l’apprentissage automatique, le vol de modèles et les mécanismes de défense appropriés. En tant que professeur adjoint au département de génie électrique et informatique de l’Université de Toronto et titulaire de la chaire IA du CIFAR au Canada, Papernot a apporté des contributions significatives au domaine de la sécurité de l’apprentissage automatique, en étant un pionnier dans le développement d’algorithmes qui ont facilité la recherche sur la confidentialité de l’apprentissage automatique.

Il s’est concentré sur les modèles d’apprentissage automatique basés sur la prédiction, particulièrement vulnérables aux attaques adverses – des attaques visant à détourner les modèles d’apprentissage automatique d’une manière qui entraîne des conséquences non prévues par le propriétaire du modèle.

L’extraction de modèles, un type courant d’attaque adversaire, permet aux attaquants d’imiter et ainsi de « voler » les modèles d’apprentissage automatique des victimes, contournant ainsi le coûteux processus de curation des ensembles de données. En accédant aux résultats des modèles et à leurs processus de prédiction, un attaquant peut reproduire des modèles.

Au-delà de l’extraction de modèles, l’apprentissage automatique comporte une grande variété de risques adversaires. Les attaquants peuvent aussi modifier les processus d’entraînement d’un modèle d’apprentissage automatique de façon à ce qu’il interprète faussement des informations malveillantes comme inoffensives. En forçant les modèles à apprendre des données nuisibles, les attaquants peuvent perturber la chaîne de commandement dans les réseaux neuronaux profonds et transférer des données d’entraînement falsifiées d’un modèle à un autre, créant ainsi un effet domino d’activités malveillantes.

Papernot a souligné que les défenses courantes contre les attaques d’extraction de modèle consistent à bloquer l’accès de l’attaquant aux sorties originales afin de perturber l’entraînement du modèle de l’attaquant. Par exemple, le propriétaire d’un modèle victime peut identifier si son modèle a été volé en intégrant des « filigranes » dans les données d’entraînement. Malheureusement, cela se fait inévitablement au détriment de l’utilité du modèle. Alternativement, on peut utiliser des techniques d’inférence d’appartenance pour comparer le modèle d’apprentissage automatique suspecté au modèle original afin de déterminer si des données d’entraînement et des politiques ont été volées.

Cependant, ces approches sont toutes réactives : elles vérifient si un modèle a été volé après coup. Au lieu de cela, Papernot a suggéré qu’on peut prendre des mesures préventives pour manipuler négativement le compromis coût-bénéfice du vol d’un modèle d’apprentissage automatique, décourageant ainsi le vol de modèle.

Pour repousser les attaques d’extraction de modèles avant qu’elles ne s’infiltrent dans les modèles, Papernot a proposé un mécanisme proactif qui augmente les coûts de calcul du vol de modèles sans compromettre la fonctionnalité ou la sortie des modèles originaux.

Grâce à un schéma de détection élaboré, le modèle victime peut générer des énigmes de différents niveaux de difficulté que l’attaquant doit résoudre pour accéder à la sortie du modèle. En tant que premier système de défense à préserver la précision du modèle original, cette méthode impose des coûts computationnels élevés pour l’extraction du modèle, dissuadant ainsi les attaques.

Papernot croit que ce mécanisme de défense proactif révolutionnaire peut réduire le vol de données de manière préventive en restreignant l’accès des utilisateurs aux algorithmes d’apprentissage automatique avant qu’ils ne soient infiltrés par des attaquants malveillants.

Développement d’algorithmes d’empoisonnement des données

En approfondissant les attaques par manipulation de données, Yaoliang Yu, membre du corps professoral de Vector et présidente canadienne de l’IA au CIFAR, a animé une discussion informative sur l’empoisonnement des données dans les modèles de réseaux de neurones.

Dans ces attaques, une partie malveillante peut injecter des données « toxiques » dans les ensembles de données d’entraînement des modèles d’apprentissage automatique. Puisque les techniques modernes d’apprentissage automatique reposent sur de grandes quantités de données d’entraînement, les attaques d’empoisonnement des données représentent une menace sérieuse qui compromet la validité des résultats du modèle et les rend vulnérables aux attaques ultérieures.

Les recherches de Yu portent sur la conception de nouveaux algorithmes d’empoisonnement des données afin d’évaluer leur impact immédiat sur la précision des modèles et de les classer selon leurs stratégies d’attaque. Ses deux articles récents ont mis en lumière des attaques indiscriminées contre la classification d’images, où les attaquants peuvent obtenir des données d’entraînement et corrompre le processus d’étiquetage d’images, ce qui donne des résultats inexacts lors des tâches de génération d’images.

En collaboration avec d’autres chercheurs de l’Université de Waterloo, Yu a développé des attaques d’empoisonnement des données qui génèrent des points de données de façon plus efficace et efficiente qu’auparavant. Contrairement aux méthodes précédentes d’empoisonnement des données, le modèle proposé de Descente en Gradient Total (TGDA) produit des milliers de jeux de données empoisonnés en même temps, augmentant la vitesse et la performance de l’attaque adverse.

Ces méthodes élaborées permettent aux chercheurs d’examiner l’étendue de l’interférence dans les attaques d’empoisonnement, rendant plus rapide et plus facile la qualification des différents types d’activités malveillantes et l’étude de leur impact sur l’entraînement des machines et la production des modèles.

Combiner la formation aux données publiques et privées pour améliorer la vie privée

Changeant de sujet vers la confidentialité différentielle, Gautam Kamath, membre du corps professoral de Vector et président du CIFAR au Canada IA, a discuté des pièges liés à l’utilisation d’informations sensibles et personnelles pour entraîner des modèles d’apprentissage automatique.

Étant donné le développement continu de grands modèles de langage entraînés sur des données accessibles au public, il a exprimé son inquiétude que « les modèles d’apprentissage automatique mémorisent des éléments dans leurs ensembles de données d’entraînement qui pourraient être des choses que nous ne voulons pas révéler. » Les grands modèles de langage sont généralement pré-entraînés sur des ensembles de données publics facilement accessibles en ligne, tels que des textes téléchargeables, des articles Wikipédia et des billets de blogue. Cependant, un conflit d’intérêts survient lorsque de grands modèles de langage sont contraints de générer du matériel protégé par le droit d’auteur et des données sensibles sans réglementation ou consentement appropriés.

C’est là que la confidentialité différente entre en jeu. Utilisé régulièrement comme approche pour protéger les ensembles de données utilisateurs, il permet le partage public des données de groupe et des schémas d’information, tout en maintenant la confidentialité des points de données et identifiants individuels des utilisateurs. En tant que mécanisme précieux d’analyse de données, la confidentialité différentielle permet aux chercheurs et aux entreprises de collecter des données de groupe et de disséquer l’utilité d’un modèle d’apprentissage automatique sans compromettre des informations sensibles sur les utilisateurs.

L’approche proposée par Kamath comprend deux étapes principales : un préentraînement à l’aide de jeux de données publics, suivi d’un ajustement fin pour réduire le processus à des ensembles de données plus petits spécifiques à chaque tâche.

« Je fais la distinction entre deux types de données », dit-il. « L’une concerne les données publiques, qui sont vastes et diversifiées, que nous allons utiliser pour la préentraînement, et l’autre est plus petite, privée et plus axée sur les tâches en aval. »

Dans une situation idéale, les données publiques et privées vont de pair, de sorte que les données publiques sont utilisées pour améliorer la précision de l’apprentissage automatique privé. La réserve, a-t-il noté, est que toutes les données publiques ne sont pas appropriées; certains ensembles de données peuvent avoir été plagiés à partir de sources externes tandis que d’autres peuvent être inadaptés aux besoins spécifiques de l’entraînement automatique.

Kamath a conclu que la confidentialité différentielle garantit que les modèles d’apprentissage automatique ne dépendront pas de données sensibles provenant d’une seule personne lors de leur formation, mais plutôt de motifs agrégés contenus dans des ensembles de données à grande échelle provenant d’un ensemble d’utilisateurs. Cette approche polit les données de sortie dans leur ensemble, empêchant les modèles d’apprentissage automatique de mémoriser et de partager des données individuelles privées.

Parmi les autres moments forts de l’événement, on compte la discussion du membre du corps professoral de Vector Shai Ben-David sur l’intersection de la formation aux données publiques et privées dans les tâches d’estimation, la présentation de Reza Samavi, affiliée à Vector, sur la robustesse des réseaux de neurones profonds face aux données modifiées de manière adversaire, et l’approche unique de Masoumeh Shafieinejad du boursier postdoctoral Vector sur les applications de la confidentialité différentielle et de la régulation des données dans l’industrie. Le milieu universitaire et le milieu de la santé.

À mesure que les modèles d’apprentissage automatique progressent, davantage d’analyses de données et de processus computationnels sont nécessaires pour les entraîner avec succès. Avec le déploiement fréquent de jeux de données d’entraînement dans les algorithmes d’apprentissage automatique et la montée des applications de grands modèles de langage, les intervenants de l’événement ont souligné un besoin urgent de protection de la propriété intellectuelle et de réglementation de la vie privée, alors que les informations précieuses deviennent plus vulnérables aux vols et aux attaques par logiciels malveillants.

Vous voulez en savoir plus sur les initiatives de recherche actuelles de l’Institut Vector en matière de confidentialité en apprentissage automatique? Cliquez ici pour la liste de lecture complète des conférences.