Par Natasha Ali

Le récent atelier sur la sécurité et la confidentialité de l'apprentissage automatique a rassemblé un certain nombre d'éminents membres du corps professoral de l'Institut Vecteur, des membres affiliés du corps professoral et des boursiers postdoctoraux. Organisé dans les locaux de l'Institut Vecteur en juillet, l'événement a permis aux chercheurs de discuter des tendances émergentes et des résultats de recherche dans le domaine de la sécurité de l'apprentissage automatique et de la protection de la vie privée, alors que les développements rapides conduisent à des appels à des mesures immédiates pour réglementer le processus d'apprentissage automatique et préserver les informations privées et les données des utilisateurs.

Réduire la vulnérabilité des modèles d'apprentissage automatique aux attaques

Nicholas Papernot, membre de la faculté Vecteur, a présenté un point de vue unique sur le vol de modèles d'apprentissage automatique et les mécanismes de défense appropriés. En tant que professeur adjoint au département de génie électrique et informatique de l'Université de Toronto et titulaire d'une chaire CIFAR AI au Canada, Papernot a apporté des contributions significatives au domaine de la sécurité de l'apprentissage automatique, en étant le pionnier du développement d'algorithmes qui ont facilité la recherche sur la protection de la vie privée dans le domaine de l'apprentissage automatique.

Il s'est concentré sur les modèles d'apprentissage automatique basés sur la prédiction, qui sont particulièrement vulnérables aux attaques adverses - attaques qui visent à abuser des modèles d'apprentissage automatique d'une manière qui entraîne des conséquences non voulues par le propriétaire du modèle.

L'extraction de modèles, un type courant d'attaques adverses, permet aux attaquants d'imiter et donc de "voler" les modèles d'apprentissage automatique des victimes, en contournant le processus coûteux de curation des ensembles de données. En accédant aux résultats des modèles et à leurs processus de prédiction, un attaquant peut reproduire les modèles.

Au-delà de l'extraction de modèles, l'apprentissage automatique s'accompagne d'un large éventail de risques. Les attaquants peuvent également modifier les processus de formation d'un modèle d'apprentissage automatique de manière à ce qu'il interprète faussement des informations malveillantes comme étant bénignes. En forçant les modèles à apprendre des données nuisibles, les attaquants peuvent perturber la chaîne de commandement des réseaux neuronaux profonds et transférer des données d'entraînement falsifiées d'un modèle à l'autre, créant ainsi un effet domino d'activités malveillantes.

M. Papernot a souligné que les défenses courantes contre les attaques par extraction de modèle consistent à bloquer l'accès de l'attaquant aux résultats originaux afin de perturber l'apprentissage du modèle de l'attaquant. Par exemple, le propriétaire d'un modèle victime peut déterminer si son modèle a été volé en intégrant des "filigranes" dans les données d'apprentissage. Malheureusement, cela se fait inévitablement au détriment de l'utilité du modèle. Il est également possible d'utiliser des techniques d'inférence d'appartenance pour comparer le modèle d'apprentissage automatique suspecté au modèle original afin de déterminer si les données d'apprentissage et les politiques ont été volées.

Toutefois, ces approches sont toutes réactives: elles vérifient si un modèle a été volé après coup. Au lieu de cela, Papernot a suggéré que l'on puisse prendre des mesures préventives pour manipuler négativement le compromis coût-bénéfice du vol d'un modèle d'apprentissage automatique, décourageant ainsi le vol de modèles.

Pour repousser les attaques par extraction de modèle avant qu' elles ne s'infiltrent dans les modèles, Papernot a proposé un mécanisme proactif qui augmente les coûts de calcul du vol de modèle sans compromettre la fonctionnalité ou le résultat des modèles originaux.

À l'aide d'un système de détection élaboré, le modèle victime peut générer des puzzles de différents niveaux de difficulté que l'attaquant doit résoudre pour avoir accès aux résultats du modèle. Premier système de défense à préserver la précision du modèle original, cette méthode impose des coûts de calcul élevés pour l'extraction du modèle, dissuadant ainsi les attaques.

Papernot estime que ce mécanisme de défense proactif révolutionnaire peut réduire le vol de données de manière préemptive en limitant l'accès des utilisateurs aux algorithmes d'apprentissage automatique avant qu'ils ne soient infiltrés par des attaquants malveillants.

Développement d'algorithmes d'empoisonnement des données

Développant les attaques par manipulation de données, Yaoliang Yu, membre de la faculté Vector et titulaire de la chaire CIFAR AI au Canada, a mené une discussion instructive sur l'empoisonnement des données dans les modèles de réseaux neuronaux.

Dans ces attaques, une partie malveillante peut injecter des données "toxiques" dans les ensembles de données d'entraînement des modèles d'apprentissage automatique. Étant donné que les techniques modernes d'apprentissage automatique reposent sur de grandes quantités de données d'entraînement, les attaques par empoisonnement de données constituent une menace sérieuse qui compromet la validité des résultats des modèles et les rend vulnérables à des attaques ultérieures.

Les recherches de M. Yu portent sur la conception de nouveaux algorithmes d'empoisonnement des données afin d'évaluer leur impact immédiat sur la précision des modèles et de les classer en fonction de leurs stratégies d'attaque. Ses deux derniers articles ont mis en évidence des attaques aveugles pour la classification d'images, où les attaquants peuvent obtenir des données d'entraînement et corrompre le processus d'étiquetage des images, ce qui donne des résultats inexacts dans les tâches de génération d'images.

En collaboration avec ses collègues chercheurs de l'université de Waterloo, M. Yu a mis au point des attaques par empoisonnement de données qui génèrent des points de données de manière plus efficace qu'auparavant. Contrairement aux méthodes d'empoisonnement de données précédentes, le modèle de descente totale du gradient (TGDA) proposé produit des milliers d'ensembles de données empoisonnées en une seule fois, ce qui accroît la vitesse et les performances de l'attaque adverse.

Ces méthodes élaborées permettent aux chercheurs d'examiner l'étendue de l'interférence dans les attaques par empoisonnement, ce qui accélère et facilite la qualification de différents types d'activités malveillantes et l'étude de leur impact sur l'entraînement des machines et les résultats des modèles.

Combiner la formation aux données publiques et privées pour renforcer la protection de la vie privée

Passant à la protection différentielle de la vie privée, Gautam Kamath, membre de la faculté Vector et titulaire de la chaire Canada AI CIFAR, a discuté des pièges associés à l'utilisation d'informations sensibles et personnelles pour former des modèles d'apprentissage automatique.

Étant donné le développement continu de grands modèles linguistiques formés sur des données accessibles au public, il s'est dit préoccupé par le fait que "les modèles d'apprentissage automatique mémorisent des éléments dans leurs ensembles de données de formation qui peuvent être des éléments que nous ne voulons pas révéler". Les grands modèles de langage sont généralement entraînés au préalable sur des ensembles de données publiques facilement accessibles en ligne, tels que des textes téléchargeables, des articles de Wikipédia et des billets de blog. Toutefois, un conflit d'intérêts survient lorsque les grands modèles de langage sont contraints de générer du matériel protégé par des droits d'auteur et des données sensibles sans réglementation ni consentement appropriés.

C'est là qu'intervient la protection différentielle de la vie privée. Régulièrement utilisée comme approche pour protéger les ensembles de données des utilisateurs, elle permet le partage public de données de groupe et de modèles d'information, tout en préservant la confidentialité des points de données et des identifiants des utilisateurs individuels. En tant que mécanisme précieux d'analyse des données, la confidentialité différentielle permet aux chercheurs et aux entreprises de collecter des données de groupe et de disséquer l'utilité d'un modèle d'apprentissage automatique sans compromettre les informations sensibles concernant les utilisateurs.

L'approche proposée par M. Kamath comporte deux étapes principales : le pré-entraînement à l'aide d'ensembles de données publics, suivi d'un réglage fin pour réduire le processus à des ensembles de données plus petits spécifiques à une tâche.

"Je fais la distinction entre deux types de données", a-t-il déclaré. "L'une est une donnée publique, vaste et diversifiée, que nous allons utiliser pour la formation préalable, et l'autre est plus petite, privée et plus axée sur les tâches en aval.

Dans une situation idéale, les données publiques et privées vont de pair, de sorte que les données publiques sont utilisées pour améliorer la précision de l'apprentissage automatique privé. L'inconvénient, a-t-il fait remarquer, est que toutes les données publiques ne sont pas appropriées ; certains ensembles de données peuvent avoir été plagiés à partir de sources externes, tandis que d'autres peuvent ne pas convenir aux objectifs spécifiques de l'apprentissage automatique.

M. Kamath a conclu que la protection différentielle de la vie privée garantit que les modèles d'apprentissage automatique ne dépendront pas des données sensibles d'une seule personne pour leur apprentissage, mais plutôt des modèles agrégés contenus dans des ensembles de données à grande échelle provenant d'une collection d'utilisateurs. Cette approche permet d'affiner les données de sortie dans leur ensemble, ce qui évite aux modèles d'apprentissage automatique de mémoriser et de partager des données individuelles privées.

Parmi les autres temps forts de l'événement, citons la discussion de Shai Ben-David, membre du corps professoral de Vector, sur l'intersection de la formation aux données publiques et privées dans les tâches d'estimation, l'exposé de Reza Samavi, affilié à Vector, sur la robustesse des réseaux neuronaux profonds face à des données modifiées par des adversaires, et le point de vue unique de Masoumeh Shafieinejad, boursière postdoctorale de Vector, sur les applications de la confidentialité différentielle et de la réglementation des données dans l'industrie, le monde universitaire et le secteur de la santé.

Alors que les modèles d'apprentissage automatique continuent de progresser, davantage d'analyses de données et de processus informatiques sont nécessaires pour les entraîner avec succès. Avec le déploiement fréquent d'ensembles de données d'entraînement dans les algorithmes d'apprentissage automatique et l'augmentation des applications de modèles de langage de grande taille, les orateurs ont souligné le besoin urgent de protection de la propriété intellectuelle et de réglementation en matière de protection de la vie privée, car les informations précieuses sont de plus en plus susceptibles d'être volées et attaquées par des logiciels malveillants.

Pour en savoir plus sur les initiatives de recherche actuelles de l'Institut Vecteur dans le domaine de l'apprentissage automatique de la protection de la vie privée, cliquez ici pour accéder à la liste complète des conférences.