Par Natasha Ali
L'atelier récent sur la sécurité et la confidentialité de l'apprentissage machine a réuni plusieurs professeurs, chercheurs associés et postdoctorants de renom de l'Institut Vector. Organisé dans les locaux de l'Institut Vector en juillet, cet événement a permis aux chercheurs d'échanger sur les tendances émergentes et les résultats de leurs recherches dans le domaine de la sécurité et de la confidentialité de l'apprentissage automatique. Face à l'évolution rapide de la situation, il est urgent de prendre des mesures pour encadrer le processus d'entraînement des machines et préserver la confidentialité des renseignements et des données des utilisateurs.
Réduire la vulnérabilité des modèles d'apprentissage machine aux attaques
Nicholas Papernot, membre du corps professoral de Vector, a présenté une perspective originale sur le vol de modèles d'apprentissage automatique et les mécanismes de défense appropriés. Professeur adjoint au Département de génie électrique et informatique de l'Université de Toronto et titulaire de la Chaire d'intelligence artificielle du CIFAR Canada, M. Papernot a apporté une contribution majeure au domaine de la sécurité de l'apprentissage automatique, en étant un pionnier dans le développement d' algorithmes qui ont facilité la recherche sur la protection de la vie privée dans ce domaine.
Il s'est concentré sur les modèles d'apprentissage automatique basés sur la prédiction, qui sont particulièrement vulnérables aux attaques adverses – des attaques qui visent à détourner les modèles d'apprentissage automatique d'une manière qui entraîne des conséquences non voulues par le propriétaire du modèle.
L'extraction de modèles, une forme courante d'attaque adverse, permet aux attaquants d'imiter et donc de « voler » les modèles d'apprentissage automatique de leurs victimes, en contournant le processus coûteux de curation des données. En accédant aux résultats des modèles et à leurs processus de prédiction, un attaquant peut les reproduire.
Au-delà de l'extraction de modèles, l'apprentissage machine comporte de nombreux risques d'attaques. Les attaquants peuvent modifier le processus d'entraînement d'un modèle afin qu'il interprète à tort des informations malveillantes comme étant bénignes. En forçant les modèles à apprendre des données nuisibles, les attaquants peuvent perturber le fonctionnement des réseaux neuronaux profonds et transférer des données d'entraînement falsifiées d'un modèle à l'autre, créant ainsi un effet domino d'activités malveillantes.
Papernot a souligné que les défenses courantes contre les attaques par extraction de modèles consistent à bloquer l'accès de l'attaquant aux données de sortie originales afin de perturber l'entraînement de son modèle. Par exemple, le propriétaire d'un modèle victime peut identifier un vol de modèle en intégrant des « marques numériques » dans les données d'entraînement. Malheureusement, cette méthode a inévitablement un impact négatif sur l'utilité du modèle. Une autre solution consiste à utiliser des techniques d'inférence d'appartenance pour comparer le modèle d'apprentissage automatique suspecté au modèle original et déterminer si les données d'entraînement et les règles ont été volées.
Cependant, ces approches sont toutes réactives : elles vérifient a posteriori si un modèle a été volé. Papernot suggère plutôt de prendre des mesures préventives pour influencer négativement le rapport coût-bénéfice du vol d'un modèle d'apprentissage automatique, et ainsi dissuader ce vol.
Pour contrer les attaques d'extraction de modèles avant qu'elles n'infiltrent les modèles, Papernot a proposé un mécanisme proactif qui augmente les coûts de calcul du vol de modèles sans compromettre la fonctionnalité ou la sortie des modèles originaux.
Grâce à un système de détection sophistiqué, le modèle cible génère des énigmes de difficulté variable que l'attaquant doit résoudre pour accéder à ses résultats. Premier système de défense à préserver la précision du modèle original, cette méthode impose un coût de calcul élevé pour son extraction, dissuadant ainsi les attaques.
« Si vous calibrez le casse-tête, l’attaquant devra déployer beaucoup plus de puissance de calcul et attendre plus longtemps pour voler votre modèle d’apprentissage automatique. »
Papernot estime que ce mécanisme de défense proactif et innovateur peut réduire le vol de données de manière préventive en limitant l'accès des utilisateurs aux algorithmes d'apprentissage automatique avant même qu'ils ne soient infiltrés par des attaquants malveillants.
Développement d'algorithmes d'empoisonnement des données
Pour approfondir le sujet des attaques par manipulation de données, Yaoliang Yu, membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada, a animé une discussion instructive sur l'empoisonnement des données dans les modèles de réseaux neuronaux.
Lors de ces attaques, un individu malveillant peut injecter des données « empoisonnées » dans les ensembles de données d'entraînement des modèles d'apprentissage automatique. Étant donné que les techniques modernes d'apprentissage automatique reposent sur de grandes quantités de données d'entraînement, les attaques par empoisonnement des données constituent une menace sérieuse qui compromet la validité des résultats des modèles et les rend vulnérables à des attaques ultérieures.
Les recherches de Yu portent sur la conception de nouveaux algorithmes d'empoisonnement de données afin d'évaluer leur impact immédiat sur la précision des modèles et de les classer selon leurs stratégies d'attaque. Ses deux articles récents mettent en lumière des attaques indiscriminées en classification d'images, où les attaquants peuvent obtenir des données d'entraînement et corrompre le processus d'étiquetage des images, ce qui entraîne des résultats inexacts dans les tâches de génération d'images.
En collaboration avec des chercheurs de l'Université de Waterloo, Yu a mis au point des attaques par empoisonnement de données qui génèrent des points de données de manière plus efficace et performante qu'auparavant. Contrairement aux méthodes d'empoisonnement de données précédentes, le modèle TGDA (Total Gradient Descent Ascent) proposé produit simultanément des milliers d'ensembles de données empoisonnés, ce qui augmente la vitesse et l'efficacité de l'attaque.
Ces méthodes élaborées permettent aux chercheurs d'examiner l'étendue des interférences dans les attaques par empoisonnement, ce qui permet de qualifier plus rapidement et plus facilement différents types d'activités malveillantes et d'étudier leur impact sur l'apprentissage automatique et la sortie des modèles.
Combiner la formation aux données publiques et privées pour renforcer la confidentialité
Passant à la confidentialité différentielle, Gautam Kamath, membre du corps professoral de Vector et président du CIFAR canadien en IA, a discuté des pièges liés à l'utilisation d'informations sensibles et personnelles pour entraîner des modèles d'apprentissage automatique.
L'Institut Vector possède une expertise considérable en matière de sécurité et de confidentialité du ML ! C'est formidable d'avoir l'occasion de rassembler tout le monde et de tenir compte des points de vue de chacun sur la manière d'aborder les plus grands défis dans ce domaine. »
Face au développement continu de grands modèles de langage entraînés sur des données publiques, il s'est inquiété du fait que « les modèles d'apprentissage automatique mémorisent, dans leurs ensembles de données d'entraînement, des informations que nous ne souhaitons pas divulguer ». Ces grands modèles de langage sont généralement préentraînés sur des ensembles de données publics facilement accessibles en ligne, tels que des textes téléchargeables, des articles Wikipédia et des billets de blog. Toutefois, un conflit d'intérêts survient lorsque ces modèles sont contraints de générer du contenu protégé par le droit d'auteur et des données sensibles sans réglementation ni consentement appropriés.
C'est là qu'intervient la confidentialité différentielle. Fréquemment utilisée pour protéger les données des utilisateurs, elle permet le partage public de données et de tendances au sein d’un groupe, tout en préservant la confidentialité des données et des identifiants individuels. En tant qu'outil d'analyse de données précieux, la confidentialité différentielle permet aux chercheurs et aux entreprises de recueillir des données de groupe et d'évaluer l'efficacité d'un modèle d'apprentissage automatique sans compromettre les renseignements personnels des utilisateurs.
L'approche proposée par Kamath comprend deux étapes principales : un pré-entraînement à l'aide d'ensembles de données publics, suivi d'un ajustement précis pour restreindre le processus à des ensembles de données plus petits et spécifiques à la tâche.
« Je fais la distinction entre deux types de données », a-t-il déclaré. « D’une part, des données publiques, volumineuses et diversifiées, que nous utiliserons pour le pré-entraînement ; d'autre part, des données plus restreintes, privées et davantage axées sur les tâches en aval. »
Idéalement, les données publiques et privées seraient complémentaires, les données publiques servant à améliorer la précision de l'apprentissage automatique privé. Toutefois , il a souligné que toutes les données publiques ne sont pas appropriées ; certaines peuvent avoir été plagiées, tandis que d'autres peuvent être inadaptées aux objectifs spécifiques de l'entraînement des machines.
Kamath a conclu que la confidentialité différentielle garantit que les modèles d'apprentissage machine ne dépendent pas des données sensibles d'un seul individu lors de leur entraînement, mais plutôt des tendances agrégées contenues dans de vastes ensembles de données provenant d'un groupe d'utilisateurs. Cette approche améliore la qualité des données de sortie dans leur ensemble, empêchant ainsi les modèles d'apprentissage machine de mémoriser et de partager des données individuelles privées.
Parmi les autres moments forts de l'événement, mentionnons la discussion de Shai Ben-David, membre du corps professoral de Vector, sur l'intersection de la formation aux données publiques et privées dans les tâches d'estimation, l'intervention de Reza Samavi, affilié à Vector, sur la robustesse des réseaux neuronaux profonds face aux données modifiées de manière adverse, et le point de vue unique de Masoumeh Shafieinejad, chercheuse postdoctorale chez Vector, sur les applications de la confidentialité différentielle et de la réglementation des données dans l'industrie, le milieu universitaire et le secteur de la santé.
À mesure que les modèles d'apprentissage machine progressent, leur entraînement efficace exige des analyses de données et des processus de calcul plus poussés. Face au déploiement fréquent d'ensembles de données d'entraînement dans les algorithmes d'apprentissage automatique et à l'essor des applications de modélisation du langage à grande échelle, les intervenants ont souligné l'urgence de protéger la propriété intellectuelle et de réglementer la protection de la vie privée, car les informations sensibles sont de plus en plus vulnérables aux vols et aux attaques de logiciels malveillants.
Vous voulez en savoir plus sur les initiatives de recherche actuelles du Vector Institute en matière de protection de la vie privée dans l'apprentissage machine ? Cliquez ici pour accéder à la liste complète des conférences .
