14 novembre 2025
L’atelier 2025 sur la sécurité et la confidentialité de l’apprentissage automatique du Vector Institute a révélé des avancées cruciales en matière de sécurité de l’IA ainsi que des vulnérabilités préoccupantes dans les méthodes actuelles de sécurité en apprentissage automatique (ML). Cette analyse complète couvre les recherches les plus récentes sur la robustesse adversaire, les défaillances du désapprentissage automatique, les risques liés à la confidentialité des données synthétiques et les capacités de tromperie de l’IA menées par des chercheurs de premier plan au Canada.
À mesure que les systèmes d’intelligence artificielle deviennent plus sophistiqués et omniprésents, une question fondamentale se pose : comment garantir que ces systèmes puissants demeurent sûrs, privés et dignes de confiance? Ce défi a été au cœur du troisième atelier annuel sur la sécurité et la confidentialité de l’apprentissage automatique de Vector, où des chercheurs de premier plan ont dévoilé à la fois des solutions prometteuses et des réalités troublantes sur l’état actuel de la sécurité de l’IA.
Le rassemblement du 8 juillet 2025 a réuni des chercheurs d’institutions de partout en Ontario pour aborder des questions cruciales couvrant tout le spectre de la sécurité et de la vie privée en apprentissage automatique. Des avancées théoriques en robustesse adversaire aux échecs pratiques dans les techniques de protection de la vie privée, l’atelier a révélé une course sur le terrain pour résoudre des défis fondamentaux avant qu’ils ne deviennent des vulnérabilités critiques.
Avec les membres du corps professoral et affiliés de Vector à la tête de cette recherche de pointe, l’atelier a mis en lumière le rôle central de l’institut dans l’avancement de notre compréhension des défis liés à la sécurité et à la vie privée de l’IA, alors que ces systèmes deviennent de plus en plus centraux dans la société.
La première percée majeure de la journée est venue de Ruth Urner, membre du corps professoral Vector et professeure agrégée à l’Université York, dont les travaux sur l’apprentissage tolérant de l’opposition offrent une solution pragmatique à un problème de longue date. La robustesse adversaire traditionnelle – rendre les modèles d’IA résistants aux entrées malveillantes – s’est révélée inexpédiable sur le plan informatique. L’équipe d’Urner a découvert que permettre une certaine flexibilité contrôlée dans les exigences de robustesse permet aux apprenants « presque corrects » avec une complexité linéaire plutôt qu’exponentielle.
« Modéliser les détails peut avoir des effets significatifs sur les conclusions », a souligné Urner. « Parfois, changer un peu les exigences formelles nous permet de déduire des limites pour des méthodes d’apprentissage beaucoup plus naturelles. »
Ce travail théorique fait le pont entre la recherche académique et le déploiement pratique de l’IA, où la robustesse parfaite peut être impossible, mais où un compromis contrôlé devient la voie à suivre.
Peut-être que la révélation la plus sobre de l’atelier est venue de Gautam Kamath, membre du corps professoral de Vector, président canadien de l’IA CIFAR et professeur adjoint à l’Université de Waterloo, qui a livré ce qu’il a appelé une « opinion tranchée » : les méthodes actuelles de désapprentissage automatique ne fonctionnent pas réellement.
L’apprentissage automatique – la capacité de retirer des données spécifiques de modèles entraînés – a été présenté comme une solution pour la conformité à la vie privée avec des règlements tels que le RGPD et le projet canadien de CPPA. Mais les recherches de Kamath ont révélé que ces méthodes échouent lorsqu’elles sont testées contre des attaques d’empoisonnement des données.
« Le désapprentissage automatique n’est pas capable d’éliminer l’influence des données empoisonnées sur un modèle entraîné », a démontré Kamath par des expériences montrant que les soi-disant modèles « non appris » restaient vulnérables aux mêmes attaques que si les données n’avaient jamais été supprimées.
Ses conclusions ont des implications majeures pour les entreprises qui revendiquent la conformité à la vie privée par l’apprentissage automatique – elles pourraient offrir une fausse sécurité.
Xi He, membre du corps professoral Vector, titulaire de la chaire IA du CIFAR au Canada et professeur adjoint à l’Université de Waterloo, a mis en lumière à la fois l’énorme opportunité et les dangers cachés liés à la génération de données synthétiques. Alors que les institutions financières considèrent de plus en plus les données synthétiques comme « une approche potentielle pour traiter des questions liées à la vie privée, à l’équité et à l’explicabilité », des recherches récentes révèlent des préoccupations concernant la fuite de la vie privée.
Le défi des données de confidentialité de Vector a révélé que les modèles de diffusion – bien qu’offrant une excellente utilité – affichaient des taux de réussite allant jusqu’à 46% dans les attaques d’inférence d’adhésion, ce qui signifie que les attaquants pouvaient déterminer si les données de certains individus avaient été utilisées lors de l’entraînement.
« Les données synthétiques seules ne garantissent pas la vie privée », a-t-il mis en garde, soulignant la nécessité de garanties de confidentialité différenciées plutôt que de se fier uniquement à la production synthétique.
David Duvenaud, membre du corps professoral Vector, titulaire de la chaire IA du CIFAR au Canada et professeur agrégé à l’Université de Toronto, a abordé une question cruciale pour le déploiement de l’IA : comment s’assurer que les modèles fonctionnent de façon authentique plutôt que stratégique lors des évaluations? Son équipe a testé si les modèles pouvaient secrètement orienter les humains vers de mauvaises décisions tout en semblant utiles, installer des portes dérobées de code ou saper les systèmes de surveillance.
Les résultats ont mis en lumière d’importants défis pour l’évaluation de l’IA. Les modèles ont influencé avec succès les décisions humaines environ 50% du temps, bien qu’ils paraissent aussi plus suspects aux évaluateurs – révélant l’importance cruciale d’étalonner les seuils de détection.
« On a un peu réalisé que toute la compétence de la manigance consiste à bien calibrer quelles de vos actions vont sembler suspectes », a observé Duvenaud, soulignant un défi fondamental dans l’alignement de l’IA à mesure que les systèmes d’IA deviennent plus performants.
Au-delà de ces aperçus phares, l’atelier a mis en lumière l’étendue remarquable de la recherche actuelle en matière de sécurité en apprentissage automatique à travers des conférences éclair et des présentations spécialisées, avec des contributions significatives de la communauté de recherche de Vector :
Clemens Possnig de l’Université de Waterloo a présenté un cadre basé sur la théorie des jeux montrant comment l’IA permet une coordination sans précédent tant dans les cyberattaques que dans la défense. « Ce qui a changé, c’est que nous avons maintenant un accès facile à des outils d’apprentissage automatique très sophistiqués qui apportent adaptabilité et décentralisation », a-t-il expliqué, notant comment les agents d’IA peuvent coordonner sans surcharge de communication.
Alireza Arbabi, étudiant diplômé en vecteurs à l’Université de Waterloo, a introduit une approche novatrice pour l’évaluation des biais LLM utilisant la détection d’anomalies. Plutôt que d’évaluer les modèles isolément, son cadre compare les réponses entre plusieurs modèles afin d’identifier les biais relatifs. Les résultats ont révélé des tendances intéressantes – DeepSeek a montré des écarts notables lorsqu’on l’a interrogé sur des sujets sensibles à la Chine, tandis que Llama de Meta a montré un biais sur les questions liées à Meta.
Yiwei Lu, nouvelle professeure affiliée à Vector et professeure adjointe à l’Université d’Ottawa, a démontré des vulnérabilités critiques dans les méthodes de perturbation adversaire pour la protection des données, montrant comment des outils populaires comme Fawkes et Glaze peuvent être contournés par la « purification du pont » en utilisant des modèles de pont de diffusion débruitant. L’attaque de son équipe peut restaurer des méthodes de protection qui ont réduit la précision du modèle à des niveaux quasi aléatoires (9-23%) à 93-94% de précision en utilisant aussi peu que 500 à 4 000 images non protégées fuitées.
Hanna Foerster, stagiaire en recherche vectorielle à l’Université de Cambridge, a présenté « LightShed », un autoencodeur qui s’entraîne sur des images propres et empoisonnées pour détecter et éliminer les perturbations protectrices d’outils comme Nightshade et Glaze. L’autoencodeur apprend à produire différentes sorties selon que les images sont protégées ou propres, permettant la détection et le retrait des masques protecteurs. « Nous ne voulons pas dire que les outils de génération d’images gagnent et que les artistes perdent », a précisé Foerster, « mais nous voulons dire aux artistes de ne pas compter aveuglément sur ces outils parce qu’ils sont encore vulnérables et que nous devons encore fabriquer de meilleurs outils. »
Shubhankar Mohapatra, étudiant diplômé en vecteur à l’Université de Waterloo, a souligné un oubli crucial dans la mise en œuvre de la confidentialité différentielle – la plupart des recherches se concentrent uniquement sur l’entraînement des modèles, mais les budgets de confidentialité doivent en réalité couvrir l’exploration des données, le nettoyage, l’ajustement des hyperparamètres et le déploiement. « Tous les composants d’un système DP doivent être réalisés dans le cadre d’une allocation de confidentialité fixe », a-t-il insisté.
Rushabh Solanki, chercheur affilié au corps professoral à l’Université de Waterloo, a exploré comment les groupes peuvent se coordonner pour influencer les algorithmes de ML par des modifications stratégiques des données – ce qu’il appelle « action collective algorithmique ». Ses recherches ont révélé que des protections plus strictes de la vie privée entravent en réalité l’efficacité de l’action collective, créant des compromis complexes pour la politique de confidentialité.
Les sessions de l’après-midi ont exploré des solutions techniques sophistiquées. Olive Franzese-McLaughlin, boursière postdoctorale distinguée Vector, a démontré l’audit ML cryptographiquement sécurisé à l’aide de schémas d’engagement et de preuves à connaissance nulle, permettant des audits sans divulguer d’informations sensibles. David Emerson, spécialiste de l’apprentissage automatique appliqué chez Vector, a présenté des contraintes adaptatives en espace latent pour un apprentissage fédéré personnalisé, améliorant des méthodes de pointe comme Ditto en incorporant des contraintes conscientes de la distribution.
D’autres conférences éclair ont couvert tout, de la convergence exponentielle dans le Langevin Monte Carlo projeté (Alireza Daeijavad, Université McMaster) à l’échantillonnage privé localement optimal (Hrad Ghoukasian, Université McMaster), démontrant la profondeur théorique du domaine.
Le message global de l’atelier était clair : à mesure que les capacités de l’IA progressent rapidement, notre capacité à garantir que ces systèmes demeurent sûrs, privés et alignés avec les valeurs humaines devient de plus en plus cruciale.
Les priorités clés découlant de la recherche incluent :
La voie à suivre exige une collaboration continue entre le milieu universitaire et l’industrie, des méthodes d’évaluation rigoureuses et, peut-être surtout, de l’humilité face aux défis à venir alors que nous construisons des systèmes d’IA de plus en plus puissants.
Comme ces chercheurs l’ont démontré, relever les défis liés à la sécurité et à la vie privée en apprentissage automatique nécessite à la fois des percées théoriques et des solutions pratiques. L’atelier a mis en lumière que, bien que des progrès significatifs soient réalisés, la collaboration continue entre le milieu universitaire et l’industrie sera essentielle à mesure que les systèmes d’IA deviennent plus répandus dans la société.
Notre communauté de recherche reconnue fait avancer des percées dans la science et l’application de l’IA.
