Par Jonathan Woods
7 septembre 2022

Comprendre et atténuer les préjugés est une question vitale dans l'application des systèmes d'IA, en particulier pour les entreprises. Il s'agit également d'un sujet complexe. Elle exige non seulement la maîtrise des techniques de correction des biais, mais aussi la connaissance des pratiques de gouvernance spécifiques à l'IA et une réflexion approfondie sur la signification de l'équité dans un contexte donné. Si l'on n'y prend pas garde, les préjugés dans les systèmes d'IA peuvent renforcer la discrimination historique inscrite dans les ensembles de données, nuire injustement aux utilisateurs et porter atteinte à la réputation d'une organisation - autant de résultats inacceptables.

Pour aider les petites et moyennes entreprises canadiennes à relever ce défi, l'Institut Vecteur, avec le soutien financier du Programme d'aide à la recherche industrielle du Conseil national de recherches du Canada (PARI-CNRC), a créé l'initiative suivante Biais dans l'IAun programme en ligne, indépendant de l'industrie, conçu pour aider les professionnels à développer les outils et les compétences nécessaires pour identifier et réduire les biais dans les applications de traitement du langage naturel (NLP) et de vision par ordinateur (CV).

Dix-huit participants de six entreprises ont assisté à la conférence Bias in AI pendant cinq semaines entre février et avril 2022. Le programme interactif comprenait des ateliers et des tutoriels animés par des experts de la communauté Vecteur, ainsi que des missions dans lesquelles ces participants :

• Explorer les outils et les meilleures pratiques en matière d'IA
• Les fondamentaux de la PNL et du CV
• Entraînement d'un modèle de génération de texte GPT2/BERT, analyse des facteurs de biais
• Développement d'un modèle de classification des CV pour comprendre les influences liées aux préjugés
• Application de techniques visant à réduire les biais dans les modèles NLP et CV

Enfin, chaque entreprise a appliqué les connaissances acquises à sa propre activité dans le cadre d'un projet final qui a été présenté pour évaluation à la fin du programme.

Le programme est adapté aux équipes de science des données au sein des petites et moyennes entreprises, car ce groupe, qui utilise de plus en plus l'IA, peut avoir du mal à se tenir au courant des recherches et des meilleures pratiques pour atténuer les préjugés. Melissa Valdez, responsable du cours, a déclaré : "Nous savons que les startups, les scaleups et les petites et moyennes entreprises n'ont pas nécessairement les ressources nécessaires pour se concentrer sur ce sujet au niveau requis."

Dan Adamson, PDG d'Armilla - une entreprise qui a rejoint la cohorte Bias in AI de l'hiver 2022 - apprécie le fait que le programme se penche sur la complexité du problème. "Nous pensons qu'il est vraiment important que chaque scientifique des données ait cette formation sous-jacente comme base, parce que le sujet est beaucoup plus compliqué que ce qu'ils ont probablement appris en sortant de leur cours d'informatique ou de leur cours de base de science des données", a déclaré Adamson.

M. Adamson a souligné que l'inclusion d'éléments non techniques essentiels à la gestion des préjugés constituait un point fort du programme. "Je pense que le cours a abordé les préjugés sous plusieurs angles, ce qui est très important car il ne s'agit pas seulement d'un problème technique", a-t-il déclaré. "Il doit y avoir un aspect de gouvernance, et vous devez être en mesure de comprendre les principes commerciaux et éthiques qui se cachent derrière. Le cours a fait un très bon travail en décrivant chacun de ces aspects de manière intégrée".

Armilla aide les scientifiques des données à effectuer une assurance qualité sur les modèles d'apprentissage automatique (ce qui inclut la recherche de biais) par le biais de leur plateforme et offre des services d'audit pour aider à maintenir la confiance dans ces modèles. Dans le cadre de ce cours, l'équipe d'Armilla a travaillé sur un projet axé sur les données et les systèmes de ressources humaines - un sujet sur lequel l'entreprise reçoit de nombreuses demandes - et sur une question concernant ce qu'ils pouvaient détecter pour savoir si les promotions étaient réparties équitablement entre les hommes et les femmes dans un ensemble de données. Les résultats "ont soulevé des questions à la fois éthiques et techniques" concernant l'équité dans les systèmes d'embauche et de promotion, a déclaré Mme Adamson, ce qui a nécessité l'expérimentation de techniques de correction, y compris le réentraînement des modèles.

"C'était une étude de cas intéressante", a déclaré Mme Adamson. "Nous voulions nous assurer que nos scientifiques des données restaient à la pointe de la technologie, et nous avons utilisé [le projet] comme un exercice pour que notre équipe soit sur la même longueur d'onde.

EthicalAI, une société de conseil en IA qui aide les entreprises à utiliser l'IA de manière responsable, a adopté une approche différente pour corriger les biais dans son projet de cours : elle a créé des données synthétiques pour obtenir des ensembles de données plus équilibrés. Pour ce faire, ils ont expérimenté des modèles génératifs multimodaux - des modèles d'IA non supervisés qui peuvent générer de nouvelles données similaires à celles d'un ensemble de données original - afin de créer de nouvelles variations d'images faciales existantes. Leur idée était qu'un ensemble de nouvelles variations pourrait inclure les caractéristiques de race, de sexe ou d'autres variables protégées qui pourraient être sous-représentées dans l'ensemble de données original. Ces variations seraient insérées dans l'ensemble de données original, qui pourrait alors être utilisé pour former un modèle en aval d'une manière qui serait moins susceptible de favoriser de manière inappropriée un type de visage par rapport à un autre.

Thor Jonsson, cofondateur d'EthicalAI, a déclaré : "Je peux utiliser le modèle génératif pour créer un échantillon égal de personnes d'apparence différente. Il s'agit donc essentiellement d'injecter de nouvelles données dans l'ensemble de données, ce qui nous permet de créer un équilibre égal entre les personnes d'âges, d'ethnies, de sexes différents, etc.

L'intérêt, explique M. Jonsson, est que "cela ne dépend pas du fait que j'étiquette les photos d'un homme ou d'une femme. Il s'agit plutôt de se demander quelles sont les différentes façons dont les visages peuvent être représentés, et de s'assurer que ces visages rares sont représentés, quel que soit l'ensemble de données dont dispose quelqu'un. Il s'agit vraiment de créer un moyen automatisé de s'assurer que personne n'est jamais affecté par le fait d'être dans la minorité".

L'équipe d'EthicalAI développe actuellement le travail réalisé dans le cadre du cours, en allant au-delà des images 2D typiques pour voir comment le travail d'atténuation s'applique aux images 3D de personnes. Elle a également exprimé son intérêt pour le développement de produits d'IA basés sur le projet.

M. Jonsson, lui-même chercheur en IA, reconnaît que le programme a permis à l'équipe d'explorer plus avant la pointe de la technologie. "Le cours nous a vraiment permis de mieux comprendre ce créneau de la communauté des chercheurs", a déclaré M. Jonsson. "Ce cours nous a permis de nous lancer dans la compréhension des idées les plus récentes et les plus pointues qui ont émergé pour s'attaquer à ce type de problèmes.

Pour les autres petites et moyennes entreprises qui utilisent l'IA, M. Jonsson a un message à faire passer : "Tous ceux qui utilisent l'IA aujourd'hui et qui ne font pas d'atténuation des préjugés doivent le faire.

M. Adamson partage ce sentiment : "Nous encourageons vivement toutes les organisations à commencer à envoyer leurs employés à ce niveau. Plus nous pousserons l'industrie dans cette direction, mieux ce sera pour tout le monde", a-t-il déclaré.

"Et bravo à Vector pour l'avoir rendu disponible".

Pour connaître le prochain cours sur les biais dans l'IA, communiquez avec votre conseiller en technologie industrielle (CTI) du PARI-CNRC, visitez le site Web du programme, ou inscrivez-vous au bulletin d'information de Vector.