Par Jonathan Woods
21 mars 2022
Cet article fait partie de notre série sur l'IA de confiance. Dans le cadre de cette série, nous publierons un article par semaine.
- Interprétabilité
- Justice
- Gouvernance
Dans l'article de cette semaine, l'équipe Innovation industrielle de Vector examine l'équité dans l'apprentissage automatique et analyse les risques et principes spécifiques à l'apprentissage automatique afin d'aider les intervenants non techniques à mieux comprendre, communiquer et participer à la gestion des risques liés aux modèles d'apprentissage automatique.
La gouvernance est essentielle à une utilisation responsable des modèles d'apprentissage machine (AA). L'équité , un élément complexe mais crucial de la gestion des risques liés aux modèles d'AA, constitue un volet important de cette gouvernance.
Avec l'automatisation croissante des décisions dans tous les secteurs d'activité, une question se pose : comment assurer l'équité de ces décisions ? La réponse est complexe. D'abord, la notion d'équité fait l'objet de nombreuses définitions, parfois contradictoires . Ensuite, même avec une définition claire, les biais peuvent être dissimulés et subtils. Malgré les mesures prises pour les éliminer, des biais peuvent réapparaître, causant des risques pour les clients, les utilisateurs et l'organisation qui utilise le système d'apprentissage automatique.
Ce guide sur l'équité en apprentissage automatique explique en termes simples les risques et principes spécifiques à l'IA afin d'aider les intervenants non techniques à mieux comprendre, communiquer et participer à la gestion des risques liés aux modèles d'IA. Dans le cadre de ce document, le terme « équitable » signifie non discriminatoire envers les groupes protégés, que ce soit en raison de la race, du sexe, du genre, de la religion, de l'âge ou de tout autre attribut protégé similaire.
Renforcer ou perpétuer des préjugés historiques est indésirable pour plusieurs raisons. La première est d'ordre éthique : les valeurs sociétales modernes condamnent la marginalisation fondée uniquement sur la présence d'un attribut protégé . Une autre raison est que de tels préjugés contreviennent probablement aux valeurs affichées par la plupart des organisations. Une autre raison encore est d'ordre juridique : une organisation peut être tenue responsable des décisions injustes prises par ses algorithmes. De plus, des pratiques injustes largement médiatisées – même involontaires – peuvent engendrer d'importants risques financiers et de réputation. Enfin, d'un point de vue plus général, concernant l'adoption de l'IA, les cas d'injustice peuvent miner la confiance dans l'IA, or cette confiance est essentielle à son adoption et à l'exploration de la valeur ajoutée de cette technologie.
Comprendre comment les biais peuvent apparaître dans l'apprentissage machine
Les biais dans l'apprentissage machine peuvent survenir de diverses manières. Certaines sont évidentes – par exemple, une collecte de données négligente – tandis que d'autres sont plus subtiles et insidieuses. Les acteurs des systèmes d'apprentissage machine et de leurs résultats doivent connaître les différentes sources de biais afin de pouvoir en identifier les causes potentielles et poser les questions nécessaires pour s'assurer qu'elles sont prises en compte.
Préjugé dans les données historiques
Les biais liés à des pratiques discriminatoires passées peuvent être présents dans les données historiques utilisées pour l'apprentissage automatique. À titre d'exemple, prenons le « redlining », une pratique consistant à refuser systématiquement un service, comme un prêt hypothécaire ou une assurance, ou à le surfacturer en fonction du lieu de résidence du demandeur. Certains quartiers étant associés à des membres d'un groupe protégé, le redlining peut indûment corréler la solvabilité à un seul attribut – par exemple, l'origine ethnique – alors que cet attribut ne devrait pas entrer en ligne de compte. Si un système d'apprentissage machine est entraîné sur des données historiques contenant des traces de redlining, ce même groupe de personnes risque d'être discriminé à l'avenir.
Préjugé dans la collecte de données
Les problèmes d'échantillonnage et de mesure lors de la collecte de données peuvent engendrer des ensembles de données biaisés. Un biais d'échantillonnage survient lorsque la méthode de collecte aboutit à un échantillon non représentatif de la population étudiée. Par exemple , la publication d'un questionnaire dans un magazine, à remplir et à renvoyer, peut produire un échantillon biaisé, car les personnes disposées à consacrer du temps et de l'énergie à répondre au questionnaire ne sont pas nécessairement représentatives de l'ensemble des lecteurs. Un biais de mesure se produit lorsque des erreurs d'échantillonnage affectent les données. Par exemple, des enquêteurs mal formés peuvent recueillir des informations pertinentes, mais inclure des données en dehors de la période étudiée, faussant ainsi les résultats.
Préjugé dans la conception des modèles
Un biais algorithmique survient lorsqu'un modèle produit des résultats faussés en raison d'hypothèses erronées formulées par le modélisateur ou d'une mauvaise mise en œuvre du modèle par les praticiens. Par exemple, l'exclusion de critères financiers pertinents peut entraîner l'application d'un taux d'intérêt plus élevé, voire le refus pur et simple d'un prêt, à des emprunteurs pourtant éligibles.
Préjugés en raison de la corrélation des caractéristiques
La corrélation possible entre certaines caractéristiques sensibles et non sensibles peut engendrer des biais . Une caractéristique, telle que définie précédemment, est une propriété ou une variable individuelle utilisée comme entrée dans un système d'apprentissage automatique. Prenons l'exemple d'un modèle prédisant les prix de l'immobilier. Les caractéristiques peuvent inclure l'emplacement, la superficie, le nombre de chambres, le prix de vente précédent et d'autres attributs. Dans une perspective d'équité, une caractéristique « sensible » est un attribut identifiant un groupe protégé, par exemple la race, le sexe, le genre, etc. Les praticiens peuvent supprimer les caractéristiques sensibles d'un ensemble de données lors de sa préparation afin de réduire le risque de biais. Cependant, cela pourrait ne pas être suffisant pour assurer l'équité. En effet, certaines caractéristiques non sensibles peuvent être fortement corrélées à des caractéristiques sensibles. Par exemple, l'utilisation du revenu comme caractéristique peut servir d'indicateur du genre dans le cadre de l'étude d'une profession où un genre est systématiquement sous-payé. Dans ce cas, le genre n'a pas besoin d'être une caractéristique explicite pour en devenir une. Autrement dit, catégoriser les personnes selon leurs revenus dans une profession donnée peut de fait les catégoriser selon leur sexe, que ce soit intentionnel ou non.
Autre particularité : les modèles peuvent aussi déduire des informations sensibles grâce à l'analyse de plusieurs caractéristiques apparemment sans lien. Comme les modèles d'apprentissage automatique excellent dans la détection de schémas, il arrive que quelques informations générales, prises ensemble, suffisent à révéler des données sensibles sur un individu . Un incident célèbre de l'an 2000 illustre cette possibilité. Dans les années 1990, une compagnie d'assurance américaine a publié des données anonymisées concernant les visites à l'hôpital des employés de l'État. Ces données comprenaient la date de naissance, le sexe et le code postal. Une chercheuse a démontré qu'à partir de ces trois seules informations, elle pouvait réidentifier – par leur nom – près de 90 % de la population du pays. La leçon à retenir, c'est que la suppression des informations sensibles des ensembles de données n'est pas toujours suffisante pour empêcher leur découverte.
Comment les organisations devraient-elles aborder la question de l'équité dans l'apprentissage machine ?
Compte tenu des nombreux écueils liés aux biais que peuvent rencontrer les praticiens, comment les organisations peuvent-elles garantir l'équité lors de l'utilisation de l'apprentissage machine ? Bien qu'il existe des réponses très techniques à cette question, de manière générale, les praticiens et les intervenants devraient suivre les principes énoncés ci-dessous.
- Examinez les exigences d'équité pour chaque cas d'utilisation individuellement.
Les critères d'équité varient selon l'utilisation prévue du modèle. Par exemple, les modèles ayant un impact direct sur les clients peuvent exiger une approche plus rigoureuse que ceux utilisés pour des processus internes à moindre enjeu, comme les décisions relatives au personnel. Il faut évaluer la sensibilité du cas d'usage concerné afin d'en déterminer les risques, la définition appropriée de l'équité et le niveau d'attention requis.
- Prioriser l'équité à chaque étape
Chaque étape du processus d'apprentissage machine doit être examinée sous l'angle de l'équité. L'équité doit être une préoccupation constante tout au long des phases de définition des tâches, de construction des ensembles de données, de définition du modèle, d'entraînement, de test et de déploiement. Le suivi de l'équité, des données d'entrée et de la performance du modèle doit être continu.
- Inclure divers intervenants
Impliquez divers acteurs et de multiples perspectives dans la conception, l'interprétation et le suivi des modèles afin d'identifier les sources potentielles de biais dans les données, la conception du modèle ou la sélection des caractéristiques. Certains biais peuvent être subtils et sont plus facilement repérables lorsqu'un groupe aux profils et expériences variés travaille sur la question.
- Impliquez les humains quand c'est nécessaire.
Pour les modèles utilisés dans des cas critiques, il est essentiel d'inclure l'intervention humaine. Les experts humains doivent avoir la possibilité de corriger les décisions du modèle si un biais est détecté ou même suspecté dans les résultats.
En bref
L'équité dans l'apprentissage machine est un sujet complexe. Définir précisément ce que signifie « équitable » dans un cas donné exige de tenir compte des normes sociétales et sectorielles, de consulter les équipes techniques internes qui conçoivent les pipelines d'apprentissage automatique et implémentent les modèles, et d'échanger avec diverses parties prenantes. Quelle que soit sa complexité, l'équité mérite toute notre attention. Elle est essentielle au déploiement responsable de l'apprentissage machine et doit faire partie intégrante de la gouvernance des risques liés aux modèles, de la conception à la mise en œuvre et au suivi. La compréhension des concepts clés relatifs à l'équité permet aux intervenants non techniques de participer et de contribuer à cet aspect important du processus de gouvernance.
