Interprétabilité de l'apprentissage machine : nouveaux défis et approches

Par Jonathan Woods

14 mars 2022

Cet article fait partie de notre série sur l'IA de confiance. Dans le cadre de cette série, nous publierons un article par semaine.

• Interprétabilité
• Justice
• Gouvernance

Dans l'article de cette semaine, l'équipe Innovation industrielle de Vector analyse les défis liés à l'interprétabilité du ML afin d'aider les organisations à repenser leur gouvernance et propose des principes généraux pour la gouvernance de l'interprétabilité des modèles de ML.

L'interprétabilité des modèles est un élément clé de la gouvernance de l'apprentissage automatique. La capacité de prédire de manière cohérente le résultat d'un modèle et de comprendre comment il y est parvenu est essentielle pour répondre à des questions importantes, notamment :

• Peut-on se fier au modèle qu'on utilise ?
• Comprenons-nous le fonctionnement de ce modèle ?
• Pouvons-nous expliquer comment le modèle en est arrivé à ses conclusions ?

L'interprétabilité n'est pas un problème nouveau. La gouvernance des modèles logiciels traditionnels, « fondés sur des règles », exige généralement une compréhension approfondie de leur fonctionnement. Cependant, l'apprentissage machine (AA) soulève de nouveaux défis qui complexifient considérablement l'interprétabilité et rendent les techniques conventionnelles obsolètes. En raison des caractéristiques uniques de l'AA, l'utilisation des approches d'interprétabilité traditionnelles peut même s'avérer contre-productive, entraînant involontairement des conséquences néfastes et érodant plus généralement la confiance dans les systèmes d'apprentissage.

Il est facile d'imaginer des contextes où des réponses claires sur le fonctionnement d'un modèle peuvent s'avérer cruciales. Les médecins et les patients peuvent exiger une grande clarté d'interprétation pour comprendre les recommandations du modèle concernant les interventions médicales et les plans de traitement. Les entreprises de médias en ligne peuvent souhaiter une transparence totale lorsque des abus, des pratiques injustes ou d'autres contenus problématiques sont susceptibles de se produire et d'être amplifiés. Les enquêteurs pourraient avoir besoin de savoir comment un modèle de véhicule autonome a pu prendre des décisions qui ont mené à un accident.

À première vue, une solution semble intuitive : rendre les modèles d'apprentissage automatique aussi interprétables que possible par défaut. Malheureusement, c'est plus complexe. Dans certains cas, améliorer l'interprétabilité implique un compromis avec les performances du modèle, et il n'existe pas de norme permettant de déterminer quand privilégier l'un ou l'autre. Pour mieux comprendre ce problème, prenons l'exemple hypothétique suivant (paraphrasé), proposé par Geoffrey Hinton, conseiller scientifique en chef de Vector. Imaginons un patient devant subir une opération et devoir choisir entre un chirurgien virtuel, dont le fonctionnement est opaque mais qui affiche un taux de guérison de 90 %, et un chirurgien humain dont le taux de guérison est de 80 %. Quel choix est le plus judicieux pour le patient ? [1] Les cliniciens doivent-ils exiger une transparence totale du modèle afin de connaître précisément son fonctionnement tout au long de l'opération, même au détriment de sa performance ? Ou doivent-ils accepter de renoncer à cette transparence pour offrir au patient les meilleures chances de succès ?

Ce type de décision devra être prise pour les applications d'apprentissage machine dans l'ensemble de l'industrie et de la société en général. Le problème est qu'il n'existe actuellement aucun consensus sur la réponse appropriée, ni même sur la manière d'aborder la question.

De toute évidence, un avenir où l'apprentissage machine (AA) sera largement adopté nécessitera une confiance tacite généralisée. Idéalement, l'AA deviendra une technologie aussi fiable que l'électricité. Tout le monde sait que l'électricité présente des risques, et pourtant personne ne craint d'incendier sa maison en allumant la lumière. Pour que la société atteigne ce niveau de confiance envers cette nouvelle technologie, il sera essentiel d'acquérir des connaissances et de mettre en œuvre de bonnes pratiques en matière de gestion des risques, adaptées à l'AA. Comprendre les difficultés et déterminer le niveau d'interprétabilité approprié pour chaque cas d'utilisation, ainsi que les moyens d'y parvenir, sera crucial pour leur développement. Faute de quoi, l'AA risque d'être reléguée à des tâches mineures, privant ainsi la société de son immense potentiel.

La première étape est de comprendre le défi. Dans ce document, l'équipe Innovation industrielle du Vector Institute analyse les difficultés d'interprétabilité liées à l'apprentissage machine afin d'aider les organisations à repenser sa gouvernance. Les défis liés au secteur, aux objectifs, à la complexité et aux limites techniques sont abordés séparément avant que le document ne propose des principes généraux pour la gouvernance de l'interprétabilité des modèles d'apprentissage automatique. Les conclusions de ce document ont été enrichies par les contributions de différents partenaires industriels du Vector Institute.

Défis de l'apprentissage machine : les pratiques d'interprétabilité traditionnelles ne sont plus à la hauteur

Les cadres de gouvernance des risques liés aux modèles incluent généralement un volet d'interprétabilité. Cependant, les pratiques souvent utilisées pour les logiciels classiques ne sont pas suffisamment fiables pour gérer efficacement les risques lorsqu'elles sont appliquées aux modèles d'apprentissage automatique. Examinons quelques-unes des difficultés liées à l'application des techniques d'interprétabilité classiques à l'apprentissage machine :

• Interpréter le comportement global du modèle . Une connaissance approfondie de la structure, des hypothèses et des contraintes d'un modèle conventionnel peut suffire à déterminer avec certitude son fonctionnement. Cependant, en apprentissage machine, les résultats des modèles reposent sur des interactions conditionnelles entre des variables dépendantes et indépendantes, ce qui rend souvent leur fonctionnement trop complexe pour être décrit par un simple ensemble de règles. De nombreux modèles d'apprentissage automatique ne comportent ni coefficients explicites ni tests de signification statistique pour une variable donnée, ce qui rend extrêmement difficile la détermination des pondérations attribuées à une variable dans les différents calculs effectués lors du fonctionnement du modèle. Cela limite la compréhension approfondie d'un modèle par la seule connaissance de sa conception.
• Interprétabilité des caractéristiques. Une compréhension complète de chaque caractéristique – c’est-à-dire chaque propriété individuelle ou variable indépendante utilisée comme entrée dans un système – peut contribuer à une compréhension globale du fonctionnement du modèle. Cependant, l'ingénierie automatisée des caractéristiques se généralise. Par exemple, les modèles génératifs peuvent créer leurs propres entrées. À mesure que cette tendance se poursuit, il pourrait devenir plus difficile de comprendre pleinement les caractéristiques et d’utiliser cette compréhension pour éclairer le fonctionnement du modèle.
• Transparence de la solution . Traditionnellement, la transparence des détails techniques d'un modèle facilite la compréhension de son fonctionnement. En apprentissage machine, ces détails peuvent inclure le nombre de couches d'un réseau neuronal ou les nœuds et divisions d'un arbre de décision. Malheureusement, la simple connaissance de ces détails ne suffit pas toujours à comprendre comment sont effectuées les prédictions spécifiques. 
• La capacité de reproduire systématiquement les résultats d'un modèle avec les mêmes données d'entrée est une méthode permettant de déterminer son fonctionnement. Cependant, en apprentissage machine, la complexité du modèle, la variabilité du matériel et le coût de calcul peuvent rendre la reproduction des résultats difficile et extrêmement coûteuse.

Il est clair que répondre aux besoins d'interprétabilité en matière de gouvernance des modèles d'apprentissage automatique nécessitera de nouvelles techniques supplémentaires.

Ambiguïtés et incertitudes liées à l'interprétabilité de l'apprentissage automatique

En l'absence de normes, plusieurs difficultés compliquent l'élaboration et l'intégration de pratiques d'interprétabilité pertinentes dans la gouvernance. Il est essentiel que les organisations qui cherchent à définir leurs exigences et leurs méthodes d'interprétabilité prennent conscience de chacune de ces difficultés. Ces principales difficultés peuvent être regroupées en quatre catégories :

• défis propres à l'industrie ;
• défis liés aux buts et aux objectifs ;
• défis liés à la complexité des modèles ; et
• défis liés à la technique.

Les tableaux suivants détaillent les problématiques de chaque catégorie, en décrivant les défis rencontrés, leurs implications et leurs impacts potentiels sur les clients ou les utilisateurs finaux.

Défis de l'industrie

Les exigences en matière d'explicabilité varient selon les secteurs d'activité. Un secteur où la plupart des applications présentent des enjeux faibles – comme la planification des effectifs – peut ne pas exiger de normes d'interprétabilité strictes, le risque de préjudice ou de conséquences imprévues étant relativement faible. Cela dit, les normes d'interprétabilité ne visent pas seulement à réduire les risques, mais aussi à renforcer la confiance dans l'apprentissage machine en général. L'ampleur de cette démarche nécessite probablement des discussions et des négociations au cas par cas entre les organisations et leurs parties prenantes.

Le tableau ci-dessous décrit certains des principaux défis sectoriels que les entreprises doivent prendre en compte lorsqu'elles réfléchissent à la manière dont l'interprétabilité s'intégrera à la gouvernance de l'utilisation de leurs modèles d'apprentissage automatique.

Tableau 1 : Défis de l'industrie

Défis liés aux objectifs et à l'approche

Le degré d'interprétabilité approprié d'un modèle dépend de son utilisation. Il arrive souvent que les capacités prédictives des modèles « boîte noire » surpassent largement celles des humains, et que se fier aux résultats du modèle permette d'obtenir des résultats de meilleure qualité. Modifier le modèle pour accroître sa transparence peut en réduire les performances. Dans ces cas, il est essentiel de trouver le juste équilibre entre transparence et qualité des résultats. Ce choix est subjectif et dépend des valeurs et des normes de l'organisation, du secteur d'activité et de la société en général.

D'autres facteurs peuvent influencer l'approche de l'interprétabilité. L'un d'eux concerne le degré de confiance des organisations envers les services d'« apprentissage automatique explicable », présentés comme capables de fournir une description complète du fonctionnement des modèles opaques. Il convient d'aborder ces services avec un sain scepticisme. Une confiance mal placée pourrait mener à privilégier l'interprétabilité dans certains cas d'utilisation, alors que cela serait justifié. Un autre problème réside dans le risque d'activités malveillantes – comme la manipulation et les attaques – susceptibles d'affecter les résultats du modèle. Si ce risque est élevé ou conséquent, il pourrait être préférable de privilégier l'interprétabilité au détriment des performances.

Le tableau ci-dessous décrit chacun de ces problèmes ainsi que leurs impacts potentiels.

Tableau 2 : Objectifs et défis liés à l’approche

défis liés à la complexité des modèles

Des performances accrues du modèle s'accompagnent souvent d'une plus grande complexité, ce qui réduit fréquemment son interprétabilité. Il peut exister des limites techniques quant au niveau d'interprétabilité qu'on peut espérer avec un modèle particulièrement complexe.

Le tableau ci-dessous décrit les défis et les impacts de la complexité du modèle.

Tableau 3 : Défis liés à la complexité du modèle

Limites techniques

Chaque technique d'interprétabilité a ses limites. Par exemple, l'interprétabilité a posteriori – c'est-à-dire l'interprétation du fonctionnement d'un modèle après coup, par le biais d'explications en langage naturel ou de visualisations – peut fournir des informations utiles et s'avérer tentante, car elle ne nécessite aucune modification du modèle susceptible d'en dégrader les performances. Toutefois, la prudence est de mise : on peut se laisser convaincre par des explications plausibles mais incomplètes – voire totalement erronées – simplement parce qu'elles semblent correspondre à une observation. Si les techniques existantes sont assurément utiles, il ne faut pas les considérer comme des méthodes infaillibles garantissant l'interprétabilité.

Le tableau 4 décrit différentes techniques d'interprétabilité post hoc ainsi que leurs risques et leurs contrôles.

Le tableau 5 décrit certaines limites techniques et leurs implications.

Tableau 4. Techniques d'interprétabilité post-hoc ML

Tableau 5 : Limites de la technique

Principes : Aborder l’interprétabilité dans un contexte d’ambiguïté

Face à ces défis, comment une organisation peut-elle aborder la question de l'interprétabilité et l'intégrer à un cadre de gouvernance approprié ? Voici quelques principes généraux pour comprendre l'interprétabilité dans la gestion des risques liés aux modèles.

1. Définir la gouvernance du modèle

Chaque organisation doit définir ce qu'est la gouvernance, en tenant compte de sa taille, de ses valeurs, des normes de son secteur et des intérêts de ses parties prenantes. Les mécanismes de contrôle doivent respecter les principes d'équité et d'acceptabilité sociale et couvrir toutes les étapes du cycle de vie du modèle, de sa conception à son déploiement et son suivi. La formulation de ces principes et concepts constitue une première étape essentielle.

2. S'assurer que l'interprétabilité fait partie intégrante de la gouvernance

L'interprétabilité doit être prise en compte dans l'évaluation des risques liés aux modèles d'apprentissage machine et s'inscrire dans la stratégie globale de l'entreprise en matière de gestion de ces risques. Le niveau d'interprétabilité souhaité pour un modèle doit être défini dès sa conception afin de minimiser les compromis en termes de performance et les impacts négatifs potentiels.

3. S'efforcer d'acquérir une connaissance approfondie des modèles

Bien que l'acquisition d'une connaissance approfondie du fonctionnement d'un modèle ou des caractéristiques générées par les modèles d'apprentissage machine présente des défis, l'objectif doit toujours être d'en optimiser la compréhension. Cela inclut la compréhension des sources de données ou des entrées utilisées, de la structure du modèle, des hypothèses sous-jacentes à sa conception et des contraintes existantes. Cette connaissance est essentielle pour démontrer la validité conceptuelle d'un modèle d'IA/ML et sa pertinence pour un cas d'utilisation.

4. Lorsque l'interprétabilité est absolument nécessaire, optez pour des modèles intrinsèquement interprétables.

Lorsqu'un cas d'utilisation et son contexte exigent que le fonctionnement d'un modèle soit transparent, il peut être plus judicieux de concevoir des modèles intrinsèquement interprétables plutôt que d'appliquer des approches et des techniques qui tentent d'atteindre l'interprétabilité a posteriori. Bien qu'un certain nombre d'approches et de techniques puissent améliorer l'interprétabilité même dans les modèles d'apprentissage automatique, il peut être plus efficace de concentrer les efforts sur la conception de modèles intrinsèquement interprétables dans des scénarios à enjeux élevés ou à haut risque.

5. Évitez une approche unique.

Les organisations devraient envisager d'utiliser différentes techniques en fonction du risque associé au modèle d'apprentissage machine dans chaque application spécifique. Cela implique d'éviter les approches prescriptives ou standardisées pour définir les exigences d'interprétabilité du modèle, car elles peuvent mener à la sélection de modèles et de technologies sous-optimaux.

6. S'engager dans un suivi continu et un apprentissage continu

Apprendre à évaluer les risques avec précision, à déterminer le compromis optimal entre précision et performance pour chaque cas d'utilisation et modèle, et à choisir les meilleures approches pour une organisation et un secteur d'activité exige du temps, un suivi continu des résultats du modèle et un apprentissage constant. Les organisations doivent raffiner leur compréhension des techniques, des risques et des résultats de chaque modèle et application, afin de mieux saisir le rôle de l'interprétabilité dans la gouvernance et d'adapter leur approche aux différents contextes.

En bref

L'apprentissage machine offre une occasion en or d'améliorer la productivité, l'innovation et le service à la clientèle dans tous les secteurs. Cependant, cette technologie comporte des risques et il n'existe pas de solution miracle pour les atténuer. Pour tirer pleinement parti du potentiel de l'apprentissage machine, il est essentiel de trouver un moyen de progresser de manière responsable avec cette technologie, malgré cette incertitude.

La confiance – des employés, des clients et du grand public – sera essentielle pour tirer pleinement parti des avantages de l'apprentissage automatique. Pour établir cette confiance, les organisations doivent définir et adopter des pratiques de gouvernance appropriées pour leurs modèles d'apprentissage automatique, notamment en matière d'interprétabilité. Cela implique de comprendre les défis spécifiques que posent ces modèles pour l'interprétabilité, ainsi que les étapes permettant de déterminer le degré de transparence requis, les méthodes pour l'assurer et les éléments à prendre en compte pour identifier les compromis appropriés à chaque cas d'usage.

[1] https://twitter.com/geoffreyhinton/status/1230592238490615816?lang=en