Par Jonathan Woods
29 mars 2022

Cet article fait partie de notre série sur l'IA digne de confiance. Dans le cadre de cette série, nous publierons un article par semaine sur les thèmes suivants

• Interprétabilité
• L'équité
• Gouvernance

Dans l'article de cette semaine, l'équipe Innovation industrielle de Vector se penche sur la robustesse des modèles en définissant son importance dans la gouvernance, en décomposant cinq nouveaux problèmes posés par les modèles de ML et en proposant des lignes directrices générales pour la gouvernance de la robustesse des modèles dans la pratique. 

Pour de nombreuses organisations, la concrétisation des promesses de l'apprentissage automatique en matière de nouveaux produits et d'optimisation des opérations a été un véritable défi. Les entreprises ont découvert que les applications d'apprentissage automatique diffèrent des logiciels traditionnels à plusieurs égards importants. La complexité des données, les coûts d'ingénierie et de calcul, et les nouvelles exigences en matière de gouvernance ont tous ralenti l'adoption. La gouvernance et les contrôles ont constitué un défi particulièrement difficile à relever. L'incertitude entourant les nouveaux risques a été intensifiée par certains échecs très publics utilisant la ML, et il ne faut pas s'étonner que les organisations soient prudentes à l'égard de cette technologie. Étant donné que les normes sont encore en cours d'élaboration et que les faux pas peuvent avoir des conséquences financières et de réputation réelles, il est logique de pécher par excès de prudence - même si le coût d'opportunité de la non-utilisation des systèmes de ML là où ils pourraient apporter de la valeur peut être important.

L'une des clés pour surmonter l'incertitude et avancer dans la mise en œuvre est une bonne gouvernance de la ML. Heureusement, moyennant quelques ajustements, les cadres de risque existants pour les modèles non ML peuvent être adaptés pour tenir compte des algorithmes d'apprentissage et de leurs caractéristiques uniques.

Ce document examine un élément de la gouvernance des risques liés aux modèles de ML : la robustesse des modèles. Il définit son importance dans la gouvernance, analyse cinq nouveaux problèmes posés par les modèles de ML et propose des lignes directrices générales pour la gouvernance de la robustesse des modèles dans la pratique. Ce document s'adresse principalement aux professionnels non techniques afin de leur permettre de comprendre les concepts clés, de participer au processus de gouvernance et de poser des questions éclairées lorsqu'il s'agit d'appliquer les ML de manière responsable. En fin de compte, ces connaissances peuvent permettre aux organisations de maximiser la valeur qu'elles tirent des systèmes de ML.

Qu'est-ce que la robustesse d'un modèle ?

La robustesse d'un modèle fait référence à la mesure dans laquelle les performances d'un modèle changent lors de l'utilisation de nouvelles données par rapport aux données d'apprentissage. Dans l'idéal, les performances ne devraient pas varier de manière significative. La robustesse est importante pour un certain nombre de raisons. Tout d'abord, la confiance dans un outil dépend de la fiabilité de ses performances. La confiance peut s'éroder lorsque les performances d'un système de ML sont imprévisibles et difficiles à comprendre. Deuxièmement, un écart par rapport aux performances prévues peut indiquer des problèmes importants qui nécessitent une attention particulière. Il peut s'agir d'attaques malveillantes, de phénomènes non modélisés, de biais non détectés ou de modifications importantes des données. Pour s'assurer qu'un modèle fonctionne conformément à l'objectif visé, il est essentiel de comprendre, de surveiller et de gérer la robustesse dans le cadre de la gouvernance du risque de modèle.

Comprendre et surveiller cinq éléments pour maintenir la robustesse du modèle ML

Pour assurer la robustesse d'un modèle, il est nécessaire de comprendre et de gérer un certain nombre de défis techniques. Nous définissons ci-dessous ces défis et énumérons les éléments à prendre en compte pour chacun d'entre eux. Ce recueil devrait constituer une liste de contrôle fiable des éléments à prendre en compte pour gérer la robustesse du modèle.

La gestion de la robustesse des modèles nécessite de comprendre les défis spécifiques liés à :

• la qualité des données
• Décroissance du modèle
• stabilité des caractéristiques
• précision vs. rappel
• perturbations d'entrée

Qualité des données

La qualité des données peut avoir un effet significatif sur les performances du modèle. La qualité des données fait référence à l'exactitude, à l'exhaustivité et à la clarté des données introduites dans un système d'apprentissage automatique. Plus l'ensemble de données est faible pour chacune de ces dimensions, plus le système est susceptible de s'écarter de ses performances habituelles. Un certain nombre de problèmes peuvent avoir un impact sur la qualité des données. Les ensembles de données peuvent être biaisés, ce qui conduit à des résultats de modèles qui favorisent ou défavorisent certains groupes de manière injuste. Des données plus anciennes peuvent capturer des schémas qui ont évolué depuis, conduisant le modèle à fournir des résultats qui ne sont plus pertinents. Des scénarios importants peuvent être sous-représentés ou absents des données d'entraînement, ce qui entraîne l'omission de caractéristiques essentielles à la performance. Les praticiens conscients du besoin de robustesse devraient commencer par la qualité des données, en s'assurant que les ensembles de données d'entraînement et du monde réel sont complets, précis et pertinents. Dans le cas contraire, la fiabilité des résultats du modèle pourrait être compromise.

Considérations : Avant d'utiliser un modèle, il faut envisager d'examiner et de conserver l'ensemble de données d'origine pour s'assurer qu'elles sont complètes, pertinentes et exactes.

Décroissance du modèle

Au fil du temps, la capacité prédictive d'un modèle peut se dégrader. Dans les secteurs dynamiques et les environnements en évolution, de nouvelles distributions de données peuvent apparaître et différer des distributions historiques utilisées pour former les modèles. Lorsque la différence est importante, elle peut avoir un impact sur la fiabilité des prédictions d'un système. Cette différence entre les données d'entraînement et les données de test est appelée "changement d'ensemble de données".
Lorsqu'elle est importante - peut-être en raison d'événements majeurs dans le monde réel qui entraînent des changements soudains et significatifs dans le comportement des personnes - elle doit être corrigée. Les techniques de correction du modèle ou le réentraînement du modèle à l'aide de données plus récentes peuvent rétablir la précision du modèle. Une autre version du déclin est la dérive conceptuelle, qui se produit lorsque la distribution des données reste la même, mais que notre interprétation de la relation entre deux ou plusieurs caractéristiques des données change. Dans ce cas, un modèle peut produire des résultats qui sont exacts selon ses entrées, mais qui ne sont plus pertinents.

Considérations : Surveiller et suivre tout changement dans les performances du modèle, et se familiariser avec les techniques de correction qui peuvent permettre un recalibrage plus rapide et moins coûteux qu'un réentraînement complet du modèle sur un ensemble de données mis à jour.

Stabilité des caractéristiques

Une caractéristique est une propriété ou une variable individuelle utilisée comme entrée dans un système de ML. Prenons l'exemple d'un modèle qui prédit les prix des logements. Les caractéristiques peuvent inclure l'emplacement d'une maison, sa taille, le nombre de chambres, le prix de vente précédent ou tout autre élément. La variation fréquente de caractéristiques importantes peut avoir un impact sur la stabilité d'un modèle. Des problèmes peuvent également survenir si des observations pertinentes mais inédites sortent de la fourchette observée dans les données d'apprentissage.

Considérations : Lors de la surveillance d'un modèle, il convient de suivre délibérément l'évolution des caractéristiques en tant qu'indicateur de la stabilité du modèle.

Précision vs rappel

La précision est une mesure de l'exactitude du fonctionnement du modèle. Le rappel est une mesure de l'exhaustivité ou de la quantité. Une "grande précision" signifie qu'un modèle renvoie beaucoup plus de résultats pertinents que de résultats non pertinents. Un "rappel élevé" signifie qu'un modèle renvoie la plupart des résultats pertinents disponibles. Il est souvent nécessaire de trouver un compromis entre la précision et le rappel lors de l'apprentissage d'un modèle, et les praticiens doivent déterminer quel est le meilleur équilibre pour un cas donné. Un mauvais équilibre peut avoir un impact sur la robustesse du modèle.

Considérations : En règle générale, la précision est importante lorsqu'un faux positif constitue un problème critique (par exemple, dans un contexte bancaire, les fausses alertes à la fraude peuvent créer un volume de travail susceptible de submerger une équipe). Le rappel est important lorsqu'un faux négatif constitue un problème critique (par exemple, la disqualification incorrecte de prospects marketing qui entraîne des opportunités de vente manquées). L'étalonnage de la précision par rapport au rappel doit être effectué pour chaque modèle.

Perturbations d'entrée

Dans certains cas, les modèles peuvent être trompés par des écarts dans les données d'entrée. Même de petites perturbations au niveau des données d'entrée peuvent entraîner des changements au niveau de la sortie du système. Ce phénomène peut être exploité à des fins malveillantes. L'"empoisonnement des données" est un type d'attaque contre un système de ML dans lequel les données utilisées pour former un modèle sont intentionnellement contaminées afin de compromettre le processus d'apprentissage.

Éléments à prendre en considération : Envisager des stratégies d'atténuation, notamment un échantillonnage approfondi des données (y compris les valeurs aberrantes, les tendances, les distributions, etc.) et la constitution d'un "ensemble de données en or" - un ensemble de données validé avec des cas sélectionnés provenant de sources connues et pour lesquels le comportement attendu est connu - afin de garantir l'intégrité des données d'entrée.

Comment les organisations peuvent-elles gérer la robustesse des ML ?

Compte tenu de ces défis, comment les organisations peuvent-elles aborder et gérer la robustesse ? Voici quelques principes généraux que les organisations peuvent suivre :

1. Commencer par les données. Veillez à ce que la collecte, l'étiquetage et l'ingénierie des données soient exhaustifs, complets et exacts.
2. Obtenir un consensus sur les compromis entre précision et rappel. Soyez conscient de l'existence de ce compromis et obtenez l'avis de toutes les parties prenantes sur les risques liés aux faux négatifs et aux faux positifs dans chaque cas d'utilisation afin de garantir que ce compromis est optimisé pour chaque application.
3. Déterminer un calendrier de recyclage. Pour maintenir la précision du modèle, il convient d'identifier le calendrier de recyclage approprié en évaluant sa performance et en surveillant sa dégradation au fil du temps.

En résumé

Les opérations et caractéristiques uniques des systèmes de ML présentent de nouveaux risques qui doivent être gérés et nécessitent des ajustements aux éléments de la gouvernance du risque de modèle, y compris la robustesse. Heureusement, en prenant conscience des nouveaux problèmes de robustesse que posent les modèles de ML et en les décomposant, les organisations peuvent y remédier et renforcer la confiance dans les modèles de ML qu'elles déploient.