Par Jonathan Woods
1er juin 2022
L’IA digne de confiance est un sujet en constante évolution, mais crucial pour les organisations qui utilisent l’IA aujourd’hui. Le 29 mai, la CIBC a organisé une discussion informelle intitulée « Recherche en IA : IA digne de confiance et MLOps » afin d’approfondir cette question. Trois intervenants y ont pris la parole :
- Aditya Anne, scientifique principale des données à CIBC
- Deval Pandya , directeur de l'ingénierie en intelligence artificielle à l'Institut Vector
- Ozge Yeloglu , vice-présidente de l'analyse avancée d'entreprise chez CIBC, qui a également animé la discussion
Cet événement s'inscrivait dans le cadre des Journées analytiques de CIBC, un forum interne réunissant divers employés occupant des postes liés aux données et à l'analytique. L'objectif était de partager les meilleures pratiques et les principaux enseignements, de présenter des travaux et des projets analytiques, et d'apprendre dans un environnement interactif. Avec la participation de 70 membres de l'équipe CIBC, cette discussion animée a abordé les notions générales d'IA de confiance, les approches aux défis courants et la place du MLOps et de l'opérationnalisation. Voici quelques-unes des idées partagées lors de cette conversation :
Qu'est-ce qu'une IA fiable ?
Les systèmes d'IA peuvent engendrer des risques sans précédent pour les entreprises qui les utilisent. Sans contrôle, les défis spécifiques à l'IA liés aux biais, à la protection de la vie privée, à la sécurité, à l'explicabilité et à la robustesse peuvent nuire aux entreprises, aux clients et à la société dans son ensemble. L'IA de confiance désigne l'ensemble des principes et pratiques visant à tenir compte de ces nouveaux risques et à guider le développement et la gestion éthiques des systèmes d'IA.
« En général, une IA digne de confiance est une IA développée selon des principes qui favorisent la confiance entre toutes les parties prenantes », a déclaré Anne. « Toutefois, il n'existe pas de définition unique, standard et universellement acceptée de l'IA digne de confiance. »
Bien que de bonnes pratiques existent, il incombe principalement aux organisations qui l'utilisent de déterminer ce qui répond exactement à la notion d'IA digne de confiance, les risques précis qu'elle cherche à atténuer et la manière dont elle est mise en œuvre pour s'assurer qu'elle ne nuise pas aux parties prenantes.
La confiance est nécessaire à l'innovation en IA
Les progrès en matière d'IA dépendent de la capacité de gagner et de maintenir la confiance des parties prenantes quant à la maîtrise et au suivi des risques spécifiques à l'IA afin d'éviter les conséquences imprévues. Anne explique : « Si l'IA n'est pas développée de manière fiable, si les gens ne lui font pas confiance, elle perd toute crédibilité. On freine alors l'innovation. Une IA fiable est synonyme d'innovation. Si l'IA n'est pas développée de manière fiable, les dirigeants pourraient cesser de la soutenir. Les clients perdront confiance et se tourneront vers une autre entreprise. »
Cette attention portée aux multiples parties prenantes est essentielle. Pour que l'innovation se poursuive, toutes les personnes concernées par un système d'IA doivent lui faire confiance absolue. Anne a précisé : « Il ne s'agit pas seulement de la confiance envers les clients, mais aussi envers l'IA : les scientifiques des données, les autorités réglementaires, l'équipe de vente qui utilise le système et les dirigeants qui le soutiennent. »
Le défi « sociotechnique » de l'IA digne de confiance
La fiabilité de l'IA ne se limite pas à une simple question technique. Pandya a souligné qu'elle implique des « exigences éthiques » fondées sur des valeurs humaines, en plus des ensembles de données, des architectures et des processus utilisés par les équipes d'IA. Ces valeurs nécessitent une concertation et ne peuvent être définies unilatéralement par une seule équipe ou entreprise. C'est pourquoi la définition des limites techniques pour chaque cas d'utilisation de l'IA exige une réflexion approfondie sur ces valeurs, une diversité de points de vue et de contributions, ainsi qu'une réévaluation constante des hypothèses.
Un exemple frappant de ce défi est l'équité, un concept complexe en IA qui fait l'objet de plusieurs définitions concurrentes. En général, l'équité vise à s'assurer que les systèmes d'IA ne produisent pas de résultats biaisés ou discriminatoires à l'égard d'individus ou de groupes . Les intervenants ont convenu que l'équité est probablement le concept d'IA de confiance le plus difficile à saisir, car il existe de nombreuses approches différentes, mais toutes valables, de cette notion, et qu'elles sont généralement négociées dans un contexte social plus large, dépassant le cadre d'une seule équipe ou entreprise.
Anne a dit : « La question la plus complexe [concernant l’IA de confiance], en termes de diversité de points de vue et de débats, concerne probablement l’équité, car elle est profondément sociale. L'équité comporte des aspects à la fois sociaux et techniques. De nombreux débats auront lieu sur la meilleure façon d’appréhender l’équité pour chaque cas d’utilisation, ainsi que sur la définition et les indicateurs appropriés. »
Comparaison des institutions financières
Les deux intervenants ont jugé les institutions financières très avancées dans certains aspects de l'IA de confiance. « La responsabilité, la transparence et la protection de la vie privée sont probablement bien mieux maîtrisées dans les banques », a déclaré Anne. Les banques mettent l'accent sur plusieurs de ces principes depuis la création de la première banque en Italie. » Il a poursuivi : « En matière d'innovation, après les entreprises technologiques, c'est le secteur financier qui innove le plus dans le domaine de l'IA. De même, Pandya a souligné que des questions telles que « la protection de la vie privée et la sécurité sont depuis longtemps au cœur de toute activité impliquant des données dans le secteur financier. »
Anne a ensuite énuméré les concepts sur lesquels les équipes de la CIBC se concentrent. « La protection de la vie privée est primordiale », a-t-il déclaré, faisant référence aux travaux de conception menés sur la protection de la vie privée, notamment la confidentialité différentielle, l'apprentissage fédéré et le k-anonymat. Mais il a aussi ajouté : « Il y a la sécurité, l'équité, la transparence, la robustesse, la fiabilité, ainsi que la responsabilité. »
Fiducie et fournisseurs tiers
Les produits intégrant l'IA posent un problème complexe aux organisations qui s'approvisionnent auprès de fournisseurs tiers : comment les acheteurs peuvent-ils s'assurer que ces produits répondent à des critères de confiance essentiels tels que l'équité, la protection de la vie privée et la robustesse ? De plus, les fournisseurs peuvent être réticents à divulguer des renseignements pertinents s'ils estiment que leur propriété intellectuelle est menacée.
Lors des achats, une communication claire avec les fournisseurs concernant les attentes est primordiale. Pandya a dit : « Il faut expliquer clairement quels sont les principes d’une IA digne de confiance pour une organisation. Anne a acquiescé : « Nous devons communiquer nos normes en matière d’IA digne de confiance, nos exigences minimales d’équité et d’explicabilité. Et ils devront faire de même. »
Cependant, un problème persiste, selon Anne : « Nous n’avons pas accès à leurs données d’évaluation ni aux données ayant servi à l’entraînement de leur algorithme. » Cela signifie que la vérification préalable doit comprendre des questions explicites concernant ces données. Il explique : « Nous leur demandons donc : « Vos données sont-elles représentatives de la population ? Quels indicateurs de rendement en matière d’équité utilisez-vous ? Pourquoi les utilisez-vous ? À quelle fréquence contrôlez-vous votre modèle selon ces indicateurs ? Que faites-vous une fois que votre indicateur d’équité dépasse un certain seuil acceptable ? » En posant ces questions, on cherche à déterminer si leur processus d'évaluation de l'équité est semblable au nôtre - si ça nous convient - parce que sans accès aux données, on ne peut pas faire ces calculs nous-mêmes. On doit se fier à eux. »
Par ailleurs, Pandya a exprimé son scepticisme quant au bien-fondé des préoccupations relatives à la propriété intellectuelle : « Je pense que de nombreuses entreprises ont une conception de la propriété intellectuelle qui ne permet aucune différenciation. Si je pense aux progrès réalisés dans le domaine de l’apprentissage machine et de l’apprentissage profond en particulier, tout est open source et très peu d’organisations en dehors du monde universitaire développent réellement des algorithmes ou des méthodes novateurs. Je pense donc que je commencerais par les demander : « Est-ce vraiment une question de propriété intellectuelle ou doutez-vous simplement de la fiabilité de vos systèmes ? » »
Le MLOps est essentiel pour parvenir à une IA digne de confiance.
Le MLOps – un ensemble de pratiques pour le développement efficace de bout en bout de solutions d'apprentissage automatique fiables, évolutives et reproductibles – « constitue le pont entre les principes de l'IA de confiance et la pratique », selon Pandya. Anne acquiesce : « Le MLOps rend l'IA de confiance possible. Il affirme même que « le MLOps est le seul moyen de déployer l'IA de confiance à grande échelle ».
Il y a deux raisons principales à cela.
Tout d'abord, le MLOps, en s'intéressant à l'ensemble du processus d'apprentissage machine, offre plus de possibilités pour traiter les questions de confiance et mesurer les résultats que si l'on se concentrait uniquement sur un modèle ou un jeu de données. Anne explique : « Un pipeline est composé de plusieurs éléments. Nous avons donc un pipeline d'entraînement, qui comprend l'extraction, le nettoyage, l'entraînement et la validation des données. Imaginons maintenant que l'on souhaite intégrer les principes de l'IA de confiance à un pipeline. On aurait alors un composant qui effectue une évaluation de l'équité des données, en utilisant une métrique d'équité comme contrainte. On peut aussi tenir compte de l'explicabilité. On peut concevoir un composant dédié à l'explicabilité et l'intégrer au pipeline. »
Deuxièmement, comme l'a souligné Pandya, le MLOps introduit une nouvelle pratique de développement essentielle. Il a expliqué : « En DevOps, l'accent est mis sur l'intégration continue et le déploiement continu. Un élément clé supplémentaire du MLOps est la surveillance et les tests continus. » La gestion des problèmes d'incertitude, de dérive des données et de conséquences imprévues – autant d'éléments importants pour maintenir la confiance – n'est possible que si les équipes suivent de près les systèmes et leurs résultats.
En conclusion de l'événement, tous les participants ont salué la collaboration entre Vector et la CIBC, rendue possible grâce au rôle de la banque en tant que commanditaire fondateur de Vector. Les conférenciers ont mis en lumière les travaux réalisés dans le cadre du Bootcamp de Vector sur les techniques d'amélioration de la protection de la vie privée et du projet collaboratif et multidisciplinaire de leadership éclairé « IA digne de confiance » . Ali Taiyeb, directeur de l'innovation sectorielle chez Vector, a également souligné la participation de la CIBC au projet « Décalage de données » , qui a permis d'obtenir des informations qui sont actuellement approfondies et développées au sein de la CIBC. M. Taiyeb a également présenté le projet de prévision de Vector, dont les résultats, selon Andrew Brown, directeur général du groupe Solutions alternatives et de Simplii Financial chez CIBC, feront l'objet d'une prochaine session d'Analytics Edge. « C'était un plaisir de travailler avec Vector », a déclaré M. Brown. « Nous partagerons les enseignements tirés de la formation de Vector sur les techniques avancées de prévision, ce qui devrait être utile à nos équipes chez CIBC. »
La modératrice Ozge Yeloglu a conclu l'événement en soulignant l'appréciation mutuelle des participants au projet, représentants de CIBC et de Vector : « C'est toujours un plaisir de générer de nouvelles idées, non pas pour le simple plaisir de la recherche, mais pour voir comment nous pouvons concrètement les appliquer à nos activités », a-t-elle déclaré. « C'est très précieux pour nous. »
