Par Jonathan Woods
1er juin 2022

L'IA digne de confiance est un sujet en évolution, mais crucial pour les organisations qui utilisent l'IA aujourd'hui. Le 29 mai, la Banque CIBC a organisé une discussion informelle intitulée AI Research : Trustworthy AI & MLOps afin d'approfondir ce sujet. Trois intervenants étaient présents :

• Aditya Anne, Scientifique principal en matière de données à la Banque CIBC
• Deval PandyaDirecteur de l'ingénierie de l'IA à l'Institut Vecteur
• Ozge Yelogluvice-président de Enterprise Advanced Analytics à la CIBC, qui a également animé la séance.

L'événement faisait partie de la série Analytics Day de la CIBC, un forum interne dans lequel divers employés jouant un rôle dans les données et l'analyse se réunissent pour partager les meilleures pratiques et les principaux apprentissages, présenter le travail et les projets analytiques, et apprendre dans un environnement interactif. Avec 70 membres de l'équipe CIBC présents, cette discussion animée a abordé les notions générales de l'IA digne de confiance, les approches des défis courants et la façon dont les MLOps et l'opérationnalisation s'intègrent. Voici quelques-unes des idées qui ont été partagées au cours de la conversation :

Qu'est-ce que l'IA digne de confiance ?

Les systèmes d'IA peuvent présenter des risques nouveaux et uniques pour les entreprises qui les utilisent. Si l'on n'y prend garde, les défis spécifiques à l'IA liés à la partialité, à la protection de la vie privée, à la sécurité, à l'explicabilité et à la robustesse peuvent nuire aux entreprises, aux clients et à la société dans son ensemble. L'IA digne de confiance désigne l'ensemble des principes et pratiques destinés à prendre en compte ces nouveaux risques et à guider le développement et la gestion éthiques des systèmes d'IA.

"D'une manière générale, l'IA digne de confiance est une IA développée selon des principes qui favorisent la confiance entre toutes les parties prenantes concernées", a déclaré Anne. "Cependant, il n'existe pas de définition unique, standard et universellement acceptée de l'IA digne de confiance. 

Bien qu'il existe des bonnes pratiques, la responsabilité de déterminer exactement ce qui satisfait à la notion d'IA digne de confiance, les risques précis qu'elle cherche à atténuer et la manière dont elle est mise en œuvre pour garantir que l'IA ne porte pas préjudice aux parties prenantes incombe principalement aux organisations qui l'utilisent. 

La confiance est nécessaire à l'innovation en matière d'IA

Les progrès de l'IA dépendent de l'obtention et du maintien de la confiance des parties prenantes dans le fait que les risques spécifiques à l'IA seront atténués et contrôlés afin d'éviter des résultats imprévus. Anne explique : "Si l'IA n'est pas développée de manière fiable, si les gens ne lui font pas confiance, elle perd sa crédibilité. En fait, on inhibe l'innovation. Une IA digne de confiance est l'innovation. Si vous ne développez pas l'IA de manière fiable, les cadres pourraient cesser de l'approuver. Les clients perdront confiance et se tourneront vers une autre entreprise.

Cette attention portée aux nombreuses parties prenantes est essentielle. Pour que l'innovation se poursuive, il faut que toutes les personnes concernées par un système d'IA lui fassent implicitement confiance. Anne a précisé : "Il ne s'agit pas seulement de la confiance envers les clients, mais aussi de la confiance des scientifiques des données envers l'IA, de la confiance des régulateurs envers l'IA, de la confiance de l'équipe commerciale qui utilise le système d'IA et de la confiance des dirigeants qui l'approuvent."

Le défi "socio-technique" de l'IA digne de confiance

L'IA digne de confiance n'est pas une question strictement technique. M. Pandya a souligné qu'elle implique des "exigences éthiques" fondées sur des valeurs humaines, en plus des ensembles de données, des architectures et des processus avec lesquels les équipes d'IA travaillent. Ces valeurs nécessitent une négociation sociale et ne peuvent pas toujours être définies unilatéralement par une équipe ou une entreprise. C'est pourquoi la détermination des garde-fous techniques pour chaque cas d'utilisation de l'IA nécessite une réflexion rigoureuse sur ces valeurs, une diversité de points de vue et de contributions, ainsi qu'un réexamen permanent des hypothèses.

Un excellent exemple de ce défi est l'équité, un concept complexe de l'IA qui fait l'objet de plusieurs définitions concurrentes. En règle générale, l'équité consiste à s'assurer que les systèmes d'IA ne produisent pas de résultats biaisés ou discriminatoires pour des individus ou des groupes.. Les intervenants ont convenu que l'équité est probablement le concept d'IA digne de confiance le plus difficile à aborder en raison du fait qu'il existe de nombreuses approches différentes, mais valables, de la notion, et qu'elles sont généralement négociées dans un contexte social plus large, au-delà d'une équipe ou d'une entreprise.

Anne a déclaré : "La question la plus difficile [celle de l'IA digne de confiance] en termes de diversité des points de vue et de débats est probablement celle de l'équité, parce qu'il s'agit d'une question sociale. L'équité comporte des aspects sociaux et des aspects techniques. Il y aura de nombreux débats sur la bonne façon d'envisager l'équité pour un cas d'utilisation donné, ainsi que sur la bonne définition et la bonne mesure.

Comment les institutions financières se positionnent-elles ?

Les deux intervenants ont estimé que les institutions financières étaient très avancées dans certains aspects de l'IA digne de confiance. "L'obligation de rendre des comptes, la responsabilité et la protection de la vie privée sont probablement bien en avance dans les banques", a déclaré Anne. "Les banques ont mis l'accent sur bon nombre de ces principes, peut-être depuis la création de la première banque en Italie. Il poursuit : "En termes d'innovation, après les entreprises technologiques, c'est le secteur financier qui innove le plus en matière d'IA." De même, M. Pandya a souligné le fait que des questions telles que "la protection de la vie privée et la sécurité ont longtemps été l'épine dorsale de tout ce qui concerne les données dans le secteur financier." 

Anne a ensuite énuméré les concepts sur lesquels les équipes de la CIBC se concentrent. "Le respect de la vie privée est le plus important", a-t-il déclaré, évoquant le travail de conception de la vie privée effectué avec la confidentialité différentielle, l'apprentissage fédéré et le k-anonymat. Mais il y a aussi, a-t-il ajouté, "la sécurité et la sûreté, l'équité, la transparence et l'explicabilité, la robustesse et la fiabilité, ainsi que l'obligation de rendre compte et la responsabilité".

Confiance et fournisseurs tiers

Les produits intégrant l'IA posent un problème délicat aux organisations qui achètent des produits et des services à des fournisseurs tiers : comment les acheteurs peuvent-ils savoir si ces produits sont à la hauteur des principaux critères de confiance tels que l'équité, la confidentialité et la robustesse ? Le défi est d'autant plus grand que les fournisseurs peuvent refuser de divulguer des détails pertinents s'ils estiment que la propriété intellectuelle est menacée.

Lors de l'approvisionnement, il est primordial de communiquer clairement avec les fournisseurs sur les attentes. Selon M. Pandya, "il faut faire connaître les principes de l'IA digne de confiance pour une organisation". Anne est d'accord. "Nous devons communiquer nos normes en matière d'IA digne de confiance, nos attentes minimales en matière d'équité et d'explicabilité. Et ils devraient faire de même", a-t-il ajouté.

Cependant, selon Anne, un problème subsiste, un problème subsiste, selon Anne : "Nous n'avons pas accès à leurs données d'évaluation ou aux données sur lesquelles ils ont formé leur algorithme". Cela signifie que la diligence raisonnable doit inclure des questions explicites sur ces données. Nous leur demandons donc : "Vos données sont-elles représentatives de la population ? Quels paramètres de performance en matière d'équité utilisez-vous ? Pourquoi les utilisez-vous ? À quelle fréquence contrôlez-vous ces paramètres dans votre modèle ? En posant ces questions, nous essayons de déterminer si leur processus d'évaluation de l'équité est similaire au nôtre - s'il est acceptable pour nous - car sans accès aux données, nous ne pouvons pas faire ces calculs nous-mêmes. Nous devons nous fier à eux.

Par ailleurs, M. Pandya a exprimé son scepticisme quant au bien-fondé des préoccupations concernant la propriété intellectuelle : "Je pense que beaucoup d'entreprises ont une idée de ce qu'est la propriété intellectuelle qui n'est pas du tout différenciatrice. Quand je pense aux progrès de l'apprentissage automatique et de l'apprentissage profond en particulier, tout est open source et très peu d'organisations en dehors du monde universitaire développent vraiment de nouveaux algorithmes ou de nouvelles méthodes. Je pense donc que je commencerais par revenir en arrière et par les mettre au défi : "S'agit-il vraiment d'une question de propriété intellectuelle ou n'êtes-vous tout simplement pas sûrs que vos systèmes sont dignes de confiance ou non ?"

MLOps est la clé de la réalisation d'une IA digne de confiance

MLOps - un ensemble de pratiques pour le développement efficace de bout en bout de solutions d'apprentissage automatique fiables, évolutives et reproductibles - "est le pont entre les principes [de l'IA digne de confiance] et la pratique", selon les termes de M. Pandya. Anne est d'accord : "MLOps rend possible l'IA digne de confiance". En fait, il est allé jusqu'à dire que "la seul seul moyen d'opérationnaliser l'IA digne de confiance à grande échelle est le MLOps".

Il y a deux raisons principales à cela.

Tout d'abord, le MLOps, qui s'intéresse à l'ensemble du pipeline d'apprentissage automatique, offre davantage de possibilités d'aborder les questions de confiance et de mesurer les résultats que le fait de se concentrer uniquement sur un modèle ou un ensemble de données. Anne explique : "Un pipeline se compose de plusieurs éléments. Vous avez donc un pipeline de formation, qui comprend l'extraction des données, le nettoyage des données, la formation et la validation. Supposons que vous souhaitiez intégrer les principes de l'IA digne de confiance dans un pipeline. Vous auriez un composant dans le pipeline qui effectue une évaluation de l'équité sur les données, en utilisant une métrique d'équité comme contrainte. Vous pouvez également penser à l'explicabilité. Vous pouvez concevoir un composant pour l'explicabilité et l'intégrer dans votre pipeline".

Deuxièmement, a noté M. Pandya, MLOps introduit une nouvelle pratique de développement cruciale. Il explique : "Dans DevOps, l'accent est mis sur l'intégration et le déploiement continus. La surveillance et les tests continus constituent un élément supplémentaire essentiel pour MLOps." La gestion des questions d'incertitude, de dérive des données et de conséquences involontaires - toutes importantes pour le maintien de la confiance - ne peut se faire que si les équipes assurent le suivi des systèmes et de leurs résultats.

Pour conclure, tous les participants ont salué la collaboration entre Vector et la CIBC, tous les participants ont fait l'éloge de la collaboration entre Vector et la CIBC, qui est rendue possible par le rôle de la banque en tant que commanditaire fondateur de Vector. Les intervenants ont souligné le travail effectué dans le cadre du Atelier sur les techniques d'amélioration de la protection de la vie privée et le programme Trustworthy AI et le projet de leadership éclairé collaboratif et multidisciplinaire de Vector. Ali Taiyeb, directeur de l'innovation industrielle chez Vector, a également souligné la participation de la CIBC à l'initiative "Dataset Shift". Projet Dataset Shift de la CIBCqui a permis d'obtenir des informations qui sont actuellement étudiées et développées au sein de la CIBC. M. Taiyeb a également évoqué le projet projet de Vectordont les résultats, selon Andrew Brown, directeur exécutif du Groupe des solutions de rechange et de Simplii Financial de la Banque CIBC, feront l'objet d'une prochaine séance d'Analytics Edge. "Nous avons eu beaucoup de plaisir à travailler avec Vector", a déclaré M. Brown. "Nous partagerons ce que Vector nous a appris sur les techniques avancées de prévision, et cela devrait être utile à nos équipes à la CIBC.

Le modérateur Ozge Yeloglu a conclu l'événement en exprimant l'appréciation mutuelle ressentie par les participants au projet de CIBC et de Vector : "C'est toujours un plaisir de trouver de nouvelles idées, et pas nécessairement de faire de la recherche pour le plaisir de faire de la recherche, mais de voir comment nous pouvons réellement appliquer ces choses dans nos entreprises", a-t-elle déclaré. "C'est très précieux pour nous.