L'adoption croissante de l'IA dans les entreprises impose de s'assurer que les modèles déployés sont fiables et sûrs pour les utilisateurs finaux. C'est le domaine de l'IA digne de confiance, un sujet de recherche et un ensemble de pratiques commerciales axées sur la gouvernance de l'IA, la gestion des risques, la surveillance des modèles, la validation et la remédiation. C'est un sujet avec lequel toutes les entreprises qui construisent ou adoptent l'IA devraient se familiariser.

Bien que les pratiques spécifiques liées à l'adoption d'une IA sûre et responsable puissent varier d'une organisation à l'autre, des thèmes généraux cohérents et des pratiques exemplaires ont émergé. Nous avons demandé à d'éminents chercheurs et professionnels de la communauté Vector d'identifier les thèmes clés de l'IA digne de confiance et d'offrir des conseils aux chefs d'entreprise chargés de mettre en œuvre l'IA au sein de leur organisation.

Équité : Se prémunir contre les préjugés

"Les aspects de l'IA digne de confiance qui reviennent le plus souvent sont liés à l'équité", explique Graham Taylor, directeur de recherche chez Vector. "Nous pouvons également lier les préjugés à l'équité. Lorsque nous parlons d'affaires, nous devrions identifier les sources de biais qui pourraient rendre les systèmes d'IA injustes."

La partialité est souvent citée comme une préoccupation majeure liée à la gestion responsable des systèmes d'IA, en particulier dans les cas où les modèles d'IA font des prédictions qui peuvent affecter les opportunités ou les expériences vécues par les gens. Selon M. Taylor, "il peut s'agir d'une décision concernant un emploi ou l'admission d'une personne dans une école supérieure, mais cela peut aussi être plus trivial - il peut s'agir de recommander une vidéo YouTube ou un produit à acheter, mais toutes ces décisions - qu'il s'agisse de grandes choses comme des changements de carrière ou de petites choses comme ce qu'il y a pour le dîner - nous affectent de différentes manières."

Foteini Agrafioti, directrice de l'institut de recherche Borealis AI à RBC, reconnaît que les considérations d'équité sont primordiales dans le domaine de l'IA. "Les biais sont généralement dus au fait que l'ensemble des données d'apprentissage est biaisé en faveur d'un groupe particulier, mais ils peuvent également résulter d'une mauvaise conception de certains algorithmes. Bien sûr, tous les algorithmes ne sont pas conçus de manière à entraîner des biais, mais quelle qu'en soit la cause, les entreprises ont l'obligation de veiller à ce que les systèmes d'IA ne discriminent pas involontairement des individus et des groupes par leurs prédictions.

M. Agrafioti note qu'une formation complémentaire sur l'équité est disponible sur la plateforme RESPECT AI de Borealis AI. Borealis AI a créé RESPECT AI pour sensibiliser à l'adoption responsable de l'IA et partager du code source ouvert, des recherches, des tutoriels et d'autres ressources pour la communauté de l'IA et les dirigeants d'entreprise à la recherche de conseils pratiques et de solutions pour permettre une adoption plus responsable de l'IA.

Explicabilité : dans quelle mesure un modèle doit-il être transparent ?

L'explicabilité est un sujet qui tient à cœur à Sheldon Fernandez. M. Fernandez est le PDG de DarwinAI, une entreprise qui fournit des solutions d'IA explicables pour les systèmes d'IA qui effectuent des inspections visuelles dans le secteur de la fabrication. Il explique que l'un des problèmes posés par certains systèmes d'IA complexes est qu'"ils peuvent être essentiellement des boîtes noires pour leurs propriétaires". Même les experts qui ont conçu ces systèmes n'ont parfois que très peu d'informations sur la manière dont les systèmes ont pris leurs décisions.

L'explicabilité est un sujet important dans les débats sur l'IA et la confiance. En termes simples, elle tourne autour d'une question : Dans quelle mesure est-il important de comprendre comment et pourquoi un modèle parvient à ses prédictions ?

Il est de notoriété publique que les modèles d'IA peuvent mettre en évidence des schémas dans les données trop subtils pour être perçus par les humains. Si leurs prédictions peuvent être très précises, le raisonnement qui a conduit à ces prédictions peut ne pas être intuitif ou explicable par les utilisateurs d'un système. Ils peuvent voir ce qu' un modèle a fait, mais ne pas comprendre pourquoi. Cela peut créer un dilemme sur ce qui est le plus propice à la confiance : un modèle opaque avec une précision maximale ou un modèle explicable mais moins performant ? Plus simplement, qu'est-ce qui servira le mieux les parties prenantes : la précision ou la transparence ?

Fernandez propose une ligne directrice. L'explicabilité est essentielle "dans les contextes où une opération critique est effectuée et est liée au bien-être humain", explique-t-il. "Si un [modèle] d'IA doit décider comment piloter un hélicoptère autonome et qu'il y a des gens à l'intérieur, il est évident que l'explicabilité sera importante. S'il s'agit de décider qui sera admis dans une certaine université ou non, ou si quelqu'un obtiendra un prêt hypothécaire, c'est tout à fait important. Examinons un autre scénario, dans lequel il détermine les livres qui vous sont recommandés sur Amazon lorsque vous naviguez. Oui, il serait bon de comprendre l'explicabilité dans ce cas, mais elle n'est pas impérative comme elle l'est dans les cas précédents.

Dans des contextes impliquant des décisions importantes en matière de soins de santé, d'emploi, de justice et de finances, les personnes concernées s'attendent souvent, à juste titre, à comprendre comment et pourquoi les décisions sont prises, et les chefs d'entreprise et les responsables techniques devraient prendre des mesures appropriées pour répondre à cette attente.

La sécurité : Protéger l'intégrité physique

Les systèmes d'IA interagissent de plus en plus avec des environnements physiques dans le cadre d'applications telles que la robotique industrielle ou les véhicules autonomes. Ce faisant, une nouvelle priorité de l'IA digne de confiance se fait jour : la sécurité.

Ces applications s'appuient souvent sur l'apprentissage par renforcement, une technique d'IA qui diffère de l'apprentissage profond en ce sens qu'elle n'apprend pas par le biais d'une formation initiale sur des ensembles de données. Au lieu de cela, un modèle d'apprentissage par renforcement commence par un objectif, puis explore un environnement défini, prend des mesures axées sur l'objectif et apprend des conséquences de ces mesures, en itérant vers l'optimisation, essentiellement à partir de zéro.

C'est en gravissant cette courbe d'apprentissage que des dangers peuvent survenir. Graham Taylor, de Vector, explique : "L'espace des actions que le robot peut entreprendre au cours de cette phase d'apprentissage n'est pas limité par une structure de règles qu'une personne a écrite et explicitement contrainte. Tous les processus d'apprentissage par renforcement comportent une part d'aléatoire et des problèmes de sécurité se posent lorsque des actions aléatoires sont effectivement entreprises. Il peut s'agir de sécurité dans le sens où la robotique apprend à effectuer une tâche, entreprend une action et interfère avec quelqu'un. Mais il peut aussi s'agir de dommages causés à la machine elle-même, comme si le robot entreprenait certaines actions qui le détruisaient. Personne ne souhaite déployer ces systèmes et détruire des infrastructures très coûteuses au cours du processus d'apprentissage.

Lorsque les systèmes d'IA interagissent avec des environnements physiques ou fonctionnent de manière aléatoire, les mesures d'atténuation des risques de sécurité devraient faire partie des pratiques de gouvernance.

Vie privée : L'anonymisation n'est peut-être pas suffisante

La vie privée et la confiance vont souvent de pair, et l'IA peut poser de nouveaux défis à cet égard.

"Nous avions l'habitude de penser que nous pouvions résoudre le problème de la protection de la vie privée si nous prenions un ensemble de données et que nous l'anonymisions, c'est-à-dire que nous supprimions simplement les noms et les identifiants directs des personnes concernées", explique Agrafioti. "Cependant, pour les systèmes modernes d'apprentissage automatique et d'apprentissage profond en particulier, où les grands volumes de données sont utilisés pour l'entraînement, les modèles peuvent découvrir beaucoup de détails sur une personne - ou même l'identifier carrément - même lorsque les caractéristiques directement liées à l'identité sont supprimées. Si vous disposez d'un grand nombre d'informations sur une personne, vous pouvez faire de la rétro-ingénierie et identifier cette personne, même si vous n'avez pas son nom."

Il incombe aux dirigeants d'entreprise de veiller à ce que leurs pratiques de gestion des données et de protection de la vie privée suivent l'évolution de la technologie de l'IA, et à ce que les chefs d'entreprise et les technologues travaillent ensemble pour garantir la mise en place de pratiques, de politiques et d'outils adéquats afin de suivre les risques et de les atténuer. Certains secteurs très réglementés, comme la finance, disposent d'un ensemble de bonnes pratiques en matière de protection de la vie privée, de risques et de gestion des données, mais tous les secteurs n'ont pas eu à opérer avec le même niveau d'attention. À l'échelle mondiale, les gouvernements sont attentifs à ces questions et mettent en place des lois et des politiques pour combler ces lacunes.

Les considérations relatives à la protection de la vie privée peuvent varier d'une application à l'autre, et différentes méthodologies - notamment la protection différentielle de la vie privée, l'apprentissage fédéré, le cryptage homomorphique ou la génération de données synthétiques - peuvent aider à y répondre.

Donner la priorité aux valeurs et à la gouvernance dans l'application de l'IA

Un élément clé de l'IA digne de confiance consiste à établir un cadre de gouvernance efficace spécifique à l'IA, avec des éléments tels que l'équité, l'explicabilité et la sécurité correctement intégrés.

Selon Deval Pandya, directeur de l'ingénierie de l'IA à l'Institut Vecteur, la conception de ce cadre de gouvernance commence par des valeurs. Selon Pandya, "l'IA digne de confiance a deux composantes principales. Le premier concerne les exigences éthiques. Cela se traduit par la question suivante : "Quelles sont les valeurs humaines et les valeurs de l'entreprise ? Quelles sont les valeurs humaines et les valeurs de l'entreprise ? Le deuxième élément est l'exigence technique. Comment [ces valeurs] se manifestent-elles dans la technologie que nous utilisons ? Ces valeurs - comme éviter la discrimination, donner la priorité à la transparence et protéger la vie privée - fournissent des contraintes qui devraient influencer la façon dont les organisations prennent des décisions concernant l'utilisation de l'IA.

"La plupart des entreprises disposent d'un moyen de valider et de tester les modèles [traditionnels, sans IA] avant de les mettre en production", explique M. Agrafioti. "Les systèmes modernes d'apprentissage automatique ont vraiment remis en question la façon dont les organisations procédaient traditionnellement. Il y a un nouvel ensemble de considérations à explorer lorsque l'on cherche à gouverner et à valider les modèles d'apprentissage automatique."

Un exemple de nouvelle considération est la dérive du modèle, qui se réfère à la dégradation des performances du modèle lorsque les modèles de distribution des données changent par rapport aux modèles historiques utilisés pour la formation. Agrafioti explique : "[Les modèles] changent avec le temps - ils ne sont pas statiques. Un modèle peut changer complètement de comportement dès le jour où vous le mettez en pratique. L'un des défis de l'IA est qu'il faut une gouvernance et des tests continus". Les chefs d'entreprise et les responsables technologiques doivent être conscients de ces nouveaux enjeux pour garantir une utilisation fiable et digne de confiance de l'IA à long terme.

Ces considérations s'appliquent également aux entreprises qui utilisent des produits d'IA provenant de fournisseurs tiers. Pour couvrir leurs besoins en matière d'IA digne de confiance lorsqu'elles achètent des produits, les organisations doivent communiquer leurs priorités aux fournisseurs et prendre des mesures pour s'assurer que ces derniers les respectent. M. Pandya explique : "Vous devez faire connaître les principes de l'IA digne de confiance pour votre organisation. Ensuite, il y a certaines choses qui sont faciles à évaluer, qui peuvent être évaluées très objectivement, comme les protocoles de protection de la vie privée, et d'autres, comme l'équité et la partialité, [qui] nécessiteront beaucoup plus de réflexion et d'efforts pour être évaluées et mises en œuvre."

M. Agrafioti partage cet avis : "[Les entreprises qui adoptent l'IA] devraient s'inquiéter à 100 % de tout produit de type boîte noire prêt à l'emploi. Faites preuve d'une grande diligence technique à l'égard de ces produits. Parlez-en à votre fournisseur. Assurez-vous que les modèles ont été validés sur de très grands ensembles de données dans un environnement comme le vôtre, car les domaines peuvent être très différents - les modèles peuvent mal se comporter dans un domaine et très bien se comporter dans un autre. Vous voulez vous assurer que dans votre espace, ils fonctionnent comme prévu.

Les cadres de gouvernance et une bonne gestion des risques devraient également aborder la question de la responsabilité lorsque les choses ne se déroulent pas comme prévu. M. Taylor décrit le problème : "J'ai souvent entendu dire que les systèmes d'apprentissage automatique étaient critiqués parce qu'il était difficile de rendre des comptes lorsque les choses tournaient mal. Je sais que les juristes qui s'intéressent à l'IA s'inquiètent de ce genre de choses. Il y a une catastrophe et elle implique un système d'apprentissage automatique. À qui attribue-t-on la responsabilité ? La personne qui collecte les données ? La personne qui entraîne le modèle ? La personne qui a écrit le code open source utilisé pour former le modèle ?"

Ces considérations et les réponses à ces questions doivent être envisagées avant le déploiement.

Collaboration : L'antidote à l'incertitude

La collaboration avec d'autres acteurs de l'écosystème de l'IA est l'un des moyens dont disposent les chefs d'entreprise pour se mettre au diapason de l'IA digne de confiance et des pratiques de gouvernance. Lorsqu'il s'agit de relever ces nouveaux défis, "il faudra un village", déclare Agrafioti. "Les entreprises devraient collaborer, car même un seul cas d'utilisation de l'IA qui nuit aux utilisateurs peut avoir un impact négatif sur l'industrie."

En Ontario, les possibilités de collaboration sont nombreuses. La plateforme RESPECT AI de RBC Borealis, mentionnée plus haut, partage librement l'expertise de RBC en matière d'explicabilité, d'équité, de robustesse, de confidentialité et de gouvernance avec l'ensemble de la communauté des affaires par le biais de codes téléchargeables, de boîtes à outils et d'articles.

L'Institut Vecteur fait également de la collaboration une priorité. Vector gère des projets industriels - tels que les projets Trustworthy AI et Accelerate AI - qui réunissent ses sponsors industriels et les chercheurs de Vector pour relever d'importants défis liés aux applications, y compris ceux liés à la gouvernance de l'IA. Pour les entreprises en croissance, Vector propose le programme FastLane, qui fournit des informations issues des projets Vector aux petites et moyennes entreprises qui utilisent l'IA aujourd'hui ou qui souhaitent passer de l'analyse de données traditionnelle à l'IA dans un avenir proche.

M. Taylor explique : "Vector veut être un agent neutre qui apporte une expertise et un soutien impartiaux à ces organisations - en particulier les plus petites qui participent au programme FastLane - et les met en contact avec des experts spécifiques qui peuvent les aider à réaliser des audits ou à évaluer la légitimité des bases de code, ou simplement les aider à prendre des décisions".

Les cas d'utilisation transformateurs, les gains de productivité et la nouvelle efficacité que les applications d'IA peuvent apporter sont passionnants, mais le bien-être et la confiance des utilisateurs sont cruciaux. Qu'elles soient grandes ou petites, qu'elles construisent ou qu'elles adoptent, les entreprises qui utilisent l'IA doivent reconnaître et gérer les nouvelles questions liées à une IA fiable et éthique, en particulier à mesure que le domaine évolue.

S'engager auprès de la communauté de l'IA est l'un des meilleurs moyens d'y parvenir et de veiller à ce que les promesses de l'IA se concrétisent pleinement et de manière responsable.

Pour en savoir plus sur le travail de Vector avec l'industrie, y compris sur l'IA digne de confiance, visitez la page des partenaires industriels de Vector de Vector ici.