L’adoption croissante de l’IA dans les affaires implique l’obligation de garantir que les modèles déployés soient fiables et sécuritaires pour les utilisateurs finaux. C’est le domaine de Trustworthy AI, un sujet de recherche et un ensemble de pratiques d’affaires axées sur la gouvernance de l’IA, la gestion des risques, la surveillance des modèles, la validation et la remédiation. C’est un sujet avec lequel toutes les entreprises qui développent ou adoptent l’IA devraient se familiariser.

Bien que les pratiques spécifiques concernant l’adoption sécuritaire et responsable de l’IA puissent varier d’une organisation à l’autre, des thèmes et des meilleures pratiques cohérents ont émergé. Nous avons demandé aux chercheurs et professionnels de premier plan de la communauté Vector d’identifier les thèmes clés liés à l’IA de confiance et d’offrir des conseils aux dirigeants d’entreprise chargés de mettre en œuvre l’IA dans leurs organisations.

Équité : Protéger contre les préjugés

« Les facettes de l’IA fiable qui émergent le plus sont liées à l’équité », explique Graham Taylor, directeur de la recherche chez Vector. « On peut aussi relier le biais à l’équité. Quand on parle d’affaires, il faut identifier les sources de biais qui pourraient rendre les systèmes d’IA injustes. »

Le biais est souvent cité comme une préoccupation clé liée à la gestion responsable des systèmes d’IA, particulièrement dans les cas où les modèles d’IA font des prédictions susceptibles d’affecter les opportunités ou les expériences vécues des personnes. Taylor dit : « Cela peut être une décision concernant un emploi ou l’admission de quelqu’un aux études supérieures, mais cela peut être plus trivial – cela peut être de leur recommander une vidéo YouTube ou un produit à acheter, mais toutes ces décisions – qu’il s’agisse de grandes choses comme des changements de carrière ou de petites choses comme ce qu’il y a à manger – nous affectent différemment. »

Foteini Agrafioti, responsable de l’institut de recherche Borealis en IA à la RBC, est d’accord pour dire que, en matière d’IA, les considérations d’équité sont primordiales. « Le biais provient généralement du biais de l’ensemble de données d’entraînement qui est biaisé en faveur d’un groupe particulier », note-t-elle, mais peut aussi résulter d’une « conception incorrecte de certains algorithmes ». Bien sûr, tous les algorithmes ne sont pas conçus de façon à mener à des biais, mais quelle que soit la cause, les entreprises ont l’obligation de s’assurer que les systèmes d’IA ne discriminent pas involontairement des individus et des groupes à travers leurs prédictions.

Agrafioti note que des formations complémentaires sur l’équité peuvent être trouvées sur la plateforme RESPECT AI de Borealis AI. Borealis AI a créé RESPECT AI pour sensibiliser à l’adoption responsable de l’IA et partager du code open source, des recherches, des tutoriels et d’autres ressources pour la communauté IA et les dirigeants d’entreprise à la recherche de conseils pratiques et de solutions pour permettre une adoption plus responsable de l’IA.

Explicabilité : À quel point un modèle doit-il être transparent?

L’explicabilité est un sujet cher à Sheldon Fernandez. Fernandez est le PDG de DarwinAI, une entreprise qui fournit des solutions d’IA explicables pour les systèmes d’IA effectuant des inspections visuelles en fabrication. Il explique qu’un défi avec certains systèmes d’IA complexes est qu'« ils peuvent essentiellement être des boîtes noires pour leurs propriétaires. Même les experts qui ont conçu ces systèmes ont parfois très peu de connaissances sur la façon dont les systèmes ont pris leurs décisions. »

L’explicabilité est un sujet important dans les débats sur l’IA et la confiance. En termes simples, cela tourne autour d’une question : à quel point est-il important de comprendre comment et pourquoi un modèle arrive à ses prédictions?

Il est bien connu que les modèles d’IA peuvent révéler des schémas dans les données trop subtils pour que les humains puissent les percevoir. Bien que leurs prédictions puissent être très précises, le raisonnement qui a mené à ces prédictions peut ne pas être intuitif ou explicable par les utilisateurs d’un système. Ils peuvent voir ce qu’un mannequin a fait, mais ils ne comprennent pas pourquoi. Cela peut poser un dilemme sur ce qui favorise le plus la confiance : un modèle opaque avec une précision maximale ou un modèle explicable moins performant? En termes plus simples, qu’est-ce qui servira le mieux les parties prenantes : l’exactitude ou la transparence?

Fernandez propose une ligne directrice. L’explicabilité est essentielle « dans les contextes où une opération critique est en cours liée au bien-être humain », dit-il. « Si un modèle d’IA doit décider comment piloter un hélicoptère autonome et qu’il y a des gens à l’intérieur, bien sûr que l’explicabilité sera importante. Si ça décide qui entre dans un certain collège ou non, ou si quelqu’un obtient une hypothèque, c’est absolument important. Regardons un autre scénario où cela détermine les livres recommandés sur Amazon lorsque vous parcourez. Oui, ce serait bien de comprendre l’explicabilité là-dessus, mais ce n’est pas impératif comme dans les cas précédents. »

Dans des contextes impliquant des soins de santé, de l’emploi, de la justice et des décisions financières, les personnes concernées s’attendent souvent à juste titre à comprendre comment et pourquoi les décisions sont prises, et les dirigeants d’affaires et techniques devraient prendre les mesures appropriées pour répondre à cette attente.

Sécurité : Protéger le physique

De plus en plus, les systèmes d’IA interagissent avec les environnements physiques grâce à des applications comme la robotique industrielle ou les véhicules autonomes. Au fur et à mesure qu’ils le font, une nouvelle priorité pour l’IA de confiance prend l’ampleur : la sécurité.

Souvent, à la base de ces applications se trouve l’apprentissage par renforcement, une technique d’IA qui diffère de l’apprentissage profond en ce qu’elle n’apprend pas par entraînement préalable sur des ensembles de données. Au lieu de cela, un modèle d’apprentissage par renforcement commence par un objectif, puis explore un environnement défini, entreprend des actions orientées vers un but et apprend des conséquences de ces actions, en progressant vers l’optimisation essentiellement à partir de zéro.

C’est en gravissant cette courbe d’apprentissage que des dangers peuvent apparaître. Graham Taylor de Vector explique : « L’espace d’action que le robot pourrait entreprendre durant cette phase d’apprentissage n’est pas limité par une structure de règles qu’une personne a écrite et explicitement contrainte. Il y a de l’aléatoire dans tous les processus d’apprentissage par renforcement, et les problèmes de sécurité surviennent lorsqu’on prend des actions aléatoires efficacement. Cela pourrait être la sécurité dans le sens où les robots apprennent à accomplir une tâche, agissent et interférent avec quelqu’un. Mais ça pourrait aussi être juste un dommage à la machine elle-même ― comme le robot qui fait certaines actions qui se détruisent lui-même. Personne qui déploie ces systèmes ne veut détruire une infrastructure très coûteuse au cours du processus d’apprentissage. »

Lorsque les systèmes d’IA interagissent avec des environnements physiques ou opèrent avec un aléatoire non contraint, les mesures d’atténuation des risques pour la sécurité devraient faire partie des pratiques de gouvernance.

Vie privée : L’anonymisation peut ne pas suffire

La vie privée et la confiance vont souvent de pair, et l’IA peut poser de nouveaux défis ici.

« Nous pensions autrefois que nous pouvions résoudre la confidentialité en prenant un ensemble de données et simplement en l’anonymisant – simplement en supprimant les noms et identifiants directs des personnes concernées », explique Agrafioti. « Cependant, pour les systèmes modernes d’apprentissage automatique et d’apprentissage profond en particulier, où de grands volumes de données sont utilisés pour l’entraînement, les modèles peuvent révéler beaucoup de détails sur une personne – voire l’identifier directement – même lorsque des caractéristiques directement liées à l’identité sont supprimées. Si tu as beaucoup d’informations sur une personne, tu pourrais faire une rétro-ingénierie et identifier qui c’est, même si tu n’as pas le nom. »

Il incombe aux dirigeants d’entreprise de s’assurer que leurs pratiques de gestion des données et de confidentialité suivent l’évolution de la technologie IA, et que les dirigeants d’entreprise et les technologues travaillent ensemble pour s’assurer que les bonnes pratiques, politiques et outils soient en place pour suivre les risques et les atténuer. Certains secteurs très réglementés, comme la finance, ont un ensemble de meilleures pratiques en matière de vie privée, de risque et de gestion des données, mais tous n’ont pas eu à fonctionner sous le même niveau de surveillance. À l’échelle mondiale, les gouvernements prêtent attention à ces enjeux et mettent en œuvre des lois et des politiques pour combler ces lacunes.

Les considérations de confidentialité peuvent varier selon les applications, et différentes méthodologies – y compris la confidentialité différentiel, l’apprentissage fédéré, le chiffrement homomorphe ou la génération de données synthétiques – peuvent aider à les remédier.

Prioriser les valeurs et la gouvernance lors de l’application de l’IA

Un élément clé de Trustworthy AI consiste à établir un cadre de gouvernance efficace spécifique à l’IA, avec des éléments comme l’équité, l’explicabilité et la sécurité bien intégrés.

Selon Deval Pandya, directeur de l’ingénierie de l’IA à l’Institut Vector, la conception de ce cadre de gouvernance commence par les valeurs. Pandya dit : « L’IA digne de confiance comporte deux composantes majeures. Le premier est les exigences éthiques. Cela se manifeste par la question : quelles sont les valeurs humaines et les valeurs corporatives? La deuxième partie est l’exigence technique. Comment [ces valeurs] se manifestent-elles dans la technologie que nous utilisons? » Ces valeurs – comme éviter la discrimination, prioriser la transparence et protéger la vie privée – imposent des contraintes qui devraient influencer la manière dont les organisations prennent des décisions concernant leur utilisation de l’IA.

« La plupart des entreprises ont un moyen de valider et de tester le stress des modèles [traditionnels, non liés à l’IA] avant de les mettre en production », explique Agrafioti. « Les systèmes d’apprentissage automatique modernes ont vraiment remis en question la façon dont les organisations procèdent traditionnellement. Il y a un nouvel ensemble de considérations à explorer lorsqu’on cherche à gouverner et valider des modèles d’apprentissage automatique. »

Un exemple de nouvelle considération est la dérive du modèle, qui fait référence à la dégradation de la performance du modèle lorsque les schémas de distribution des données changent par rapport aux modèles historiques utilisés pour l’entraînement. Agrafioti explique : « [Les modèles] changent avec le temps – ils ne sont pas statiques. Un modèle peut complètement changer son comportement dès le jour où il est mis en pratique. Un des défis de l’IA est qu’il faut une gouvernance continue et des tests de celle-ci. » Les leaders d’entreprise et de technologie doivent être conscients de ces nouveaux enjeux afin d’assurer une utilisation fiable et digne de confiance de l’IA à long terme.

Ces considérations s’appliquent aussi aux entreprises qui utilisent des produits d’IA provenant de fournisseurs tiers. Pour couvrir leurs bases concernant l’IA fiable lors de l’achat de produits, les organisations devraient communiquer leurs priorités aux fournisseurs et prendre des mesures pour valider que ces fournisseurs sont à la hauteur. Pandya dit : « Vous devez partager quels sont les principes de l’IA de confiance pour votre organisation. Ensuite, il y a certaines choses faciles à évaluer, des choses qui peuvent l’être de façon très objective, comme les protocoles de confidentialité, et d’autres, comme l’équité et les biais, [qui] demanderont beaucoup plus de réflexion et d’efforts pour être évaluées et mises en œuvre. »

Agrafioti est d’accord : « [Les entreprises adoptant l’IA] devraient à 100% s’inquiéter de tout produit en boîte noire prête à l’emploi. Faites votre propre vérification technique approfondie sur ces produits. Parlez-en à votre fournisseur. Assurez-vous que les modèles ont été validés sur de très grands ensembles de données dans un environnement comme le vôtre, car les domaines peuvent être très différents – les modèles peuvent mal se comporter dans l’un et ensuite très bien dans un autre. Tu veux t’assurer que dans ton espace, ça fonctionne comme prévu. »

Des cadres de gouvernance et une gestion adéquate des risques devraient aussi s’attaquer à la question de la reddition de comptes lorsque les choses ne se passent pas comme prévu. Taylor décrit le problème : « J’ai souvent entendu des systèmes d’apprentissage automatique être critiqués pour leur difficulté à expliquer quand les choses ne vont pas. Je sais que les experts juridiques qui s’intéressent à l’IA s’inquiètent de ce genre de choses. Il y a une catastrophe et ça implique un système d’apprentissage automatique. Où mets-tu la faute? La personne qui collecte des données? La personne qui entraîne le mannequin? La personne qui a écrit le code open source utilisée pour entraîner le modèle? »

Ces considérations et réponses à ces questions doivent être prises en compte avant le déploiement.

Collaboration : l’antidote à l’incertitude

Une façon pour les dirigeants d’entreprise de se mettre à jour sur les pratiques d’IA et de gouvernance fiables est la collaboration avec d’autres acteurs de l’écosystème de l’IA. Pour relever ces nouveaux défis, « il faudra un village », affirme Agrafioti. « Les entreprises devraient collaborer, car même un seul cas d’utilisation de l’IA qui nuit aux utilisateurs peut avoir un impact négatif sur l’industrie. »

En Ontario, les occasions de collaboration sont nombreuses. La plateforme d’IA RESPECT de RBC Borealis, mentionnée plus tôt, partage librement l’expertise de RBC sur l’explicabilité, l’équité, la robustesse, la confidentialité et la gouvernance avec la communauté d’affaires plus large à travers du code téléchargeable, des boîtes à outils et des articles.

Le Vector Institute fait également de la collaboration une priorité. Vector gère des projets industriels – comme les projets Trustworthy AI et Accelerate AI – qui réunissent ses commanditaires industriels avec les chercheurs de Vector pour relever d’importants défis liés aux applications, y compris ceux liés à la gouvernance de l’IA. Pour les entreprises en croissance, Vector offre le programme FastLane, qui fournit des informations issues des projets Vector aux petites et moyennes entreprises qui utilisent l’IA aujourd’hui ou souhaitent passer de l’analyse de données traditionnelle à l’IA dans un avenir proche.

Taylor explique : « Vector veut être un agent neutre qui offre une expertise et un soutien impartiaux à ces organisations — en particulier les plus petites impliquées dans le programme FastLane — et les mettre en contact avec des experts spécifiques qui peuvent les aider lors des audits, évaluer la légitimité des bases de code ou simplement les aider à prendre des décisions. »

Les cas d’utilisation transformateurs, les gains de productivité et la nouvelle efficacité que les applications d’IA peuvent offrir sont enthousiasmants, mais le bien-être et la confiance des utilisateurs sont essentiels. Qu’elles soient grandes ou petites, qu’elles développent ou adoptent, les entreprises utilisant l’IA doivent reconnaître et gouverner les enjeux nouveaux liés à l’IA fiable et éthique – surtout à mesure que le domaine évolue.

S’engager avec la communauté de l’IA est l’une des meilleures façons d’y parvenir, et de s’assurer que la promesse de l’IA soit réalisée, de manière complète et responsable.

Pour en savoir plus sur le travail de Vector avec l’industrie, y compris sur Trustworthy AI, visitez la page des partenaires industriels de Vector ici.