L'adoption croissante de l'IA en entreprise implique d'assurer la fiabilité et la sécurité des modèles déployés pour les utilisateurs finaux. C'est le domaine de l'IA de confiance, un sujet de recherche et un ensemble de pratiques commerciales axés sur la gouvernance de l'IA, la gestion des risques, la surveillance, la validation et la correction des modèles. Toutes les entreprises qui développent ou adoptent l'IA devraient se familiariser avec ce sujet.
Bien que les pratiques spécifiques en matière d'adoption sûre et responsable de l'IA puissent varier d'une organisation à l'autre, des thèmes généraux et des meilleures pratiques se dégagent. Nous avons sollicité des chercheurs et des professionnels reconnus de la communauté Vector afin d'identifier les principaux thèmes liés à une IA digne de confiance et de formuler des recommandations à l'intention des dirigeants chargés de la mise en œuvre de l'IA au sein de leurs organisations.
Équité : Prévenir les préjugés
« Les aspects de l’IA de confiance qui reviennent le plus souvent concernent l’équité », explique Graham Taylor, directeur de recherche chez Vector. « On peut aussi lier les biais à l’équité. Dans le contexte commercial, il est essentiel d’identifier les sources de biais qui pourraient rendre les systèmes d’IA inéquitables. »
Les biais sont souvent cités comme une préoccupation majeure liée à la gestion responsable des systèmes d'IA, notamment lorsque les modèles d'IA font des prédictions susceptibles d'influencer les opportunités ou le vécu des individus. Taylor explique : « Ça pourrait être une décision concernant un emploi ou l'admission d'un candidat aux études supérieures, mais aussi des décisions plus anodines, comme recommander une vidéo YouTube ou un produit. Toutes ces décisions, qu'il s'agisse de choix de carrière importants ou de petits choix comme le menu du souper, nous affectent différemment. »
Foteini Agrafioti, directrice de l'institut de recherche en IA Borealis chez RBC, confirme que, dans le domaine de l'IA, l'équité est primordiale. « Les biais proviennent généralement d'un ensemble de données d'entraînement déséquilibré en faveur d'un groupe particulier », explique-t-elle, mais peuvent aussi résulter d'une « conception incorrecte de certains algorithmes ». Bien sûr, tous les algorithmes ne sont pas conçus de manière à engendrer des biais, mais quelle qu'en soit la cause, les entreprises ont l'obligation de veiller à ce que les systèmes d'IA ne discriminent pas involontairement des individus ou des groupes par leurs prédictions.
Agrafioti souligne que des ressources pédagogiques complémentaires sur l'équité sont disponibles sur la plateforme RESPECT AI de Borealis AI. Borealis AI a créé RESPECT AI afin de sensibiliser à l'adoption responsable de l'IA et de partager du code open source, des recherches, des tutoriels et d'autres ressources pour la communauté de l'IA et les dirigeants d'entreprise à la recherche de conseils et de solutions pratiques pour une adoption plus responsable de l'IA.
Explicabilité : Quel degré de transparence un modèle doit-il atteindre ?
L'explicabilité est un sujet qui tient particulièrement à cœur à Sheldon Fernandez. PDG de DarwinAI, une entreprise qui propose des solutions d'IA explicables pour les systèmes d'IA effectuant des inspections visuelles dans le secteur manufacturier, il explique que l'un des défis posés par certains systèmes d'IA complexes est qu'« ils peuvent être, pour leurs propriétaires, de véritables boîtes noires. Même les experts qui les ont conçus n'ont parfois qu'une compréhension très limitée du processus décisionnel de ces systèmes. »
L'explicabilité est un sujet central des débats sur l'IA et la confiance. En résumé, elle se résume à une question : dans quelle mesure est-il important de comprendre comment et pourquoi un modèle parvient à ses prédictions ?
Il est largement admis que les modèles d'IA peuvent déceler dans les données des tendances trop subtiles pour être perçues par l'humain. Bien que leurs prédictions puissent être très précises, le raisonnement qui y a mené pourrait ne pas être intuitif ni explicable pour les utilisateurs du système. Ces derniers peuvent constater le résultat du modèle sans en comprendre le mécanisme . Cela soulève un dilemme : qu'est-ce qui favorise le plus la confiance ? Un modèle opaque d'une précision maximale ou un modèle explicable, même s'il est moins performant ? Autrement dit, qu'est-ce qui servira le mieux les intérêts des parties prenantes : la précision ou la transparence ?
Fernandez offre une ligne directrice. L'explicabilité est essentielle « dans les contextes où une opération critique, liée au bien-être humain, est en jeu », explique-t-il. « Si un modèle d'IA doit décider du pilotage d'un hélicoptère autonome avec des personnes à bord, l'explicabilité est évidemment primordiale. Si elle doit décider qui est admis dans une université ou qui est refusé, ou si quelqu'un obtient un prêt hypothécaire, elle est absolument essentielle. Prenons un autre exemple : l'IA détermine les livres qui vous sont recommandés sur Amazon. Dans ce cas, il serait judicieux de comprendre l'explicabilité, mais ce n'est pas aussi impératif que dans les cas précédents. »
Dans les contextes impliquant des décisions importantes en matière de soins de santé, d'emploi, de justice et de finances, les personnes concernées s'attendent souvent, à juste titre, à comprendre comment et pourquoi ces décisions sont prises, et les dirigeants d'entreprises et les responsables techniques devraient prendre les mesures appropriées pour répondre à cette attente.
Sécurité : Protection physique
Les systèmes d'IA interagissent de plus en plus avec l'environnement physique par le biais d'applications comme la robotique industrielle ou les véhicules autonomes. En faisant cela, une nouvelle priorité pour une IA digne de confiance émerge : la sécurité.
Ces applications reposent souvent sur l'apprentissage par renforcement, une technique d'IA qui diffère de l'apprentissage profond en ce qu'elle ne nécessite pas d'entraînement préalable sur des ensembles de données. Un modèle d'apprentissage par renforcement part d'un objectif, explore un environnement défini, entreprend des actions orientées vers cet objectif et tire des leçons des conséquences de ces actions, itérant ainsi vers une optimisation quasi continue.
C'est durant cette phase d'apprentissage que des risques peuvent survenir. Graham Taylor, de Vector, explique : « L’espace des actions que le robot peut entreprendre durant cette phase d’apprentissage n’est pas limité par une structure de règles définie et explicitement imposée par un humain. Tout processus d’apprentissage par renforcement comporte une part de hasard, et des problèmes de sécurité découlent de ces actions aléatoires. Il peut s’agir d’un risque lié à l’apprentissage d’une tâche par un robot, à une action quelconque, et à une interférence avec autrui. Mais il peut aussi s’agir d’un simple dommage matériel, par exemple si le robot effectue certaines actions qui entraînent son autodestruction. Personne ne veut détruire des infrastructures coûteuses pendant le processus d'apprentissage de ces systèmes. »
Lorsque les systèmes d'IA interagissent avec des environnements physiques ou fonctionnent de manière aléatoire et sans contrainte, les mesures d'atténuation des risques pour la sécurité doivent faire partie des pratiques de gouvernance.
Confidentialité : l’anonymisation pourrait ne pas suffire
La confidentialité et la confiance vont souvent de pair, et l'IA peut engendrer de nouveaux défis à cet égard.
« Auparavant, on pensait pouvoir garantir la confidentialité en anonymisant simplement un ensemble de données, c'est-à-dire en supprimant les noms et les identifiants directs des personnes concernées », explique Agrafioti . « Cependant, pour les systèmes d'apprentissage automatique et d'apprentissage profond modernes, en particulier, qui utilisent d'importants volumes de données pour l'entraînement, les modèles peuvent révéler de nombreux détails sur une personne, voire l'identifier formellement, même lorsque les caractéristiques directement liées à l'identité sont supprimées. Si l'on a beaucoup d'informations sur un individu, il est possible de reconstituer son identité et de l'identifier, même sans connaître son nom. »
Il incombe aux dirigeants d'entreprise de s'assurer que leurs pratiques de gestion et de protection des données suivent l'évolution de l'intelligence artificielle, et que les responsables d'affaires et les experts techniques collaborent pour garantir la mise en place de pratiques, de politiques et d'outils adéquats permettant de gérer et d'atténuer les risques. Certains secteurs fortement réglementés, comme la finance, ont de bonnes pratiques en matière de protection de la vie privée, de gestion des risques et de gestion des données, mais tous les secteurs n'ont pas été soumis au même niveau de contrôle. À l'échelle mondiale, les gouvernements se penchent sur ces questions et mettent en œuvre des législations et des politiques pour combler ces lacunes.
Les considérations relatives à la confidentialité peuvent différer d'une application à l'autre, et différentes méthodologies – notamment la confidentialité différentielle, l'apprentissage fédéré, le chiffrement homomorphe ou la génération de données synthétiques – peuvent contribuer à les prendre en compte.
Privilégiez les valeurs et la gouvernance lors de l'application de l'IA
Un élément clé de l'IA digne de confiance consiste à établir un cadre de gouvernance efficace et spécifique à l'IA, intégrant correctement des éléments tels que l'équité, l'explicabilité et la sécurité.
Selon Deval Pandya, directeur de l'ingénierie de l'IA au Vector Institute, la conception de ce cadre de gouvernance repose avant tout sur les valeurs. « Une IA digne de confiance comporte deux composantes majeures », explique-t-il. « La première concerne les exigences éthiques, qui soulèvent la question suivante : quelles sont les valeurs humaines et les valeurs de l'entreprise ? La deuxième concerne les exigences techniques : comment ces valeurs se traduisent-elles dans la technologie que nous utilisons ? « Ces valeurs – comme le refus de toute discrimination, la priorité accordée à la transparence et la protection de la vie privée – imposent des contraintes qui doivent guider les décisions des organisations concernant leur utilisation de l'IA.
« La plupart des entreprises disposent de méthodes pour valider et tester la robustesse de leurs modèles [traditionnels, non basés sur l'IA] avant leur mise en production », explique Agrafioti. « Les systèmes d'apprentissage automatique modernes ont profondément bouleversé les pratiques traditionnelles des organisations. Il est maintenant essentiel d'explorer de nouvelles avenues pour gouverner et valider ces modèles. »
Un exemple de nouvelle considération est la dérive des modèles, qui désigne la dégradation des performances d'un modèle lorsque les schémas de distribution des données diffèrent des schémas historiques utilisés pour l'entraînement. Agrafioti explique : « Les modèles évoluent avec le temps ; ils ne sont pas statiques. Un modèle peut complètement changer de comportement dès sa mise en œuvre. Un des défis de l'IA est la nécessité d'une gouvernance et de tests continus. » Les dirigeants d'entreprise et les gestionnaires techniques doivent être conscients de ces nouveaux enjeux afin d'assurer une utilisation fiable et sécuritaire de l'IA à long terme.
Ces considérations s'appliquent également aux entreprises qui utilisent des produits d'IA de fournisseurs tiers. Afin d'assurer la fiabilité de l'IA lors de l'acquisition de ces produits, les organisations doivent communiquer leurs priorités aux fournisseurs et s'assurer que ces derniers les respectent. Pandya explique : « Il est essentiel de partager les principes de fiabilité de l'IA au sein de votre organisation. Certains aspects sont faciles à évaluer, notamment les protocoles de confidentialité, tandis que d'autres, comme l'équité et la lutte contre les préjugés, nécessitent une réflexion et des efforts plus approfondis pour leur évaluation et leur mise en œuvre. »
Agrafioti confirme : « Les entreprises qui adoptent l’IA doivent se méfier des solutions prêtes à l’emploi et opaques. Il est essentiel de faire une analyse technique approfondie de ces produits et d'en discuter avec votre fournisseur. Assurez-vous que les modèles ont été validés sur de très grands ensembles de données dans un environnement similaire au vôtre, car les domaines peuvent être très différents : un modèle peut mal fonctionner dans l’un et parfaitement fonctionner dans l’autre. Vous devez vous assurer que, dans votre contexte, il fonctionne comme prévu. »
Les cadres de gouvernance et une gestion des risques adéquate doivent également aborder la question de la responsabilité en cas d'imprévus. Taylor décrit le problème : « J'ai souvent entendu critiquer les systèmes d'apprentissage machine, car il est difficile d'en rendre compte en cas de dysfonctionnement. Je sais que les juristes spécialisés en IA s'inquiètent de ce genre de choses. Imaginez une catastrophe impliquant un système d'apprentissage machine : à qui imputer la responsabilité ? À la personne qui recueille les données ? À celle qui entraîne le modèle ? À celle qui a écrit le code source ouvert utilisé pour l'entraînement ? »
Ces considérations et les réponses à ces questions doivent être prises en compte avant le déploiement.
Collaboration : l'antidote à l'incertitude
L'une des façons pour les dirigeants d'entreprise de se familiariser avec l'IA de confiance et les bonnes pratiques de gouvernance est de collaborer avec les autres acteurs de l'écosystème de l'IA. Face à ces nouveaux défis, « il faudra une mobilisation générale », affirme Agrafioti. « Les entreprises doivent collaborer parce que même un seul cas d'utilisation préjudiciable de l'IA peut avoir un impact négatif sur l'ensemble du secteur. »
En Ontario, les occasions de collaboration sont nombreuses. La plateforme RESPECT AI de RBC Borealis, mentionnée précédemment, partage gratuitement l'expertise de RBC en matière d'explicabilité, d'équité, de robustesse, de confidentialité et de gouvernance avec l'ensemble du monde des affaires grâce à du code téléchargeable, des boîtes à outils et des articles.
L'Institut Vector accorde également une grande importance à la collaboration. Vector dirige des projets industriels, tels que Trustworthy AI et Accelerate AI, qui réunissent ses partenaires industriels et les chercheurs de Vector afin de relever d'importants défis liés aux applications, notamment en matière de gouvernance de l'IA. Pour les entreprises en pleine croissance, Vector propose le programme FastLane , qui permet aux PME utilisant déjà l'IA ou souhaitant passer de l'analyse de données traditionnelle à l'IA prochainement de bénéficier des leçons apprises des projets de Vector.
Taylor explique : « Vector veut être un agent neutre qui apporte une expertise et un soutien impartiaux à ces organisations — en particulier aux plus petites participant au programme FastLane — et les mettre en relation avec des experts spécifiques capables de les aider dans le cadre d'audits, d'évaluations de la légitimité des bases de code ou simplement de les aider à prendre des décisions. »
Les cas d'utilisation transformateurs, les gains de productivité et l'efficacité accrue que peuvent apporter les applications d'IA sont prometteurs, mais le bien-être et la confiance des utilisateurs sont essentiels. Qu'elles soient grandes ou petites, qu'elles développent ou adoptent des solutions d'IA, les entreprises qui utilisent l'IA doivent identifier et maîtriser les nouveaux enjeux liés à une IA fiable et éthique, d'autant plus que ce domaine est en constante évolution.
S'engager auprès de la communauté de l'IA est l'un des meilleurs moyens d'y parvenir et de garantir que la promesse de l'IA se réalise pleinement et de manière responsable.
Pour en savoir plus sur le travail de Vector avec l'industrie, notamment sur l'IA digne de confiance, consultez la page Partenaires industriels de Vector ici .
