4 août 2021
Avec l'adoption croissante de l'intelligence artificielle (IA) dans les entreprises et l'industrie, les questions relatives aux risques et à la gouvernance propre à l'IA prennent de l'importance – et y répondre s'avère complexe. En effet, une étude récente de 2021 a montré que seulement 12 % des entreprises « avaient réussi à intégrer pleinement la gestion des risques et les contrôles liés à l’IA et à les automatiser suffisamment pour atteindre une échelle critique ». [1]
Le 15 juillet, Annie Veillet , associée au cabinet de conseil One Analytics de PwC Canada, s'est entretenue avec Ron Bodkin , vice-président de l'ingénierie de l'IA et directeur des systèmes d'information de Vector Institute, ainsi que responsable de l'ingénierie à l'Institut Schwartz Reisman, lors d'une discussion informelle. Ensemble, ils ont partagé leur expertise sur l'IA responsable. Mme Veillet décrit ce concept comme un cadre de référence visant à garantir que les systèmes d'IA fonctionnent conformément à leurs objectifs, de manière éthique et équitable. Animée par Shingai Manjengwa, directrice de la formation technique chez Vector, la discussion a permis à Mme Veillet et M. Bodkin d'expliquer pourquoi l'IA responsable est un sujet crucial pour les entreprises utilisant des systèmes d'IA aujourd'hui et comment saisir les risques et les défis propres à cette technologie en l'absence de normes largement acceptées.
Qu'est-ce que l'IA responsable ?
L’IA responsable désigne un ensemble de principes et de pratiques qui encadrent le développement et l’utilisation éthiques des systèmes d’IA. Le guide pratique de PwC sur l’intelligence artificielle responsable (IA) en donne une description concise :
« Les organisations doivent s’assurer que leur utilisation de l’IA répond à un certain nombre de critères. Premièrement, qu’elle soit éthiquement saine et conforme à la réglementation à tous égards ; deuxièmement, qu'elle repose sur une base solide de gouvernance de bout en bout ; et troisièmement, qu'elle soit soutenue par de solides piliers de performance traitant des biais et de l'équité, de l'interprétabilité et de l'explicabilité, ainsi que de la robustesse et de la sécurité. » [2]
Chacune de ces cinq dimensions clés mérite une brève explication :
- Éthique et réglementation. Les organisations doivent veiller à ce que le développement et l'utilisation de l'IA soient conformes aux lois et aux normes gouvernementales en vigueur, et acceptables au regard des valeurs de l'organisation, du secteur dans lequel elles opèrent et de la société en général.
- Le développement et l'utilisation de modèles comportent des risques pour les organisations et leurs parties prenantes. Un cadre de contrôles visant à assurer la conformité réglementaire, à définir les responsabilités et à prévenir les conséquences néfastes permet d'atténuer ces risques. Compte tenu de la nouveauté, de la complexité et des caractéristiques uniques de l'IA, la gouvernance des modèles d'IA peut nécessiter des contrôles différents de ceux utilisés pour les modèles logiciels traditionnels, notamment des contrôles permettant de suivre le cycle de vie des modèles d'IA en fonction de l'évolution de leur environnement d'exécution.
- Préjugé et équité . Les systèmes d'IA qui utilisent des ensembles de données biaisés peuvent produire des prédictions biaisées. Sans garde-fous techniques ni intervention humaine pour détecter et corriger ces biais, ces prédictions peuvent influencer des décisions discriminatoires qui nuisent injustement à certaines personnes. Déterminer ce qui est « équitable » est une tâche complexe. Il existe de nombreuses définitions sociales et techniques, parfois contradictoires.
- Interprétabilité et explicabilité. Ces deux termes désignent le degré de compréhension et de transparence du fonctionnement d'un système d'IA. En termes simples, l'interprétabilité fait référence à notre capacité à comprendre comment un système arrive à ses prédictions. L'explicabilité, quant à elle, désigne notre capacité à comprendre pourquoi un système parvient à ses prédictions et de quelle manière. Selon le contexte, l'interprétabilité et l'explicabilité peuvent jouer un rôle crucial dans le maintien de la confiance et de la sécurité.
- Robustesse et sécurité. La robustesse désigne la capacité d'un système d'IA à maintenir ses performances lorsqu'il utilise des données différentes de celles de son ensemble d'entraînement. Tout écart par rapport aux performances attendues doit faire l'objet d'une enquête, car il peut révéler une erreur humaine, une attaque malveillante ou des aspects non modélisés de l'environnement.
Une cause et une conséquence sous-estimées du risque lié à l'IA
Veillet et Bodkin ont commencé par décrire un risque majeur que les organisations doivent prendre en compte lors de la mise en œuvre de systèmes d'IA, ainsi que l'un des principaux facteurs qui, selon eux, exacerbent ce risque à maintes reprises.
IA et risques de réputation. « Nous avons tous vu dans les médias des exemples de dérives de l'IA », a déclaré Veillet. Lorsque de nouveaux systèmes d'IA sont utilisés pour appuyer des décisions ayant un impact sur les moyens de subsistance ou le bien-être des personnes – décisions relatives à l'octroi de prêts, aux tarifs d'assurance maladie ou à l'embauche – des biais involontaires et non pris en compte, ou d'autres conséquences négatives, peuvent nuire aux clients, aux patients, aux employés et aux autres parties prenantes.
Une organisation utilisant ces systèmes peut aussi subir des dommages importants. Veillet explique : « Si un système d’IA n’est pas encadré, s’il agit de manière incontrôlée, cela a des conséquences non seulement pour le public et les clients de l’organisation, mais aussi pour sa réputation. » Cela peut accroître son exposition à la responsabilité, entraîner une perte d’image de marque et de valeur marchande, et susciter de fortes réactions réglementaires.
Un manque de clarté dans la définition des responsabilités. Ce risque est accentué par l'absence, au sein des organisations, de définition claire des responsabilités quant aux résultats des systèmes d'IA. « Le pire scénario est malheureusement trop fréquent », a déclaré Bodkin. « Personne n'est aux commandes de cette voiture qui fonce à toute allure sur la route. »
Bodkin a décrit comment ce fossé se creuse : « Les scientifiques des données, les ingénieurs et les équipes de développement ont l’impression d’atteindre un objectif commercial qui leur a été imposé et d’optimiser leur rendement en fonction des objectifs fixés. Ou, trop souvent, on constate que les dirigeants ne comprennent pas vraiment les enjeux de l’IA et ne se sentent pas capables d’influencer les résultats ni de donner des orientations concrètes. Par conséquent, explique-t-il, personne ne se sent responsable de l’évaluation des risques, de leur mise en balance avec les avantages du système et de l’élaboration de stratégies d’atténuation.
Selon Veillet, la question de la responsabilité des systèmes d'IA peut être complexe, mais une chose est sûre : elle n'incombe pas uniquement aux équipes techniques. Elle explique : « Il n'existe pas de réponse simple quant aux responsabilités, mais je dirais que ce ne sont pas seulement les scientifiques des données qui ont conçu la machine. »
L'utilisation des systèmes d'IA devrait s'inscrire dans la stratégie globale de l'organisation, les normes sectorielles en matière de risques et d'éthique, ainsi que les pratiques de conformité, avec l'apport de professionnels compétents pour chaque aspect – or, ce n'est souvent pas le cas. « Nous constatons des lacunes dans le lien entre les contrôles de l'IA et la stratégie de l'organisation », a déclaré Veillet. « Comment s'assurer que cette machine agit et se comporte conformément à la stratégie de l'organisation ? Respecte-t-elle ses règles et règlements ? » Sans responsabilité explicite, les organisations laissent les risques liés à l'IA au hasard, ce qui peut nuire aux utilisateurs finaux et à l'organisation elle-même.
Par où les organisations peuvent commencer avec l'IA responsable
Face aux risques de réputation et aux enjeux de responsabilité, Veillet et Bodkin ont partagé des principes de réflexion sur l'IA responsable, applicables à tous les secteurs d'activité.
Soutien descendant et formation ascendante. Bodkin a déclaré que la responsabilité des résultats en matière d'IA devrait être partagée par tous les niveaux de l'organisation, grâce à un « soutien descendant et une formation ascendante ». Déterminer les mécanismes de gouvernance appropriés exige des principes clairs, et Bodkin a affirmé : « La définition des valeurs et de la gouvernance doit venir du sommet. »
Veillet acquiesce : « Ça va du haut à la base. On observe un travail collaboratif important sur l’élaboration de politiques internes au sein des organisations, ainsi que sur la définition de bonnes pratiques et de lignes directrices concernant l’utilisation de l’IA. » Pour les postes inférieurs à la direction, Veillet explique que les organisations devraient éviter de déléguer la responsabilité à un groupe interne spécialisé et que garantir une utilisation responsable des systèmes d’IA devrait être une initiative citoyenne.
« Il n’est pas nécessaire d’être un expert en données pour comprendre les concepts clés de l’IA responsable » et pour contribuer à leur application, a déclaré Veillet. Il est primordial de sensibiliser tout le personnel aux systèmes d’IA.
Surveillance continue. « La maintenance fait partie intégrante de la gouvernance et du contrôle lorsque nous collaborons avec des organisations », a déclaré Veillet. Un aspect important de la maintenance des systèmes d'IA est la surveillance continue des conséquences imprévues. Contrairement aux principes classiques de développement logiciel qui privilégient les revues système initiales ponctuelles, les organisations doivent surveiller en permanence les systèmes d'IA pendant leur utilisation, en reconnaissant que la nouveauté et la complexité de ces systèmes impliquent que tous les résultats ne peuvent être anticipés. De plus, lorsque des compromis doivent être faits – par exemple, entre les performances d'un système et son niveau d'explicabilité – il peut être difficile de déterminer d'emblée le juste équilibre entre risque et bénéfice. Seul un suivi et un apprentissage continus permettent souvent de trouver un compromis optimal.
De plus, une surveillance continue permet de s'assurer qu'un système conçu dans le contexte actuel continuera de fonctionner comme prévu à l'avenir. Veillet a déclaré que les organisations utilisant l'IA devraient se poser la question suivante : « Comment contrôlons-nous et vérifions-nous que le système n'a pas dévié de sa trajectoire initiale et qu'il remplit toujours sa fonction ? Lorsque la situation économique ou démographique évolue, la distribution des données peut changer, un phénomène appelé « décalage des ensembles de données », ce qui peut affecter la qualité prédictive d'un système d'IA. La surveillance et la correction de ce phénomène doivent faire partie intégrante des pratiques d'IA responsable.
Mesurer plusieurs indicateurs. Afin de mieux comprendre l'impact de l'IA et d'anticiper les conséquences imprévues, la surveillance doit englober davantage que l'indicateur optimisé. « Même des choses qui semblent anodines et dont le comportement n'est certainement pas prévu peuvent avoir des conséquences importantes », a déclaré Bodkin. Il a illustré son propos par une application a priori sans conséquence : l'optimisation des clics pour la diffusion de contenus multimédias. « Il s'avère qu'à grande échelle, les algorithmes de prédiction des clics sur les grandes plateformes médiatiques ont eu un impact considérable », a-t-il ajouté, contribuant à une augmentation inattendue de la désinformation, de la polarisation et de la dépendance.
Il a poursuivi : « En tant qu'organisations, je pense que nous devons mieux anticiper les risques et la manière dont nous surveillons les problèmes imprévus afin de les atténuer lorsque les choses commencent à mal tourner. »
Perspectives d'avenir : Réglementation efficace et optimisme face à l'IA
Veillet et Bodkin partageaient également une vision de ce à quoi pourrait ressembler une approche gouvernementale efficace en matière de réglementation de l'IA : une approche capable de tirer parti des atouts du secteur privé pour suivre le rythme des modèles et des cas d'utilisation de l'IA, nouveaux, complexes et en constante évolution. Bodkin envisageait une façon d'intégrer les mécanismes du secteur privé en matière de certification et d'audit, afin de permettre aux pouvoirs publics d'établir des normes, tout en favorisant une réelle concurrence et l'innovation entre les tiers capables de certifier et d'assurer la conformité. Ce dispositif réglementaire serait semblable à celui de l'information financière en bourse, où des entreprises privées responsables vérifient les états financiers des sociétés cotées et certifient leur conformité aux normes gouvernementales. De plus, expliquait-il, il permettrait de réduire les coûts de conformité, de soutenir un suivi continu et de permettre aux organisations de s'adapter aux nouveaux défis.
Finalement, après une discussion axée sur les risques, les intervenants ont conclu sur une note optimiste, soulignant le potentiel exceptionnel de l'IA au service de l'humanité. Veillet a dit : « Utiliser l'IA pour répondre aux enjeux ESG (environnementaux, sociaux et de gouvernance) représente une formidable opportunité. » Bodkin a ajouté : « Nous constatons que l'IA est utilisée pour lutter contre les changements climatiques et améliorer la compréhension et la qualité des matériaux utilisés. Elle contribue également à satisfaire les clients et à leur offrir une expérience optimale dans de nombreux secteurs. »
Un facteur clé de ces progrès réside dans la collaboration entre les établissements de recherche et le secteur privé. Le parrainage du Vector Institute par PwC en est un exemple, permettant à l'équipe Innovation Industrielle de Vector de partager ses recherches et de mener des projets industriels concrets, tels que le projet « IA digne de confiance » et le projet « Accélérer l'IA ». Ces deux projets explorent des méthodes responsables pour soutenir l'innovation tout en respectant des valeurs essentielles et en préservant la vie privée. En retour, l'expérience acquise grâce à ces projets permet à PwC d'affiner la mise en œuvre de son « Trousse d'outils pour une IA responsable » , une série de cadres, d'outils et de processus personnalisables conçus pour favoriser une utilisation efficace, sûre et bénéfique de l'IA en entreprise.
« Ces collaborations visant à explorer comment créer de la valeur de manière responsable sont devenues une priorité », a déclaré Bodkin. « Et je pense que l'un des avantages des relations étroites entre la recherche et le secteur privé est que nous pouvons apprendre les uns des autres et progresser de façon concrète. »
Visionnez ici l'enregistrement de la discussion informelle sur l'IA responsable .
[1] PwC Global. Se placer du bon côté de la fracture IA. 22 février 2021.
[2] PwC. Guide pratique de l'intelligence artificielle (IA) responsable. 2019.
