4 août 2021

À mesure que l'adoption de l'intelligence artificielle (IA) progresse dans les entreprises et l'industrie, les questions relatives aux risques et à la gouvernance spécifique à l'IA reviennent sur le devant de la scène - et y répondre s'avère être une tâche ardue. En effet, des études récentes de 2021 ont montré que seulement 12 % des entreprises "ont réussi à intégrer pleinement la gestion des risques et les contrôles de l'IA et à les automatiser suffisamment pour passer à l'échelle." ^[1]

Le¹⁵ juillet, Annie Veillet, associée au sein du cabinet de conseil One Analytics de PwC Canada, s'est jointe à Ron Bodkin, vice-président de l'ingénierie de l'IA et DSI de l'Institut Vector et responsable de l'ingénierie de l'Institut Schwartz Reisman, dans le cadre d'une discussion informelle afin de partager leur expertise sur l'IA responsable. Il s'agit d'un concept que M. Veillet décrit comme "les garde-fous" destinés à garantir que les systèmes d'IA font "ce qu'ils sont censés faire, agissent de manière éthique et équitable". Animés par Shingai Manjengwa, directeur de la formation technique chez Vector, Veillet et Bodkin ont expliqué pourquoi l'IA responsable est un sujet crucial pour les entreprises qui utilisent des systèmes d'IA aujourd'hui et comment commencer à réfléchir aux risques et aux défis propres à cette technologie en l'absence de normes largement acceptées.

Qu'est-ce que l'IA responsable ?

L'IA responsable fait référence à un ensemble de principes et de pratiques qui guident le développement et l'utilisation éthiques des systèmes d'IA. PwC's Guide pratique de l'intelligence artificielle (IA) responsable de PwC de PwC en donne une description succincte :

"Les organisations doivent s'assurer que leur utilisation de l'IA répond à un certain nombre de critères. Premièrement, elle doit être conforme à l'éthique et à la réglementation à tous égards ; deuxièmement, elle doit reposer sur une base solide de gouvernance de bout en bout ; et troisièmement, elle doit s'appuyer sur des piliers de performance solides concernant la partialité et l'équité, l'interprétabilité et l'explicabilité, ainsi que la robustesse et la sécurité."^[2]

Chacune de ces cinq dimensions clés mérite une brève explication :

• Éthique et réglementation. Les organisations doivent s'assurer qu'elles développent et utilisent l'IA d'une manière qui respecte les lois et les normes gouvernementales définies, et qui est acceptable selon les valeurs de l'organisation, de l'industrie dans laquelle elle opère et de la société dans son ensemble.
• L'élaboration et l'utilisation de modèles comportent des risques pour les organisations et leurs parties prenantes. Un cadre de contrôle conçu pour garantir que les organisations se conforment aux réglementations, qu'elles assument leurs responsabilités et qu'elles se protègent contre les conséquences négatives peut atténuer ces risques. En raison de la nouveauté, de la complexité et des caractéristiques uniques de l'IA, la gouvernance des modèles d'IA peut nécessiter des contrôles différents de ceux utilisés pour gouverner les modèles logiciels traditionnels, y compris des contrôles pour surveiller le cycle de vie des modèles d'IA au fur et à mesure que leur environnement d'exécution change.
• Préjugés et équité . Les systèmes d'IA qui utilisent des ensembles de données biaisés peuvent produire des prédictions biaisées. En l'absence de garde-fous techniques ou d'humains dans la boucle ayant l'obligation de détecter et de corriger ces biais, ces prédictions peuvent donner lieu à des décisions discriminatoires qui portent injustement préjudice à des personnes. Déterminer ce qui est "juste" n'est pas une tâche simple. Il existe de nombreuses définitions sociales et techniques, dont certaines sont contradictoires.
• Interprétabilité et explicabilité. Ces deux termes se rapportent aux degrés de compréhension et de transparence du fonctionnement d'un système d'IA. En termes simples, l'interprétabilité désigne la mesure dans laquelle nous pouvons comprendre comment un système parvient à sa prédiction. L'explicabilité fait référence au degré auquel nous pouvons comprendre pourquoi un système parvient à sa prédiction et de la manière dont il le fait. Selon le cas d'utilisation, l'interprétabilité et l'explicabilité peuvent jouer un rôle clé dans le maintien de la confiance et de la sécurité.
• Robustesse et sécurité. La robustesse est la mesure dans laquelle un système d'IA maintient ses performances lorsqu'il utilise des données différentes de son ensemble de données d'apprentissage. Toute divergence par rapport aux performances attendues doit être étudiée, car elle peut être le signe d'une erreur humaine, d'une attaque malveillante ou d'aspects non modélisés de l'environnement.

Une cause et une conséquence sous-estimées du risque lié à l'IA

Veillet et Bodkin ont commencé par décrire un risque majeur que les organisations devraient garder à l'esprit lorsqu'elles mettent en œuvre des systèmes d'IA, ainsi que l'un des principaux facteurs qu'ils ont vu à maintes reprises exacerber le risque.

L'IA et le risque de réputation. "Nous avons tous vu dans les médias des histoires d'IA qui ont mal tourné", a déclaré M. Veillet. Lorsque de nouveaux systèmes d'IA sont utilisés pour soutenir des décisions qui ont un impact sur les moyens de subsistance ou le bien-être des personnes - décisions concernant l'admissibilité à un prêt, les taux d'assurance maladie ou l'embauche - des biais involontaires et non pris en compte ou d'autres résultats négatifs peuvent nuire aux clients, aux patients, aux employés et à d'autres parties prenantes.

Une organisation qui utilise ces systèmes peut également subir des dommages importants. M. Veillet explique que "si un système d'IA n'est pas protégé, s'il agit de manière malhonnête, cela a des conséquences non seulement pour le public et les clients de l'organisation, mais aussi pour la réputation de l'organisation". Cela peut accroître l'exposition d'une organisation à la responsabilité, à une perte de valeur de la marque et du marché, et à des réponses réglementaires fortes.

Une responsabilité floue. Ce risque est aggravé par le fait que les organisations ne savent pas qui est responsable des résultats des systèmes d'IA. " Lepire des scénarios n'est que trop courant", a déclaré M. Bodkin. "Il n'y a personne au volant de cette voiture qui avance à toute allure sur la route.

Bodkin a décrit la façon dont ce fossé se creuse, en disant : "Les scientifiques des données, les ingénieurs et les équipes de développement ont l'impression d'exécuter un objectif commercial qui leur a été communiqué et d'optimiser les objectifs qu'ils se sont fixés. Trop souvent, les dirigeants d'entreprise ne comprennent pas vraiment ce qui se passe avec l'IA et n'ont pas l'impression de savoir comment influencer les résultats ou donner une orientation concrète." Il en résulte, selon lui, que personne ne se sent responsable de l'évaluation des risques, de leur comparaison avec les avantages de l'utilisation du système et de l'élaboration de stratégies d'atténuation.

Selon Mme Veillet, la responsabilité des risques liés aux systèmes d'IA peut être compliquée, mais une chose est sûre : elle n'incombe pas uniquement aux équipes techniques. Elle explique : "Je ne pense pas que la réponse à la question de savoir qui est responsable soit évidente, mais je dirais que ce ne sont pas uniquement les scientifiques des données qui ont construit la machine."

L'utilisation des systèmes d'IA devrait être liée à la stratégie globale de l'organisation, aux normes sectorielles relatives au risque et à l'éthique, et aux pratiques de conformité, avec la contribution des professionnels concernés pour chacun d'entre eux - mais ce n'est souvent pas le cas. "Nous constatons des lacunes dans le rattachement des contrôles de l'IA à des éléments tels que la stratégie de l'organisation", a déclaré M. Veillet. "Comment s'assurer que cette machine agit et se comporte conformément à la stratégie de l'organisation ? Suit-elle les règles et les règlements de cette organisation ?" Sans responsabilité explicite, les organisations laissent les risques liés à l'IA au hasard, au détriment potentiel des utilisateurs finaux et de l'organisation elle-même.

Où les organisations peuvent-elles commencer avec l'IA responsable ?

Après avoir relevé les problèmes de risque de réputation et de responsabilité, Veillet et Bodkin ont partagé des principes de réflexion sur l'IA responsable qui s'appliquent généralement à toutes les industries et à tous les secteurs.

Parrainage de haut en bas et formation de bas en haut. Selon M. Bodkin, la responsabilité des résultats de l'IA devrait être assumée par l'ensemble de l'organisation, avec "un parrainage descendant et une éducation ascendante". Pour déterminer les mécanismes de gouvernance appropriés, il faut des principes clairs, et M. Bodkin a déclaré : "L'articulation des valeurs et de la gouvernance doit commencer par le sommet."

M. Veillet est d'accord : "Cela va du haut vers le bas et du bas vers le haut. Nous constatons qu'il y a beaucoup de travail partagé sur l'élaboration de certaines politiques internes au sein des organisations et sur l'élaboration de meilleures pratiques et de lignes directrices en matière d'utilisation de l'IA." En ce qui concerne les fonctions inférieures à la direction, M. Veillet a expliqué que les organisations devraient éviter de confier la responsabilité à un groupe interne spécialisé et que la garantie d'une utilisation responsable des systèmes d'IA devrait être "un effort mené par les citoyens".

"Il n'est pas nécessaire d'être un data scientist pour comprendre les concepts importants de l'IA responsable et pour jouer un rôle dans leur application, a déclaré M. Veillet. Encourager l'éducation aux systèmes d'IA dans l'ensemble de l'organisation devrait être une priorité.

Un suivi permanent. "La maintenance fait partie de la gouvernance et du contrôle lorsque nous travaillons avec des organisations", a déclaré M. Veillet. Un aspect important de la maintenance des systèmes d'IA est la surveillance continue des conséquences involontaires. Contrairement aux principes conventionnels de développement de logiciels qui mettent l'accent sur des examens initiaux uniques du système, les organisations devraient surveiller en permanence les systèmes d'IA au fur et à mesure de leur utilisation, en reconnaissant que la nouveauté et la complexité de ces systèmes signifient que tous les résultats ne peuvent pas être anticipés. En outre, dans les cas où il peut être nécessaire de faire des compromis - par exemple, entre les performances d'un système et son niveau d'explicabilité - il peut être difficile de déterminer d'emblée le bon équilibre entre les risques et les avantages. Il se peut que seuls un suivi et un apprentissage continus permettent de trouver un compromis optimal.

En outre, une surveillance continue peut contribuer à garantir qu'un système conçu dans le contexte actuel continue à fonctionner comme prévu à l'avenir. Selon M. Veillet, les organisations qui utilisent l'IA devraient se poser la question suivante : "Comment contrôlons-nous et vérifions-nous que la machine n'a pas dérivé - qu'elle fait toujours ce qu'elle est censée faire ?" Lorsque les circonstances d'une économie ou d'une population changent, la distribution des données peut changer en même temps, selon un phénomène appelé " décalage des ensembles de données ", ce qui peut affecter la qualité prédictive d'un système d'IA. Ce phénomène peut affecter la qualité prédictive d'un système d'IA. Le surveiller et le corriger lorsqu'il se produit devrait faire partie intégrante des pratiques d'IA responsable.

Mesurer plusieurs paramètres. Afin de compléter le tableau des impacts de l'IA et de détecter les conséquences imprévues, la surveillance devrait inclure plus que la mesure optimisée. Selon M. Bodkin, "même les choses qui semblent bénignes et qui ne sont certainement pas destinées à se comporter d'une certaine manière peuvent avoir des conséquences significatives". Il a illustré son propos par une application apparemment sans grand enjeu : l'optimisation des clics pour la diffusion des médias. "Il s'avère qu'à grande échelle, les algorithmes prédisant les clics dans les grandes plateformes médiatiques ont eu un impact incroyable", a-t-il déclaré, contribuant à une augmentation inattendue de la désinformation, de la polarisation et de la dépendance.

Il poursuit : "En tant qu'organisations, je pense que nous devons mieux réfléchir à l'avance aux risques et à la manière dont nous surveillons les éléments que nous n'avions pas prévus pour les atténuer lorsque les choses commencent à déraper".

Regarder vers l'avenir : Une réglementation efficace et l'optimisme en matière d'IA

M. Veillet et M. Bodkin ont également partagé leur vision de ce que pourrait être une approche gouvernementale efficace en matière de réglementation de l'IA - une approche capable d'exploiter les forces du secteur privé pour suivre le rythme des nouveaux modèles et cas d'utilisation de l'IA, qui sont complexes et évoluent rapidement. M. Bodkin a imaginé un moyen d'intégrer les mécanismes du secteur privé pour "faire de la certification et de l'audit, de sorte que vous puissiez avoir des normes établies par le gouvernement, mais aussi une véritable concurrence et de l'innovation parmi les tiers qui peuvent aider à certifier et à garantir la conformité". Ce dispositif réglementaire ressemblerait à celui de l'information financière sur les marchés publics, où des entreprises privées responsables vérifient les comptes des sociétés publiques et certifient qu'ils satisfont aux normes gouvernementales. Il a également expliqué qu'il permettrait de réduire les coûts de mise en conformité, de soutenir un contrôle continu et de permettre aux organisations de s'adapter à l'émergence de nouveaux défis.

Enfin, après une discussion axée sur les risques, les intervenants ont conclu sur une note d'optimisme soulignant le potentiel passionnant de l'IA pour le bien de l'humanité. M. Veillet a déclaré : "L'utilisation de l'IA pour répondre aux préoccupations ESG - environnementales, sociétales et de gouvernance - est une opportunité considérable." M. Bodkin a ajouté : "Nous constatons que l'IA est utilisée pour lutter contre le changement climatique et pour fournir de meilleurs matériaux et une meilleure compréhension des problèmes liés au changement climatique. Elle est également utilisée pour continuer à ravir les clients et à leur offrir de meilleures expériences dans toute une série d'industries.

La collaboration entre les institutions de recherche et le secteur privé est un moteur important de ces avancées. En effet, le parrainage de l'Institut Vector par PwC en est un exemple, permettant à l'équipe d'innovation industrielle de Vector de partager la recherche et de diriger des projets industriels pratiques tels que le projet Vector Trustworthy AI et le projet Accelerating AI, qui explorent tous deux des moyens responsables de soutenir l'innovation tout en défendant des valeurs importantes et en préservant la vie privée. À leur tour, les expériences tirées de ces projets peuvent aider PwC à affiner la fourniture de son Responsible AI Toolkit, la suite de cadres, d'outils et de processus personnalisables du cabinet conçus pour soutenir une utilisation efficace, sûre et bénéfique de l'IA dans les entreprises.

"Ces collaborations qui explorent les moyens de libérer de la valeur de manière responsable sont devenues une priorité", a déclaré M. Bodkin. "Et je pense que l'une des forces des relations étroites entre la recherche et le secteur privé est que nous pouvons apprendre les uns des autres et progresser de manière pratique".

Regardez l'enregistrement de la discussion sur l'IA responsable ici.

[1] PwC Global. Sauter du bon côté de la fracture de l'IA. 22 février 2021.

[2] PwC. Guide pratique de l'intelligence artificielle (IA) responsable. 2019.[/vc_column_text][/vc_column][/vc_row]