4 août 2021

À mesure que l’adoption de l’intelligence artificielle (IA) dans les entreprises et l’industrie augmente, les questions sur les risques et la gouvernance spécifique à l’IA émergent – et y répondre s’avère être un défi de taille. En effet, des analyses récentes de 2021 ont montré que seulement 12% des entreprises « avaient réussi à intégrer pleinement la gestion des risques et les contrôles en IA et à les automatiser suffisamment pour atteindre une échelle ». ^[1]

Le 15 juillet^, Annie Veillet, associée de la pratique de consultation One Analytics de PwC Canada, s’est jointe à Ron Bodkin, vice-président de l’ingénierie et DSI de l’Institut Vector Institute et responsable de l’ingénierie de l’Institut Schwartz Reisman, pour partager leur expertise sur l’IA responsable. C’est un concept que Veillet décrit comme « les garde-fous » destinés à s’assurer que les systèmes d’IA fassent « ce qu’ils doivent faire, agissent de manière éthique et équitable ». Animée par Shingai Manjengwa, directrice de l’éducation technique de Vector, Veillet et Bodkin ont abordé pourquoi l’IA responsable est un sujet crucial pour les entreprises utilisant des systèmes d’IA aujourd’hui et comment commencer à réfléchir aux risques et défis uniques de cette technologie en l’absence de normes largement acceptées.

Qu’est-ce que l’IA responsable?

L’IA responsable désigne un ensemble de principes et de pratiques qui guident le développement éthique et l’utilisation des systèmes d’IA. A practical gu ide to Responsible Artificial Intelligence (AI) de PwC offre une description succincte :

« [L]as organisations doivent s’assurer que leur utilisation de l’IA répond à plusieurs critères. Premièrement, qu’il soit éthiquement rigoureux et conforme aux règlements à tous égards; deuxièmement, qu’elle repose sur une base solide de gouvernance de bout en bout; et troisièmement, qu’elle est soutenue par de solides piliers de performance traitant des biais et de l’équité, de l’interprétabilité et de l’explicabilité, ainsi que de la robustesse et de la sécurité. » ^[2]

Chacune de ces cinq dimensions clés mérite une brève explication :

• Éthique et règlements. Les organisations doivent s’assurer de développer et d’utiliser l’IA de manière à respecter les lois et normes gouvernementales définies, et qui est acceptable selon les valeurs de l’organisation, de l’industrie dans laquelle elles opèrent et de la société en général.
• Le développement et l’utilisation du modèle comportent des risques pour les organisations et leurs parties prenantes. Un cadre de contrôles conçu pour s’assurer que les organisations respectent les règlements, attribuent la responsabilité et se prévoient contre des conséquences négatives peut atténuer ces risques. En raison de la nouveauté, de la complexité et des caractéristiques uniques de l’IA, la gouvernance des modèles d’IA peut nécessiter des contrôles différents de ceux utilisés pour gouverner les modèles logiciels traditionnels, y compris des contrôles pour surveiller le cycle de vie des modèles d’IA à mesure que leur environnement d’exécution évolue.
• Biais et équité. Les systèmes d’IA qui utilisent des ensembles de données biaisés peuvent produire des prédictions biaisées. Sans garanties techniques ou sans personnes impliquées dans la boucle avec le devoir de détecter et corriger cela, ces prédictions peuvent éclairer des décisions discriminatoires qui nuisent injustement aux gens. Déterminer ce qui est « juste » n’est pas une tâche simple. Il existe de nombreuses définitions sociales et techniques, dont certaines entrent en conflit entre elles.
• Interprétabilité et explicabilité. Les deux termes concernent les degrés de compréhension et de transparence quant au fonctionnement d’un système d’IA. En termes simples, l’interprétabilité fait référence au degré auquel nous pouvons comprendre comment un système arrive à sa prédiction. L’explicabilité fait référence au degré auquel nous pouvons comprendre pourquoi un système arrive à sa prédiction et de la manière dont il le fait. Selon le cas d’usage, l’interprétabilité et l’explicabilité peuvent jouer un rôle clé pour maintenir la confiance et la sécurité.
• Robustesse et sécurité. La robustesse est le degré auquel un système d’IA maintient ses performances lorsqu’il utilise des données différentes de son jeu de données d’entraînement. Une divergence par rapport à la performance attendue doit être étudiée, car elle peut signaler une erreur humaine, une attaque malveillante ou des aspects non modélisés de l’environnement.

Une cause et une conséquence sous-estimées du risque lié à l’IA

Veillet et Bodkin ont commencé en décrivant un risque majeur que les organisations devraient garder à l’esprit lors de la mise en œuvre de systèmes d’IA, ainsi que l’un des facteurs majeurs qu’ils ont constatés à plusieurs reprises aggraver le risque.

IA et risque réputationnel. » Nous avons tous vu dans les médias des histoires d’IA qui ont mal tourné », a déclaré Veillet. Lorsque de nouveaux systèmes d’IA sont utilisés pour soutenir des décisions qui affectent les moyens de subsistance ou le bien-être des gens – des décisions concernant la qualification des prêts, les taux d’assurance maladie ou l’embauche – des biais ou d’autres conséquences négatives non intentionnels ou non expliqués peuvent nuire aux clients, aux patients, aux employés et aux autres parties prenantes.

Une organisation qui utilise ces systèmes peut également subir des dommages importants. Veillet a expliqué : « Si un système d’IA n’est pas protégé, s’il agit de manière malveillante, cela a des conséquences non seulement sur le public et les clients de l’organisation, mais aussi sur la réputation de l’organisation. » Cela peut augmenter l’exposition d’une organisation à la responsabilité, la perte de valeur de marque et de marché, ainsi que des réponses réglementaires fortes.

Responsabilité floue. Ce risque contribue à un écart au sein des organisations quant à qui est responsable des résultats des systèmes d’IA. «Le pire scénario est bien trop courant », dit Bodkin. « Tu n’as personne au volant de cette voiture qui file en avant sur la route. »

Bodkin a décrit comment cet écart se développe, disant : « Les data scientists, ingénieurs et équipes de développement ont l’impression d’exécuter un objectif d’affaires qu’on leur a donné, et qu’ils optimisent pour les objectifs qu’ils ont. Et trop souvent, on voit des dirigeants d’entreprise qui ne comprennent pas vraiment ce qui se passe avec l’IA, et qui n’ont pas l’impression de savoir comment influencer les résultats ou donner des directions concrètes. » Le résultat, a-t-il dit, est que personne ne se sent responsable d’évaluer les risques, de les considérer en fonction des bénéfices d’utilisation du système et de développer des stratégies d’atténuation.

Selon Veillet, la possession des risques liés aux systèmes d’IA peut être complexe, mais une chose est certaine : cela ne repose pas uniquement sur les équipes techniques. Elle explique : « Je ne pense pas que la réponse soit claire sur qui est responsable, mais je vais dire que ce ne sont pas seulement les data scientists qui ont construit la machine. »

L’utilisation des systèmes d’IA devrait être ancrée dans la stratégie plus large de l’organisation, aux normes de l’industrie liées aux risques et à l’éthique, ainsi qu’aux pratiques de conformité, avec l’avis de professionnels pertinents pour chacune – mais ce n’est souvent pas le cas. « Nous constatons des lacunes reliant les contrôles de l’IA à des choses comme la stratégie d’une organisation », a déclaré Veillet. « Alors, comment sommes-nous sûrs que cette machine agit et se comporte selon la stratégie de cette organisation? Est-ce que ça respecte les règles et règlements de cette organisation? »  Sans responsabilité explicite, les organisations laissent le risque de l’IA au hasard – au détriment potentiel des utilisateurs finaux et de l’organisation elle-même.

Où les organisations peuvent commencer avec l’IA responsable

Avec les problèmes de risque réputationnel et de responsabilité notés, Veillet et Bodkin ont partagé des principes pour réfléchir à l’IA responsable qui s’appliquent généralement à tous les secteurs et industries.

Parrainage descendant et éducation ascendante. Bodkin a déclaré que la responsabilité des résultats en IA devrait exister dans toute l’organisation, avec « un parrainage descendant et une éducation ascendante ». Déterminer quels mécanismes de gouvernance sont appropriés nécessite des principes clairs, et Bodkin a déclaré : « L’articulation des valeurs et de la gouvernance doit commencer par le haut. »

Veillet a acquiescé : « Ça va de haut en bas et de bas en haut. Nous voyons beaucoup de travail partagé pour façonner certaines politiques internes dans les organisations et vraiment élaborer des meilleures pratiques et des lignes directrices concernant l’utilisation de l’IA. » Pour les postes en dessous de la direction, Veillet a expliqué que les organisations devraient éviter de confier la responsabilité à un groupe interne spécialisé, et que s’assurer que les systèmes d’IA soient utilisés de manière responsable devrait être « un effort mené par les citoyens ».

« Il n’est pas nécessaire d’être un data scientist pour comprendre des concepts importants de l’IA responsable » et pour jouer un rôle dans leur application, a déclaré Veillet. Encourager l’éducation sur les systèmes d’IA dans toute l’organisation devrait être une priorité.

Surveillance continue. » Une partie de la gouvernance et du contrôle lorsque nous travaillons avec des organisations est la maintenance », a déclaré Veillet. Un aspect important de la maintenance des systèmes d’IA est la surveillance continue des conséquences inattendues. Contrairement aux principes conventionnels de développement logiciel qui mettent l’accent sur des revues systémiques ponctuelles au départ, les organisations devraient surveiller constamment les systèmes d’IA au fur et à mesure de leur utilisation, en reconnaissant que la nouveauté et la complexité de ces systèmes font que tous les résultats ne peuvent pas être anticipés. De plus, dans les cas où des compromis doivent être faits – par exemple, entre la performance d’un système et le niveau d’explicabilité – il peut être difficile de déterminer le bon équilibre entre risque et bénéfice dès le départ. Il se peut que ce soit seulement par un suivi et un apprentissage continus qu’un compromis optimal puisse être développé.

De plus, une surveillance continue peut aider à s’assurer qu’un système conçu dans le contexte actuel continue de fonctionner comme prévu à l’avenir. Veillet a dit que les organisations utilisant l’IA devraient se demander : « Comment contrôlons-nous et vérifions-nous que la machine n’a pas dérivé – qu’elle fait toujours ce qu’elle est censée faire? » Lorsque les circonstances d’une économie ou d’une population changent, la distribution des données peut évoluer avec elles dans un phénomène appelé déplacement des ensembles de données, ce qui peut affecter la qualité prédictive d’un système d’IA. La surveillance et la correction lorsqu’elle survient devrait faire partie des pratiques régulières de l’IA responsable.

Mesurer plusieurs indicateurs. Pour compléter le portrait des impacts de l’IA et percevoir les conséquences imprévues, la surveillance devrait inclure plus que la métrique optimisée. Bodkin a dit : « Même des choses qui semblent bénignes et qui ne sont certainement pas destinées à se comporter d’une certaine façon peuvent avoir des conséquences significatives. » Il a illustré avec une application apparemment à faible enjeu : optimiser les clics pour servir les médias. « Il s’avère qu’à grande échelle, les algorithmes prédisant les clics sur les grandes plateformes médiatiques ont eu un impact incroyable », a-t-il dit, contribuant à des augmentations inattendues de la désinformation, de la polarisation et de la dépendance.

Il a poursuivi : « En tant qu’organisations, je pense que nous devons mieux réfléchir à l’avance aux risques et à surveiller les choses que nous ne nous attendions pas à atténuer lorsque les choses commencent à mal tourner. »

Vers l’avenir : Sur la réglementation efficace et l’optimisme de l’IA

Veillet et Bodkin ont également partagé une vision de ce à quoi pourrait ressembler une approche gouvernementale efficace de la réglementation de l’IA — une approche capable de tirer parti des forces du secteur privé pour suivre le rythme de nouveaux modèles et cas d’utilisation d’IA complexes et en rapide évolution. Bodkin a imaginé une façon d’intégrer les mécanismes du secteur privé pour « faire la certification et l’audit, afin que les normes soient établies par le gouvernement, mais qu’il y ait une réelle concurrence et innovation entre tiers qui peuvent aider à certifier et garantir la conformité. » Cet arrangement réglementaire ressemblerait à celui des rapports financiers des marchés publics, où les entreprises du secteur privé responsables auditent les finances des sociétés publiques et certifient qu’elles respectent les normes gouvernementales. De plus, a-t-il expliqué, cela réduirait les coûts de conformité, soutiendrait la surveillance continue et permettrait aux organisations de s’adapter à l’émergence de nouveaux défis.

Enfin, après une discussion axée sur le risque, les intervenants ont conclu sur une note d’optimisme soulignant le potentiel passionnant que l’IA a pour bénéficier à l’humanité. Veillet a déclaré : « Utiliser l’IA pour répondre aux préoccupations ESG – environnementales, sociétales et de gouvernance – est une énorme opportunité. » Bodkin a ajouté : « Nous voyons l’IA être utilisée pour lutter contre les changements climatiques et pour fournir de meilleurs matériaux et une meilleure compréhension des problèmes liés aux changements climatiques. Et nous la voyons utilisée pour continuer à ravir les clients et à offrir de meilleures expériences dans divers secteurs. »

Un moteur important de ces avancées est la collaboration entre les institutions de recherche et le secteur privé. En effet, le parrainage de PwC à l’Institut Vector en est un exemple, permettant à l’équipe d’innovation industrielle de Vector de partager des recherches et de diriger des projets pratiques dans l’industrie tels que le projet Trustworthy AI de Vector et le projet Accelerating AI, qui explorent tous deux des moyens responsables de soutenir l’innovation tout en défendant des valeurs importantes et en préservant la vie privée. En retour, les expériences issues de ces projets peuvent aider PwC à affiner la prestation de leur Responsible AI Toolkit, la suite de cadres, outils et processus personnalisables de l’entreprise conçus pour soutenir une utilisation efficace, sécuritaire et bénéfique de l’IA en affaires.

« Ces collaborations qui explorent comment libérer la valeur de manière responsable sont devenues une priorité de l’ordre du jour », a déclaré Bodkin. « Et je pense qu’une des forces d’avoir des relations étroites entre la recherche et le secteur privé, c’est que nous pouvons apprendre les uns des autres et progresser de manière concrète. »

Regardez l’enregistrement de la discussion au coin du feu sur Responsible AI ici.

[1] PwC Global. Sauter du côté droit de la ligne de partage de l’IA. 22 février 2021.

[2] PwC. Un guide pratique de l’intelligence artificielle (IA) responsable. 2019.[/vc_column_text][/vc_column][/vc_row]