Les pharmacies de proximité ont de plus en plus recours aux assistants vocaux basés sur l'IA pour gérer le volume considérable d'appels entrants de patients. Si l'automatisation des rendez-vous et des demandes de renseignements courantes réduit l'épuisement professionnel du personnel et améliore l'accès aux soins, le déploiement de ces assistants vocaux en milieu clinique comporte des risques importants.
Si un agent vocal comprend mal l'accent d'un patient, donne des conseils médicaux non autorisés ou gère mal des informations de santé confidentielles, les conséquences peuvent être graves. Or, les méthodes d'évaluation actuelles du secteur sont souvent insuffisantes. Des indicateurs standards comme le taux de résolution des appels indiquent si un appel a réussi, mais ils fournissent peu d'informations sur les causes de l'échec ou sur les profils de patients les plus vulnérables aux erreurs du système.
MedMe Health a identifié cette lacune. Cette entreprise de santé numérique basée à Toronto accompagne plus de 4 500 pharmacies en Amérique du Nord et a facilité plus de 30 millions d'interactions avec des patients à ce jour. Souhaitant déployer à plus grande échelle son service de conciergerie patient par intelligence artificielle, elle devait s'assurer que la technologie soit sûre, équitable et fiable.
MedMe s'est joint au programme HealthSpark de Vector pour aller au-delà des indicateurs de rendement de base et élaborer une méthodologie d'évaluation de l'IA rigoureuse et axée sur des scénarios.
Tests de résistance des agents vocaux IA dans le monde réel
Pendant plus de quatre mois, MedMe Health a travaillé aux côtés des experts en IA de Vector pour concevoir et mettre en œuvre un cadre de test et d'évaluation basé sur les personas qui s'intègre directement dans la pile technologique existante de MedMe.
L'objectif était simple : identifier proactivement les risques de défaillance avant que l'agent vocal n'interagisse avec de vrais patients. Les équipes ont élaboré un ensemble structuré de profils de patients afin d’évaluer systématiquement la sécurité et l’équité du système auprès de la population canadienne, en tenant compte de la variabilité des accents, des intonations, des compétences linguistiques et des besoins d’accessibilité.
Cette approche a été mise en œuvre grâce à un pipeline de tests évolutif basé sur le code. En introduisant des stratégies d'évaluation par équipes rouges et par niveaux, le cadre de travail dépasse les limites de l'assurance qualité traditionnelle. Il identifie des vulnérabilités précises, telles que des violations des recommandations médicales ou des défaillances de la procédure d'escalade, permettant ainsi à MedMe d'améliorer progressivement la logique du système, la conception des réponses et les mécanismes de sécurité avant le déploiement pilote.
« Le programme HealthSpark nous a permis d’acquérir une expertise en IA et l’assurance, grâce à des tests effectués par des experts, que les agents vocaux que nous développons sont accessibles et équitables pour tous les Canadiens. »
Mise à l'échelle d'un service de conciergerie patient IA responsable
La collaboration avec HealthSpark a accéléré le développement du produit de conciergerie patient IA de MedMe et a généré un impact économique concret. Le projet a abouti à la commercialisation de deux produits et services, et trois prototypes sont prêts à être testés en conditions réelles.
Ce partenariat a également généré des retombées significatives en matière de recrutement et d'emploi. L'équipe de Vector a formé et accompagné les employés de MedMe, leur fournissant un savoir-faire essentiel en matière d'évaluation de l'IA. De plus, le projet a permis la création de nouveaux emplois et le maintien de plusieurs postes au sein des équipes professionnelles, scientifiques et technologiques de MedMe.
Le plan d'évaluation rigoureux mis en place par HealthSpark garantit que le déploiement commercial de la solution d'assistance patient IA de MedMe se fera en toute sécurité. Pour les milliers de pharmacies qui s'appuient sur l'infrastructure de MedMe, cela signifie un accès à un outil d'IA qui ne se contente pas de répondre au téléphone, mais qui comprend le patient à l'autre bout du fil.
Le programme HealthSpark de Vector est soutenu par un investissement du gouvernement du Canada par l'entremise de l' Agence fédérale de développement économique pour le sud de l'Ontario (FedDev Ontario).
