Photo : Ousa Chea Ousa Chea sur Unsplash

Marzyeh Ghassemi, membre de la faculté Vector, a récemment contribué à la rédaction d'un article Viewpoint pour JAMA online : Les défis de la reproductibilité des modèles d'apprentissage automatique dans les soins de santé. Rédigé par Ghassemi, Andrew L Beam et Arjun Manrai, l'article examine l'intersection entre l'apprentissage automatique et les soins de santé, ainsi que les avantages et les défis de la reproductibilité et de la réplicabilité.

La reproductibilité fait référence à la capacité des chercheurs à obtenir les mêmes résultats que l'étude originale lorsqu'ils ont accès aux données sous-jacentes et au code d'analyse. Toutefois, même lorsqu'une étude est reproductible, les auteurs précisent que cela ne signifie pas qu'elle peut être reproduite (lorsque quelqu'un applique les mêmes méthodes à un ensemble différent de données) ou que des généralisations peuvent être faites à partir de ses résultats. 

L'apprentissage automatique contribue à la création de nombreux nouveaux outils de prédiction clinique. Bien qu'ils permettent d'améliorer la qualité des soins pour les patients et de réduire les coûts pour les hôpitaux, ils présentent également des défis uniques et des obstacles à la reproductibilité, ce qui doit être soigneusement pris en compte pour la sécurité des patients lorsque ces techniques commencent à être déployées dans les hôpitaux.

"La communauté de l'apprentissage automatique s'efforce de produire des résultats robustes", explique M. Ghassemi. L'utilisation de modèles de grande capacité, capables de modéliser de nombreuses relations entre plusieurs variables, peut ajouter de la complexité à la reproductibilité ; il y a souvent des choix techniques faits par défaut, ou dans le cadre d'un processus d'installation, qui pourraient avoir un impact sur le résultat d'une étude. "Un médecin d'un autre endroit pourrait utiliser le même modèle sur ses données et obtenir des résultats très différents.

Le partage des codes et l'accessibilité des données sont deux objectifs importants qui, selon M. Ghassemi, doivent toujours être gardés à l'esprit. "Les risques à long terme liés à la création de résultats invérifiables dans un contexte clinique sont réels, et nous devrions investir dans une culture de la recherche qui permette la vérification intellectuelle."