1er décembre 2021
Par Ian Gormely
L'utilisation de l'IA pour améliorer la santé globale est l'un des quatre piliers du plan stratégique triennal de Vector.
Un article remarquable, signé par Quaid Morris et Marzyeh Ghassemi, membres du corps professoral de Vector, présente une méthode de création de listes de contrôle prédictives, des outils d'aide à la décision couramment utilisés en milieu clinique, à partir de données plutôt que de l'expertise du domaine. La méthode proposée dans « Learning Optimal Predictive Checklists », coécrite avec Haoran Zhang et Berk Ustun, permet de générer des listes de contrôle en quelques heures au lieu de plusieurs mois et offre une métrique concrète pour leur évaluation.
Vous trouverez ci-dessous des résumés et des résumés simplifiés de nombreux articles et ateliers acceptés par les membres du corps professoral de Vector.
Pour en savoir plus sur les travaux des chercheurs de Vector présentés à la conférence NeurIPS de cette année, cliquez ici .
Communications présentées lors de conférences sur la santé par les membres du corps professoral et les professeurs affiliés de Vector :
Timo Milbich , Karsten Roth, Samarth Sinha, Ludwig Schmidt, Marzyeh Ghassemi, Björn Ommer
L'apprentissage métrique profond (DML) vise à apprendre des espaces de représentation dans lesquels une métrique prédéfinie (par exemple, la distance euclidienne) est liée à la similarité sémantique des données d'entrée de manière à permettre le regroupement d'échantillons de classes non vues en fonction de leur similarité intrinsèque, même sous contrainte sémantique.
Décalages hors distribution. Cependant, les benchmarks standards utilisés pour évaluer les capacités de généralisation des différentes méthodes DML utilisent des divisions fixes entre les ensembles d'entraînement et de test, et donc des décalages fixes entre ces ensembles. Ou, en pratique, le décalage lors des tests est inconnu a priori. Par conséquent, la configuration d'évaluation par défaut est insuffisante pour évaluer l'utilisabilité pratique des différentes méthodes DML. Pour pallier ce problème, nous proposons un nouveau protocole permettant de générer des séquences de décalages sémantiques de plus en plus difficiles pour des divisions train-test données, afin d'évaluer les performances de généralisation des méthodes DML dans des scénarios plus réalistes avec différents décalages entre les ensembles d'entraînement et de test. Nous proposons ensuite une évaluation approfondie des approches conceptuelles du DML et de leurs avantages et inconvénients pour différents décalages entre les ensembles d'entraînement et de test, nous étudions les liens avec les métriques structurelles en tant qu'indicateurs potentiels des performances de généralisation en aval, et nous introduisons le DML avec peu d'exemples comme solution économique pour une généralisation systématiquement améliorée en présence de décalages hors distribution plus importants.
Flux de processus latents continus
Ruizhi Deng, Marcus A. Brubaker, Greg Mori, Andreas M. Lehrmann
Dans de nombreuses disciplines, on observe des données partielles sur la dynamique de séries temporelles continues à des moments arbitraires. L'ajustement de ce type de données à l'aide de modèles statistiques à dynamique continue est non seulement prometteur d'un point de vue intuitif, mais présente également des avantages pratiques, notamment la possibilité de générer des trajectoires continues et d'effectuer des inférences sur des instants inédits. Malgré des progrès encourageants dans ce domaine, les modèles existants rencontrent encore des difficultés en termes de puissance de représentation et de qualité de leurs approximations variationnelles. Nous relevons ces défis grâce aux flux de processus latents continus (CLPF), une architecture rigoureuse qui décode les processus latents continus en processus observables continus à l'aide d'un flux normalisant dépendant du temps, piloté par une équation différentielle stochastique. Afin d'optimiser notre modèle par maximum de vraisemblance, nous proposons une nouvelle construction par morceaux d'un processus a posteriori variationnel et en déduisons la borne inférieure variationnelle correspondante par repondération des trajectoires. Nos études d'ablation démontrent l'efficacité de nos contributions dans diverses tâches d'inférence sur des grilles temporelles irrégulières. Les comparaisons avec les méthodes de référence les plus performantes montrent les excellentes performances de notre modèle sur des données de séries temporelles synthétiques et réelles.
Jixuan Wang, Kuan-Chieh Wang, Frank Rudzicz, Michael Brudno
Le pré-entraînement de modèles de langage basés sur Transformer sur des textes non étiquetés, suivi d'un ajustement fin sur des tâches cibles, a permis d'obtenir d'excellents résultats dans divers domaines du traitement automatique du langage naturel (TALN). Cependant, l'étape d'ajustement fin nécessite encore une grande quantité de données étiquetées pour obtenir de bonnes performances. Dans ce travail, nous proposons une approche de méta-apprentissage pour la classification de textes avec peu d'exemples, où chaque classe ne dispose que de quelques exemples. Lors de l'entraînement, notre modèle acquiert des connaissances a priori utiles à partir d'un ensemble de tâches diverses mais connexes. Lors des tests, il utilise ces connaissances pour mieux résoudre diverses tâches en aval dans différents domaines. On utilise les gradients comme caractéristiques pour représenter la tâche. Comparé à l'ajustement fin et à d'autres approches de méta-apprentissage, notre approche offre de meilleures performances sur un ensemble diversifié de tâches de classification de textes. Ce travail constitue une première exploration de l'utilisation de représentations de tâches basées sur les gradients pour le méta-apprentissage.
Listes de contrôle prédictives optimales pour l'apprentissage
Haoran Zhang, Quaid Morris, Berk Ustun, Maryzeh Ghassemi
Les listes de vérification sont des outils d'aide à la décision couramment utilisés en milieu clinique. Leur efficacité tient notamment à leur simplicité : elles se remplissent en quelques minutes, ne nécessitent aucun matériel spécifique (une simple feuille imprimée suffit) et sont facilement vérifiables, contrairement à d'autres modèles d'apprentissage automatique de type « boîte noire ». Cependant, la grande majorité des listes de contrôle actuelles sont élaborées par des groupes d'experts. Dans ce travail, nous proposons une méthode pour créer des listes de contrôle prédictives à partir de données. Cette approche nous permet d'avoir des critères d'évaluation mesurables (c'est-à-dire une mesure concrète pour évaluer les listes de contrôle). Elle accélère également le développement du modèle : nous pouvons créer des listes de vérification en quelques heures, au lieu d'attendre des mois l'avis d'un groupe d'experts. Notre méthode formule la création de la liste de contrôle comme un programme linéaire en nombres entiers, minimisant ainsi directement son taux d'erreur. Notre méthode présente l'avantage crucial d'intégrer des contraintes personnalisables (concernant par exemple la forme, la performance ou l'équité de la liste de contrôle), et de révéler les situations où une liste de contrôle n'est pas adaptée à une tâche donnée. Nous constatons que notre méthode surpasse les méthodes de référence existantes et présentons deux études de cas illustrant son utilité pratique : 1) nous entraînons une liste de contrôle à prédire la mortalité chez les patients en soins intensifs en tenant compte des contraintes d'équité entre les groupes ; 2) on apprend une version abrégée de la liste de vérification du SSPT pour le DSM-5, plus rapide à remplir tout en conservant sa précision.
Impasses médicales et apprentissage de l'identification des états et des traitements à haut risque
Mehdi Fatemi (Microsoft Research), Taylor W. Killian (Université de Toronto/Institut Vector), Jayakumar Subramanian (Adobe Research – Inde), Marzyeh Ghassemi (Massachusetts Institute of Technology)
Les interactions patient-clinicien sont par nature des processus séquentiels où les décisions thérapeutiques sont prises et adaptées en fonction de la compréhension, par un expert, de l'évolution de la santé du patient. Bien que l'apprentissage par renforcement (RL) se soit révélé un outil puissant pour apprendre des stratégies de décision optimales – apprendre quoi faire –, la garantie de trouver ces solutions dépend de la possibilité d'expérimenter différentes stratégies afin de recueillir davantage de données. Ce type d'exploration est impossible dans le contexte des soins de santé, rendant ainsi l'apprentissage de stratégies optimales impossible. Dans ce travail, nous proposons d'inverser le paradigme du RL dans des contextes critiques de sécurité et de données limitées, afin d'étudier les traitements à haut risque ainsi que les états de santé des patients. Nous entraînons l'algorithme à identifier les traitements à éviter afin de prévenir des complications irréversibles, définies comme une impasse médicale. Nous appliquons cette approche (Découverte d'impasses – DeD) à une tâche clinique réelle en utilisant l'ensemble de données MIMIC-III, concernant la prise en charge de patients gravement malades ayant développé une septicémie. Nous établissons l'existence d'impasses et démontrons l'utilité de la DeD, en émettant des avertissements indiquant quand un patient ou un traitement présente un risque élevé ou extrême de se retrouver dans une impasse et donc de mourir.
Ateliers sur la santé animés par les membres du corps professoral de Vector :
Katy Haynes, Ziad Obermeyer, Emma Pierson, Marzyeh Ghassemi, Matthew Lungren, Sendhil Mullainathan, Matthew McDermott
Cet atelier lancera une nouvelle plateforme pour les ensembles de données d'imagerie médicale ouverts. Annotées avec des résultats de référence sélectionnés autour d'un ensemble de problèmes médicaux non résolus, ces données permettront d'approfondir la contribution de l'apprentissage machine à la santé et de soulever de nouveaux défis techniques.
