Par John Knechtel
Du télescope au bilan comptable – un résumé de l’atelier Foundation Models for Science explique comment les scientifiques peuvent aider les entreprises à résoudre leurs problèmes de données les plus tenaces et à construire une IA qui fonctionne réellement.
Par un mardi frais à Toronto, alors que le soleil de novembre filtrait à travers les puits de lumière situés très haut, une salle comble du MaRS était réunie pour l'atelier « Modèles fondamentaux pour la science » de l'Institut Vector. Les astrophysiciens, biologistes et chimistes présents étaient là pour s'attaquer à un problème concret : comment faire en sorte que les machines comprennent des phénomènes que même les humains ont appris à observer que récemment.
L'actualité en matière d'IA s'est récemment concentrée sur des modèles comme GPT-4, entraînés sur l'intégralité du Web ouvert pour imiter au mieux le langage humain. Mais dans les laboratoires où l'on conçoit des médicaments et dans les observatoires qui cartographient l'univers, Internet est un véritable désert. Impossible d'y trouver la signature chimique d'une insuffisance hépatique ou la distance d'une galaxie située à treize milliards d'années-lumière. Ces vérités se révèlent lentement, au prix de millions de dollars et de décennies de travail.
La journée était, à juste titre, consacrée à la conception d'une IA performante même en cas de données rares, d'enjeux importants et de sources déconnectées. Nous examinerons ci-dessous trois défis récurrents dans ce contexte : le goulot d'étranglement de l'annotation, le déficit de confiance et le passage du laboratoire à la production.
Le goulot d'étranglement des annotations
Nolan Koblischke, doctorant en astrophysique à l'Université de Toronto, consacre ses journées à la recherche d'une aiguille dans une botte de foin galactique : des phénomènes célestes rares comme les lentilles gravitationnelles – des moments où la gravité d'une galaxie massive au premier plan agit comme une loupe cosmique, déformant la lumière d'un objet plus lointain en un anneau lumineux. Mais en astronomie, le problème fondamental n'est pas le manque de données, mais leur abondance démesurée, et surtout la présence de données inappropriées. Ces lentilles sont les « joyaux rares » de la cosmologie, n'apparaissant que dans une image télescopique sur dix mille environ.
Traditionnellement, leur recherche exigeait un travail manuel colossal. Des équipes de chercheurs passaient des heures devant leurs écrans à parcourir des millions de taches quasi identiques, les étiquetant une à une. Pour les dirigeants, le problème est bien connu : ils disposent d’un atout considérable – une archive d’images, une multitude de capteurs, une décennie de numérisations – mais celui-ci est inutilisable faute de temps et de budget pour un étiquetage à grande échelle.
L'équipe de Koblischke a décidé de lever cet obstacle. Ils ont fourni 140 millions d'images de galaxies à GPT-4o-mini en lui demandant de simples descriptions textuelles. Ils ont ensuite utilisé une technique appelée apprentissage contrastif pour établir un lien entre le monde des pixels et celui du langage. Au lieu de traiter les images et le texte comme des silos distincts, ils ont entraîné un modèle de base (AION-1) à les placer dans un espace sémantique partagé : les images similaires sont regroupées, les mots et expressions qui les décrivent sont associés, et les concepts sans rapport sont éloignés les uns des autres.
En termes clairs, ils ont enseigné au modèle un dictionnaire bilingue qui associe des images à des textes. Dans cet espace, l'image d'une galaxie tourbillonnante et le mot « spirale » sont côte à côte ; l'image d'une tache lisse et uniforme et l'expression « galaxie elliptique » forment un autre groupe.
L'avantage, c'est ce que les chercheurs en IA appellent la recherche « zéro-shot ». Grâce à la compréhension du lien entre les motifs visuels et le langage par le modèle, les astronomes n'ont plus besoin de prédéfinir chaque catégorie qui les intéresse. Un chercheur peut saisir une requête inédite comme « anneau bleu déformé » ou « fin croissant près d'un noyau brillant », et le système affiche instantanément dans sa base de données les images les plus proches de cette description, même si aucun classificateur n'a été entraîné pour cette expression exacte.
Pour les entreprises, cela représente un changement fondamental. Au lieu d'investir des années dans l'étiquetage manuel et des taxonomies rigides, elles bénéficient d'une interface en langage naturel et flexible pour leurs données visuelles et transforment leurs archives, d'un document statique, en une ressource interactive et conversationnelle que les spécialistes peuvent interroger avec leurs propres termes.
Ce même principe s'applique à tous les secteurs d'activité qui se trouvent sous les images, mais qui manquent cruellement d'étiquettes structurées. Dans le domaine de la santé, les radiologistes pourraient interroger des millions de scanneurs à la recherche d'expressions telles que « petit nodule spiculé dans la partie supérieure du poumon droit » sans avoir à annoter chaque cas au préalable, car le modèle utilise un espace image-texte partagé pour trouver les correspondances les plus pertinentes. Dans le secteur manufacturier, les ingénieurs pourraient rechercher « microfissure près d'une soudure » ou « composant mal aligné sur le convoyeur n° 2 » et laisser le système analyser les lignes de production et les usines, simplement en décrivant le défaut qui les intéresse.
Les leaders peuvent tirer une leçon simple de ce travail : vos données visuelles non étiquetées constituent l’un de vos atouts les plus sous-exploités. Plutôt que d’investir massivement dans des projets d’annotation exhaustifs, vous pouvez utiliser des modèles de base pour aligner images et langage dans un espace sémantique unique, fournir aux experts du domaine un outil de recherche qui utilise leur vocabulaire et débloquer des cas d’utilisation inédits (nouvelles requêtes, nouveaux produits, nouveaux types de défauts) sans avoir à reconstruire votre infrastructure d’IA à chaque fois.
Autrement dit, l'enjeu stratégique ne réside pas seulement dans l'enrichissement de vos images, mais dans leur interaction avec votre organisation. Les entreprises qui réussiront ne seront pas celles qui recueillent le plus de photos, mais celles qui conçoivent des systèmes permettant à un expert de saisir quelques mots et d'obtenir l'intégralité de l'historique visuel de l'entreprise.
Le déficit de confiance
Si les astronomes cartographient les confins de l'espace, l'industrie pharmaceutique explore le microcosme du corps humain, où une simple erreur peut anéantir des milliards d'euros investis en recherche et développement. Justin Donnelly (docteur en biologie chimique) d'Axiom Bio a rappelé que le coût moyen de mise en marché d'un médicament s'élève à environ 2,5 milliards de dollars, et que l'un des principaux facteurs de ce coût est l'hépatotoxicité médicamenteuse. Cette réaction toxique reste souvent invisible jusqu'à ce que le médicament soit déjà en phase avancée d'essais cliniques, moment où l'échec est le plus coûteux et nuit considérablement à la réputation de l'entreprise.
Pour les dirigeants, le problème fondamental est bien connu : des décisions cruciales prises sur la base de données insuffisantes. Dans ce cas précis, nous n'avons d'étiquettes de toxicité claires que pour environ 2 000 composés. C'est loin d'être suffisant pour réduire les risques de manière fiable pour l'ensemble d'un portefeuille de recherche si l'on considère l'IA comme un simple moteur de « big data ».
L'approche de Donnelly reformule la question. Au lieu de demander au modèle de se prononcer simplement par oui ou par non sur la toxicité, il apprend à l'IA à s'expliquer en termes biologiques. Son équipe entraîne un modèle d'IA puissant et de grande envergure sur une multitude de données expérimentales — environ 116 000 composés testés en laboratoire — afin de prédire un ensemble de caractéristiques biologiques fondamentales à partir de la structure de chaque molécule. En clair, l'IA apprend à répondre à la question : « Étant donné cette molécule, quels sont ses effets probables sur les cellules et les tissus ? » avant même de se prononcer sur son innocuité.
Surtout, c'est juste une première étape. Les caractéristiques prédites sont ensuite intégrées à un deuxième modèle, plus transparent, qui fonctionne moins comme une boîte noire et davantage comme un toxicologue expérimenté. Lorsqu'un médicament de Pfizer, le Lexipeptide, a commencé à présenter une toxicité au cours de son développement, ce système en deux étapes n'a pas seulement sonné l'alarme ; il a permis une analyse a posteriori quantifiée. Il a attribué le risque principalement au stress mitochondrial et à une forte concentration du médicament, mettant ainsi en évidence les leviers spécifiques que les chimistes auraient pu actionner plus tôt. De même, et c'est tout aussi important, lorsque le modèle est incertain, il l'indique clairement : « Je n'ai pas suffisamment de données sur ce mécanisme ; faites cette expérience ensuite. »
L’IA se transforme ainsi d’un oracle mystérieux en un assistant décisionnel doté d’une piste d’audit. Au lieu d'un score binaire impossible à justifier devant un comité de gouvernance, les dirigeants obtiennent :
- Une estimation du risque, ventilée par des facteurs biologiques contributifs
- Un ensemble de boutons pour repenser le composé
- Un programme d'expériences à venir pour réduire l'incertitude
Dans les secteurs à enjeux élevés autres que l'industrie pharmaceutique, la tendance est similaire. Dans les services financiers, les banques commencent à utiliser des modèles tout aussi transparents pour dépasser les simples cotes de crédit. Au lieu d'un refus systématique, un système peut préciser qu'un risque de prêt est, par exemple, déterminé à 60 % par la volatilité des marchés et à 40 % par le ratio d'endettement, permettant ainsi des décisions de prêt plus nuancées et conformes à la réglementation. Dans les infrastructures et l'énergie, des modèles expliquant si une défaillance prévue est due à la fatigue des matériaux ou aux contraintes environnementales permettraient aux opérateurs de cibler l'entretien avec une précision chirurgicale, plutôt que de s'appuyer sur des calendriers généraux et prudents.
Les leaders peuvent en tirer une leçon essentielle : dans les environnements où une simple erreur d’appréciation peut entraîner un effondrement systémique, il est impératif de disposer d’une IA capable de prédire, et non d’expliquer. Les solutions qui réussiront seront celles qui :
- Encoder les mécanismes du domaine plutôt que de simples corrélations
- Fournir des indicateurs de risque interprétables par l'humain, en plus de leurs prévisions.
- Indiquez clairement quelle expérience, source de données ou intervention devrait suivre.
Autrement dit, l'avantage concurrentiel ne réside pas dans le fait d'être le premier à déployer un modèle performant, mais dans le fait d'être le premier à déployer un modèle que vos scientifiques, vos responsables de la gestion des risques et les organismes de réglementation peuvent examiner, auquel ils peuvent se fier et sur lequel ils peuvent agir.
Le passage du laboratoire à la production
Si l'astronomie et l'industrie pharmaceutique s'intéressent aux galaxies et aux molécules, les travaux d'Anna Goldenberg, membre du corps professoral de Vector, portent sur un sujet plus concret : les signaux continus du corps humain. Chercheuse principale au sein du programme de génétique et de biologie du génome de l'Institut de recherche SickKids, Anna Goldenberg remet en question une idée reçue courante dans le domaine de la santé et au-delà : celle que chaque maladie, chaque situation ou chaque environnement est si différent qu'il faut repartir de zéro à chaque fois. Ses données suggèrent le contraire : en réalité, le corps humain réagit de manière étonnamment constante.
Son équipe étudie ce qu'elle appelle les « états physiologiques » : des schémas stables dans des données comme le rythme cardiaque, le sommeil et les mouvements, qui persistent dans le temps. Le plus frappant n'est pas seulement l'existence de ces états, mais leur transférabilité. Dans le cadre d'un projet, leurs modèles ont appris ces états à partir de données recueillies par des appareils portables chez des femmes enceintes, notamment des périodes qualifiées de « sentiment de maîtrise » ou de « troubles du sommeil ». Ces mêmes états se sont ensuite transférés avec une précision inattendue à un groupe complètement différent : des patients atteints de la maladie de Crohn.
Pour les dirigeants, le message est important : il n’est pas nécessairement nécessaire de créer un modèle sur mesure pour chaque sous-population ou situation. Si on peut identifier des états robustes et interprétables dans un contexte donné, on peut souvent les réutiliser dans un autre.
Techniquement, l'équipe de Goldenberg emprunte une idée aux grands modèles linguistiques (LLM), mais l'applique aux signaux temporels plutôt qu'aux mots. Au lieu de prédire le mot suivant d'une phrase, ils alimentent le modèle avec des « phrases » de données physiologiques au fil du temps :
- Tracés de la fréquence cardiaque sur plusieurs jours et semaines
- Qualité et durée du sommeil
- schémas de mouvement provenant d'objets connectés ou de téléphones
Un modèle de base pour les données de séries temporelles apprend la « grammaire de la physiologie humaine » ; il découvre des « phrases » récurrentes de stress, de récupération, de stabilité et de détérioration.
Goldenberg utilise une analogie industrielle : un technicien sait qu'une turbine vibrante dans un moteur à réaction et une pompe vibrante dans une usine peuvent être soumises aux mêmes phénomènes physiques sous-jacents, même si elles appartiennent à des systèmes différents. Comprendre le modèle d'usure dans un environnement permet de le repérer dans un autre. De même, dans le secteur de l’énergie et des services publics, les composants du réseau, les transformateurs et les sous-stations émettent des données temporelles reflétant les contraintes, les surcharges et la dégradation ; les états acquis, tels que le fonctionnement stable, la surcharge naissante ou les contraintes thermiques, peuvent être réutilisés dans différentes régions et pour différents types d’actifs.
La conclusion pour les dirigeants est claire : ne considérez pas chaque ensemble de données, site ou gamme de produits comme un nouveau défi d’IA. Investissez dans des modèles fondamentaux pour vos signaux temporels clés (sorties de capteurs, objets connectés, journaux machine, flux de transactions) et concentrez-vous sur la découverte d’états réutilisables tels que santé/stress, normal/anormal et stable/variable. Concevez votre stratégie d’IA de manière à ce que chaque nouveau déploiement puisse tirer profit des apprentissages précédents et traitez les données opérationnelles comme un langage à modéliser, et non comme un simple ensemble de mesures isolées. Le véritable critère de réussite n’est pas seulement la précision d’un projet pilote, mais aussi la facilité avec laquelle ces états appris sont transposables aux différentes unités opérationnelles, actifs et contextes.
Autrement dit, la vraie valeur ajoutée ne réside pas simplement dans la prédiction plus précise d'un résultat unique. Il s'agit de construire une couche d'IA qui comprenne la dynamique universelle de vos systèmes, de sorte que lorsqu'un nouveau produit, un nouveau groupe de patients ou une nouvelle catégorie d'actifs est mis en service, le modèle maîtrise déjà suffisamment son langage pour être opérationnel dès le premier jour.
Alors que le soleil se couchait sur University Avenue, les participants du jour sont ressortis mieux armés pour travailler à une forme d'IA plus disciplinée et plus honnête, démontrant que le goulot d'étranglement de l'annotation, le déficit de confiance et le passage du laboratoire à la production ne sont pas insurmontables.
La voie à suivre est une forme de parcimonie rigoureuse : utiliser la physique pour guider l’imagination de la machine, la causalité pour fonder ses prédictions et l’explicabilité pour garantir que, lorsque le modèle s’exprime, ses propos soient pertinents. Pour l’industrie – sciences de la vie aux données limitées, fabricants de produits à enjeux élevés et institutions financières sous surveillance – le message était clair : l’objectif n’est plus de construire une machine capable de voir les étoiles, mais une machine qui comprenne pourquoi elles brillent.
L'atelier « Modèles fondamentaux pour la science » a réuni une communauté diversifiée de chercheurs en apprentissage machine, chimie, biologie et domaines connexes afin d'explorer comment les modèles fondamentaux d'IA à grande échelle transforment la découverte scientifique et les méthodologies de recherche. Ce séminaire novateur d'une journée visait à décloisonner les disciplines, favorisant la collaboration entre les scientifiques en calcul et les experts du domaine qui appliquent des techniques d'IA avancées pour résoudre des problèmes scientifiques complexes. Grâce à une combinaison dynamique de présentations éclair d'étudiants, de présentations de recherche et d'une séance de réseautage interactive, les participants ont exploré les développements de pointe dans l'utilisation des modèles fondamentaux pour accélérer les percées scientifiques, tout en tissant des liens significatifs au sein de cet écosystème de recherche en pleine évolution.
Vous trouverez ci-dessous la liste des intervenants qui ont partagé leur expertise tout au long de la journée :
- Kyunghyun Cho , professeur d'informatique et de science des données à l'Université de New York (NYU)
Titre de la conférence : « Quand la causalité rencontre l’apprentissage profond » – regardez la conférence complète ici .
- Evan Shelhamer , professeur adjoint à l'Université de la Colombie-Britannique, membre du corps professoral de l'Institut Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada
Titre de la conférence : « Nouvelles orbites et boîtes à outils ouvertes en apprentissage automatique pour la télédétection »
- Anna Goldberg, chercheuse principale en génétique et biologie du génome à l'Hôpital pour enfants malades (SickKids), membre du corps professoral de l'Institut Vector
Titre de la conférence : « Vers des modèles fondamentaux pour les séries temporelles dans le domaine de la santé »
- Justin Donnelly, membre de l'équipe technique et scientifique
Titre de la conférence : « Évaluation des modèles d’IA pour le développement de médicaments : leçons tirées de la prédiction des lésions hépatiques induites par les médicaments »
- Panel : Chris Maddison (professeur adjoint, informatique et sciences statistiques, UofT | membre du corps professoral de l’Institut Vector | titulaire de la chaire d’IA du CIFAR), Yonatan Kahn (professeur adjoint, physique, UofT | membre affilié du corps professoral de l’Institut Vector), Nolan Koblischke (doctorant, astrophysique, UofT), Joshua Speagle (professeur adjoint, astrostatistique, UofT)
Vous en voulez plus ?
Notre communauté de recherche de renommée internationale fait des percées majeures dans la science et l'application de l'IA.
