Par Michael Barclay

« On pourrait aborder un débat très philosophique sur ce qu’est même l’incertitude. »

Parler à Geoff Pleiss de ses recherches pourrait être plus que ce qu’un profane peut assimiler. Mais avec tant de questions sur l’efficacité et la précision de l’IA, l’incertitude est un domaine clé de recherche.

Le statisticien de l’UBC et président canadien CIFAR IA définit son travail comme « quantifiant l’incertitude des modèles d’apprentissage automatique ». Les inconnues connues. « L’information sur l’incertitude est utile dans de nombreuses applications », explique Pleiss. « Nous utilisons un modèle d’apprentissage automatique pour faire une prédiction, et nous voulons savoir à quel point nous pouvons nous fier à cette prédiction. » 

L’exemple évident serait une voiture autonome, impliquant ce que Pleiss appelle des « prédictions critiques pour la sécurité ». Je veux vraiment avoir une bonne idée de l’incertitude, pour pouvoir à tout moment dire à un conducteur humain qu’il doit intervenir. 

« Ou en soins de santé : si un réseau de neurones est susceptible d’être incorrect — et surtout s’il est susceptible d’être incorrect parce qu’il rencontre des données qui ne ressemblent en rien à ce que j’ai vu pendant la formation — je veux vraiment avoir une bonne idée de l’incertitude. » 

L’autre application des recherches de Pleiss est « dans les problèmes de prise de décision séquentiels, ou applications d’apprentissage par renforcement ». Un exemple serait une entreprise qui effectue des tests A-B sur de nouvelles fonctionnalités, essayant de planifier la prochaine fonctionnalité à tester. C’est particulièrement utile en médecine. 

« L’information sur l’incertitude est utile dans de nombreuses applications. Nous utilisons un modèle d’apprentissage automatique pour faire une prédiction, et nous voulons savoir à quel point nous pouvons nous fier à cette prédiction. »

Geoff Pleiss

Membre du corps professoral vectoriel

Pleiss dit : « Si je dirige un laboratoire chimique, essayant de déterminer quelle molécule synthétiser ensuite, dans le cadre d’un développement de médicaments en phase initiale, je pourrais avoir une très bonne idée de l’ensemble de produits chimiques que j’ai essayés jusqu’à présent et qui ont très bien fonctionné. Et puis voici un ensemble de produits chimiques avec lesquels je n’ai pas du tout joué. Je pourrais continuer à faire des expériences d’exploitation : si un seul ensemble de produits chimiques est vraiment bon jusqu’à présent, est-ce que je continue à affiner dans cette région? Ou est-ce que je choisis cet autre ensemble de produits chimiques dont je ne connais rien : ils pourraient être vraiment mauvais, mais aussi très bons. Comment équilibrer ce compromis? 

« Donc, en mettant tout cela ensemble, je dirais que les deux ensembles d’applications sont des applications critiques pour la sécurité ou une prise de décision plus large, surtout les décisions liées à la conception expérimentale. Ou plus généralement, si nous utilisons cette prédiction dans le cadre d’un processus décisionnel en aval, nous voudrions utiliser cette information d’incertitude afin de prendre une décision mieux éclairée. » 

Si nous pouvons être un peu certains de la définition et de la valeur de l’incertitude, pouvons-nous être aussi certains que cela s’applique à l’état actuel de l’IA? Quand la grande échelle des réseaux de neurones est si massive, gérant des quantités de données inimaginables? 

Explorer l’incertitude était plus simple avec les modèles d’apprentissage automatique utilisés il y a 20 ou 30 ans. Mais les réseaux neuronaux modernes « posent un grand défi », dit Pleiss, « parce qu’ils sont très grands et difficiles à manier. Beaucoup des techniques utilisées historiquement ne s’appliquent pas vraiment aux réseaux de neurones. On ne sait même pas vraiment ce qui se passe sous le capot. Et ces modèles sont tellement gros et coûteux à entraîner à la base. Maintenant, nous essayons non seulement de faire une prédiction, mais aussi d’en tirer une certaine incertitude. C’est un problème difficile. Je ne pense pas que la communauté ait vraiment trouvé la bonne façon d’aborder la situation. »

Pleiss travaille sur ce qu’on appelle le « montage profond ». Cela signifie entraîner non pas un, mais plusieurs réseaux de neurones sur une même tâche, en injectant des éléments aléatoires lors de chaque processus d’entraînement indépendant pour les rendre légèrement différents les uns des autres. « Nous obtenons un ensemble de prédictions de ces réseaux de neurones, et maintenant nous avons cet ensemble de prédictions plutôt qu’une seule prédiction, et nous pouvons voir combien il y a de variance. » 

Voici le truc étrange : il n’y a pas beaucoup de variation. Pas du tout.

« Les réseaux neuronaux sont étonnamment homogènes », dit Pleiss, « peu importe comment on change l’architecture, la procédure d’entraînement ou tout ça. Ils font essentiellement la même chose. » Même quand ils sont basés sur des architectures totalement différentes. « Je m’attendrais à ce que l’espace des prédictions possibles s’agrandisse de plus en plus. Mais en réalité, c’est le contraire qui se produit. Ils s’effondrent l’un sur l’autre. Ils commencent tous à produire exactement la même prédiction. Du point de vue de la quantification de l’incertitude, c’est assez préoccupant. » 

Pensez aux millions de chansons disponibles sur les plateformes de streaming, et à la façon dont le goût collectif s’effondre encore sur quelques artistes sélectionnés améliorés par des algorithmes. « Comment fait-on pour découvrir quelque chose là-dedans? » se demande Pleiss. « Comment trouves-tu cette aiguille dans une botte de foin? Pour obtenir un quelconque signal de ce bruit, il faut un ensemble très solide d’hypothèses, un ensemble de préférences très solides. Il n’y a pas beaucoup d’ensembles d’hypothèses solides qui vont fonctionner, et donc on obtient un certain niveau d’homogénéité. 

Il n’y a tout simplement pas beaucoup de façons de trouver des aiguilles dans une botte de foin, surtout que ces modèles grandissent de plus en plus. »

Geoff Pleiss

Membre du corps professoral vectoriel

« Ce qui se passe avec les réseaux de neurones, c’est que ces modèles sont tellement grands et complexes que, même si nous les entraînons sur ces très grands ensembles de données d’entraînement, l’espace des prédictions possibles que représente ce réseau de neurones dépasse largement la quantité de données sur lesquelles nous les entraînons. Il n’y a tout simplement pas beaucoup de façons de trouver des aiguilles dans une botte de foin, surtout que ces modèles grandissent de plus en plus. » 

Pleiss et ses chercheurs ont tenté de forcer les modèles à faire des prédictions diverses. « Ce qui était surprenant, c’est que ça n’a rien aidé », dit-il. « En fait, ça a rendu ces modèles bien pires. Donc, même si les modèles faisaient des prédictions potentiellement plus diversifiées, ils devenaient aussi beaucoup moins utiles que si on leur demandait : où est le meilleur endroit pour acheter une brosse à dents? Et il y aurait écrit 'Staples' ou quelque chose du genre. » 

Ce qui fonctionnait sur les petits réseaux neuronaux ne fonctionne plus avec les ensembles plus grands, explique Pleiss. En fait, l’inverse est vrai. « Même si je prenais des réseaux de neurones très petits et que j’essayais de les rendre plus diversifiés, je verrais des améliorations dans ma précision. Et si j’essayais de faire en sorte que ces très petits réseaux de neurones aient une pensée de groupe, cela mènerait à une pire précision prédicative. On observe vraiment une transition de phase en passant de petits modèles prédictifs à ces très grands réseaux de neurones. Il est beaucoup plus difficile et potentiellement contre-productif d’essayer d’obtenir la diversité prédictive de ces modèles qui seraient utiles pour quantifier l’incertitude. »

« Beaucoup d’intuitions issues des approches classiques de statistique et d’apprentissage automatique s’effondrent quand on regarde ces très grands modèles. On pensait autrefois que rendre les modèles plus diversifiés devrait nous donner une meilleure information d’incertitude, mais cette intuition est complètement erronée avec les grands réseaux de neurones. De nombreux travaux ont démontré comment les grands modèles défient notre façon standard de penser la modélisation statistique. C’est une pièce de ce casse-tête. »