Par Michael Barclay
« On pourrait en arriver à un débat très philosophique sur la nature même de l’incertitude. »
Discuter des recherches de Geoff Pleiss avec lui pourrait être difficile à saisir pour le profane. Mais face aux nombreuses interrogations concernant l'efficacité et la précision de l'IA, l'incertitude constitue un axe de recherche fondamental.
Le statisticien de l'Université de la Colombie-Britannique et titulaire de la chaire d'intelligence artificielle du CIFAR Canada définit ses travaux comme la « quantification de l'incertitude des modèles d'apprentissage automatique ». Autrement dit, les inconnues connues. « L'information sur l'incertitude est utile dans plusieurs applications », explique Pleiss. « Nous utilisons un modèle d'apprentissage machine pour faire une prédiction, et nous voulons savoir dans quelle mesure nous pouvons nous fier à cette prédiction. »
L'exemple le plus évident serait celui d'une voiture autonome, impliquant ce que Pleiss appelle des « prédictions critiques pour la sécurité ». J'aimerais vraiment avoir une bonne perception de l'incertitude, afin de pouvoir, en tout temps, indiquer à un conducteur humain qu'il doit intervenir.
« Ou dans le domaine de la santé : si un réseau neuronal est susceptible d'être incorrect — et surtout s'il est susceptible d'être incorrect parce qu'il est confronté à des données qui ne ressemblent en rien à celles que j'ai vues pendant l'entraînement — je souhaite vraiment avoir une bonne idée de l'incertitude. »
L'autre application des recherches de Pleiss concerne les problèmes de prise de décision séquentielle, ou les applications d'apprentissage par renforcement. Par exemple, une entreprise qui effectue des tests A/B sur de nouvelles fonctionnalités cherche à définir la prochaine fonctionnalité à tester. Ces recherches sont particulièrement utiles dans le domaine médical.
Les informations relatives à l'incertitude sont utiles dans de nombreuses applications. Nous utilisons un modèle d'apprentissage machine pour faire une prédiction, et nous voulons savoir dans quelle mesure nous pouvons nous fier à cette prédiction.
Selon Pleiss : « Si je dirige un laboratoire de chimie et que je cherche à déterminer quelle molécule synthétiser ensuite, dans le cadre du développement précoce d'un médicament, je peux avoir une idée précise des composés chimiques que j'ai déjà testés avec succès. Et puis, il y a un autre ensemble de composés chimiques que je n'ai absolument pas exploré. Je peux poursuivre les expériences d'exploitation : si un ensemble de composés chimiques s'avère très performant, dois-je continuer à l'affiner dans cette région ? Ou devrais-je me tourner vers cet autre ensemble de composés chimiques que je ne connais pas du tout ? Ils pourraient être catastrophiques, mais aussi excellents. Comment trouver le juste milieu ? »
En résumé, je dirais que les deux types d'applications concernent soit la sécurité critique, soit la prise de décision plus générale, notamment en matière de conception expérimentale. Plus généralement, si on utilise cette prédiction dans le cadre d'un processus décisionnel ultérieur, on voudrait exploiter ces informations sur l'incertitude afin de prendre une décision plus éclairée.
Si l'on peut avoir une certaine certitude quant à la définition et à la valeur de l'incertitude, peut-on être aussi certain qu'elle s'applique à l'état actuel de l'IA ? Alors que les réseaux neuronaux, à l'échelle colossale, traitent des quantités de données inimaginables ?
Explorer l'incertitude était plus simple avec les modèles d'apprentissage machine utilisés il y a 20 ou 30 ans. Mais les réseaux de neurones modernes « représentent un défi de taille », explique Pleiss, « car ils sont très volumineux et difficiles à maîtriser. Plusieurs des techniques utilisées par le passé ne s'appliquent plus aux réseaux neuronaux. On ignore même leur fonctionnement interne. De plus, ces modèles sont extrêmement volumineux et coûteux à entraîner. Maintenant, on cherche non seulement à faire une prédiction, mais aussi à en extraire une certaine notion d'incertitude. C'est un problème complexe. Je ne crois pas que la communauté ait encore trouvé un consensus sur la meilleure approche. »
Pleiss travaille sur ce qu'on appelle « l'apprentissage par ensembles profonds ». Cela consiste à entraîner non pas un seul réseau de neurones, mais plusieurs, sur une même tâche, en injectant des éléments aléatoires lors de chaque processus d'entraînement indépendant afin de les différencier légèrement. « Nous obtenons ainsi un ensemble de prédictions de ces réseaux de neurones, et non plus une seule, ce qui nous permet d'observer la variance. »
Voici ce qui est étrange : il n’y a pas beaucoup de variation. Pas du tout.
« Les réseaux neuronaux sont étonnamment homogènes », explique Pleiss, « quels que soient les changements apportés à leur architecture, à leur procédure d'entraînement ou à tout autre paramètre. Ils font fondamentalement la même chose. » Même quand ils reposent sur des architectures complètement différentes. « Je m'attendrais à ce que l'espace des prédictions possibles s'étende indéfiniment. Ou, c'est l'inverse qui se produit. Ces espaces se confondent. Ils commencent tous à produire exactement la même prédiction. Du point de vue de la quantification de l'incertitude, c'est très inquiétant. »
Pensez aux millions de chansons disponibles sur les plateformes de diffusion en continu et à la façon dont les goûts collectifs se concentrent encore sur une poignée d'artistes mis de l'avant par des algorithmes. « Comment dénicher une perle rare parmi tout ça ? « se demande Pleiss. « Comment trouver une aiguille dans une botte de foin ? Pour extraire un signal de ce brouhaha, il faut des hypothèses et des préférences très précises. Ou, rares sont les hypothèses qui fonctionnent, et l'on aboutit donc inévitablement à une certaine homogénéité. »
Il n'y a pas beaucoup de façons de trouver une aiguille dans une botte de foin, surtout que ces modèles deviennent de plus en plus grands.
« Ce qui se passe avec les réseaux neuronaux, c’est que ces modèles sont tellement grands et complexes que, même si nous les entraînons sur d’immenses ensembles de données, l’espace des prédictions possibles qu’ils représentent dépasse largement la quantité de données utilisées pour l’entraînement. Il est tout simplement impossible de trouver une aiguille dans une botte de foin, surtout avec l’augmentation constante de la taille de ces modèles. »
Pleiss et son équipe ont essayé de forcer les modèles à faire des prédictions plus variées. « À ma grande surprise, ça n'a servi à rien », explique-t-il. « En réalité, ça a même considérablement dégradé les modèles. Ainsi, même s'ils pouvaient potentiellement faire des prédictions plus diversifiées, ils devenaient beaucoup moins utiles que si on leur demandait : « Où acheter une brosse à dents au meilleur prix ? » et qu'ils répondaient « Staples » ou quelque chose du genre. »
Ce qui fonctionnait sur des réseaux neuronaux de petite taille ne fonctionne plus avec des ensembles plus grands, explique Pleiss. En réalité, c'est même l'inverse. « Même en prenant des réseaux neuronaux très petits et en essayant de les diversifier, j'observe une amélioration de la précision. Et si j'essayais d'introduire un effet de groupe dans ces très petits réseaux, la précision des prédictions se dégraderait. Nous assistons véritablement à une transition de phase entre les petits modèles prédictifs et les très grands réseaux neuronaux. Il est beaucoup plus difficile, et potentiellement contre-productif, d'essayer d'obtenir de ces modèles une diversité prédictive utile pour quantifier l'incertitude. »
« Nombre d'intuitions issues des approches statistiques et d'apprentissage automatique classiques s'avèrent erronées face à ces très grands modèles. On pensait autrefois qu'une plus grande diversité de modèles permettrait d'obtenir de meilleures informations sur l'incertitude, mais cette intuition est totalement fausse avec les grands réseaux neuronaux. De nombreux travaux ont démontré comment les grands modèles remettent en question nos conceptions habituelles de la modélisation statistique. C'est juste un morceau du puzzle. »
