Par Jonathan Woods
11 août 2021
L'équipe Innovation industrielle de Vector a publié le rapport technique « Décalage des données et solutions potentielles » , qui détaille les expériences et les leçons tirées du projet « Décalage des données ». Ce projet, fruit d'une collaboration entre l'industrie et le milieu universitaire, vise à permettre aux entreprises partenaires de Vector d'approfondir leur compréhension du décalage des données, de ses différentes formes, des stratégies de détection efficaces et des techniques d'adaptation. Les conclusions de ce rapport seront notamment présentées par les participants au projet lors de la conférence européenne sur l'apprentissage automatique et les principes et pratiques de la découverte de connaissances dans les bases de données (ECML PKDD 2021), le 13 septembre 2021, dans le cadre du tutoriel « DSML 2021 : Décalage des données dans l'apprentissage automatique : définition et solutions potentielles ».
Le projet de transfert d'ensembles de données
Les systèmes d'apprentissage automatique (ML) sont entraînés en partant du principe que les données d'entraînement et les données réelles présentent des profils de distribution similaires. Cependant, dans les secteurs dynamiques et face à l'évolution des circonstances, de nouveaux profils de distribution peuvent apparaître, différant significativement des profils historiques utilisés pour l'entraînement – au point d'affecter considérablement la fiabilité des prédictions. Cette différence entre les données d'entraînement et les données de test (ou les données utilisées en production) est appelée « décalage des données » et , lorsqu'elle est suffisamment importante, elle nécessite une adaptation. Cette adaptation peut être réalisée soit par un réentraînement du modèle, complexe et coûteux, soit par des techniques d'adaptation au décalage des données plus simples et ciblées.
En mai 2020, l'Institut Vector a lancé le projet Dataset Shift en réponse à la pandémie et aux bouleversements profonds qu'elle (ainsi que les mesures politiques mises en place) a engendrés dans les comportements des citoyens et des consommateurs. Ce projet a réuni 15 participants : cinq chercheurs et membres du personnel de Vector spécialisés en apprentissage automatique, ainsi que dix techniciens provenant de sept entreprises partenaires de Vector. Il comprenait quatre ateliers pratiques, conçus et animés par des chercheurs et des membres du personnel de Vector, permettant aux participants d'améliorer leurs connaissances et leurs compétences par l'apprentissage expérientiel.
Le projet a porté sur trois types de décalage d'ensembles de données :
- Décalage des covariables : différence dans la distribution des variables d’entrée entre les données d’entraînement et les données de test. Ce décalage peut être dû à un manque de hasard, à un échantillonnage inadéquat ou biaisé, ou à une modification de la distribution des variables.
- Décalage d'étiquettes : différence dans la distribution des variables de classe (c.-à-d. les résultats de classification d'un modèle ) entre les données d'entraînement et les données de test. Ce décalage peut apparaître lorsque certains concepts sont sous-représentés ou surreprésentés dans le domaine cible par rapport au domaine source.
- Changement de concept : une différence dans la relation entre les deux variables utilisées dans le développement d'un algorithme.
Au sein de trois groupes de travail, les participants ont étudié l'évolution des ensembles de données transversales, chronologiques et d'images . Ces types de données correspondaient aux intérêts des participants et reflétaient le potentiel d'application réel et actuel au sein de leurs organisations. Le résumé ci-dessous présente les objectifs et les résultats de chaque groupe de travail.
Données transversales
Cette étude visait à détecter les variations de covariables dans les données transversales et à adapter les algorithmes et les techniques pour en tenir compte. L'équipe a utilisé l'ensemble de données « Iowa House Sales Prices » de Kaggle et a été chargée de prédire les prix de vente des maisons à partir des données des années 2006 à 2010. Les principales étapes et objectifs de ce groupe de travail étaient la préparation des données transversales pour les expériences, l'application d'algorithmes d'analyse des variations de données, l'identification des variations potentielles, l'utilisation de techniques d'adaptation à ces variations et l'analyse du modèle de prédiction obtenu. L'équipe a démontré que l'adaptation n'améliore pas nécessairement les performances dans tous les cas, ce qui implique que même les meilleurs modèles d'adaptation et les meilleures transformations ne peuvent pas être appliqués de manière générale à tous les cas d'utilisation.
données de séries chronologiques
L'objectif de cette étude était d'utiliser l'apprentissage par transfert et l'apprentissage adaptatif pour gérer les variations des données dans le secteur du commerce de détail, et plus précisément d'estimer les ventes de nouveaux produits à partir des tendances de distribution des ventes actuelles ou passées. Pour ce faire, l'équipe a utilisé l'ensemble de données « Predict Future Sales » de Kaggle, qui contient des données historiques sur les ventes d'articles de détail de janvier 2013 à octobre 2015. L'équipe a adopté deux approches :
- Une approche a exploré l'utilisation de l'apprentissage par transfert pour les réseaux LSTM (Long Short-Term Memory) afin d'exploiter les connaissances acquises à partir d'un article vendu et de les transférer à un autre article disposant de données limitées. La réutilisation réussie des connaissances déjà acquises permettrait d'éviter d'avoir à entraîner un modèle à partir de zéro, ce qui est particulièrement important lorsque les données sont rares et coûteuses à obtenir.
- L'autre approche consistait à appliquer des méthodes d'apprentissage adaptatif, qui surveillent les performances du modèle et mettent à jour ses coefficients en cas de dégradation de ces performances. Ces méthodes ont été utilisées pour corriger d'éventuels glissements de concept dans les données, car elles sont reconnues pour leur robustesse face à ces glissements dans des environnements dynamiques. Cette approche s'est avérée particulièrement pertinente dans le contexte de la pandémie de COVID-19, car le changement brutal et important des comportements humains qu'elle a engendré a rendu certains modèles prédictifs inexacts en raison de glissements de concept .
Le groupe a démontré que les méthodes adaptatives surpassent les méthodes non adaptatives en présence d'un changement de concept, et que les résultats sont comparables en l'absence d'un tel changement. Afin de mieux comprendre l'efficacité des méthodes adaptatives, il est nécessaire de tester différents modèles. Le groupe a également conclu que l'application de l'apprentissage par transfert à un nouveau modèle peut améliorer ses capacités de prédiction, accélérer son entraînement et réduire le coût de son réentraînement lorsque les données disponibles sont limitées.
Données d'image
Cette étude visait à utiliser des méthodes d'apprentissage avec peu d'exemples (méthodes utilisant un nombre très limité d'exemples d'entraînement) pour classifier de nouvelles données. Les objectifs du groupe étaient : a) de reproduire les résultats de réseaux prototypes entraînés séparément sur les ensembles de données Omniglot et mini-ImageNet ; et b) de reproduire les résultats d'algorithmes de méta-apprentissage indépendants du modèle, entraînés sur l'ensemble de données Omniglot.
Le groupe de travail a démontré que les réseaux prototypiques peuvent gérer le décalage des ensembles de données grâce à l'apprentissage avec peu d'exemples sur les ensembles de données Omniglot et mini-ImageNet. Cependant, leurs performances ont chuté de manière significative lors de l'exécution de ces réseaux sur différentes combinaisons de jeux de données, par exemple en entraînant les réseaux sur l'ensemble de données Omniglot puis en les testant sur l'ensemble de données mini-ImageNet. Le groupe a également démontré que les algorithmes indépendants de méta-apprentissage du modèle pouvaient gérer le décalage des ensembles de données lorsqu'ils étaient entraînés sur l'ensemble de données Omniglot.
Le projet Dataset Shift a permis un transfert important de connaissances entre les chercheurs de Vector et les acteurs industriels. Ces derniers ont acquis une expertise dans les méthodologies de détection, d'identification et de correction des décalages de données, établi de bonnes pratiques conformes aux normes académiques et industrielles les plus récentes, et développé des compétences renforçant la résilience des organisations et de leurs équipes face à l'évolution de leur environnement. Mises en œuvre en production, ces approches pourraient améliorer l'efficacité, l'adaptabilité et réduire les coûts. Finalement, ce projet a démontré la valeur de la collaboration entre l'industrie et le milieu universitaire et a jeté les bases de futurs projets visant à approfondir la compréhension des décalages de données et des méthodes pour en atténuer les effets en situation réelle.
Lors de la prochaine conférence ECML PKDD 2021 , trois participants au projet – Ali Pesaranghader , ancien chercheur principal en IA chez CIBC et participant au projet Dataset Shift, Mehdi Ataei , affilié de Vector Research qui a dirigé les aspects techniques du projet chez Vector, et Sedef Akinli Kocak , chef de projet IA appliquée chez Vector – partageront leurs points de vue sur quatre grands thèmes : les principes du décalage de données, les stratégies de détection du décalage de données, les techniques d'adaptation et les sujets avancés relatifs au décalage de données pour améliorer les modèles d'apprentissage automatique dans les situations où le décalage de données est inévitable.
