17 août 2021
Par Jonathan Woods
Les performances passées ne préjugent pas des résultats futurs, dit l'adage. Dans le domaine de l'IA, rien n'incarne mieux cette notion que le décalage des ensembles de données . Il s'agit d'un problème crucial, mais souvent négligé, pour la plupart des entreprises utilisant l'IA, et pour lequel CIBC, partenaire de Vector, possède une expertise particulière.
Comprendre le phénomène de décalage des ensembles de données implique d'abord de reconnaître une hypothèse sous-jacente à l'entraînement des systèmes d'IA : la distribution des données d'entraînement serait semblable à celle des données utilisées en production. Par exemple, un détaillant peut entraîner un système à prédire les ventes à court terme en lui fournissant les données de ventes des trois dernières années, en supposant que les grandes tendances de ces données resteront globalement inchangées.
En réalité, la distribution des données évolue. Les systèmes d'IA fonctionnent dans des environnements dynamiques et évolutifs, ce qui signifie que des différences apparaîtront probablement entre les données d'entraînement et les données recueillies pour l'utilisation réelle d'un modèle. Cette différence est appelée décalage des données. Lorsqu'il est important – par exemple suite à un événement majeur comme une pandémie mondiale – une correction s'impose afin d'éviter une dégradation significative des performances de prédiction du modèle ou un réentraînement coûteux de celui-ci à partir de zéro avec de nouveaux ensembles de données.
L'équipe d'analyse avancée et d'intelligence artificielle de la CIBC, qui travaille sur des projets bancaires visant à améliorer l'expérience client, à personnaliser les offres, à réduire la fraude et à accélérer le traitement des transactions, possède une expertise reconnue dans la gestion des données en constante évolution. En tant que commanditaire de l'Institut Vector, elle a récemment renforcé cette expertise en participant au projet Dataset Shift de Vector, une collaboration entre l'industrie et le milieu universitaire menée par l'équipe Innovation industrielle de Vector. Ce projet a été mis en place en réponse à la pandémie et aux changements radicaux qu'elle (et les mesures gouvernementales qui ont suivi) a engendrés dans les comportements des citoyens et des consommateurs. Il visait à permettre aux participants de mieux comprendre les principes de l'évolution des ensembles de données, les stratégies pour détecter ces évolutions et les techniques pour s'y adapter.
À la CIBC, la liste des domaines où les techniques d'identification et d'adaptation des données peuvent s'avérer pertinentes est longue. Ali Pesaranghader, alors chercheur principal en intelligence artificielle à la CIBC et participant au projet Dataset Shift, explique : « Les données peuvent potentiellement se manifester dans l'expérience client, l'acquisition de produits, la demande de retraits aux guichets automatiques, la détection des fraudes, les dépôts de trésorerie, et bien d'autres applications. Il précise que ces modifications peuvent être dues à des changements dans la composition du portefeuille ou aux conditions du marché, « en raison de la maturité d'un portefeuille ou de l'impact de la COVID-19 sur les transactions transfrontalières des clients. »
Dans le cadre du projet Dataset Shift, Pesaranghader s'est joint à l'équipe de travail consacrée aux décalages dans les données transversales. Comme son nom l'indique, ces décalages concernent des données recueillies auprès d'un échantillon représentatif d'une population (clients, entreprises ou produits, par exemple) à un moment T. L'objectif de cette équipe était d'abord de détecter la présence de décalages dans les données, puis, le cas échéant, de les corriger en adaptant les algorithmes afin de rétablir les performances du modèle. Les membres de l'équipe se sont concentrés sur une variante appelée décalage de covariables, qui désigne un décalage affectant les variables des données d'entrée d'un modèle. Ce décalage peut avoir plusieurs causes : un manque de hasard dans les données d'entraînement du modèle, un biais dans l'échantillonnage de ces données, ou encore un événement majeur (crise financière, pandémie ou catastrophe naturelle) ayant eu un impact considérable sur la population étudiée et modifié des tendances établies de longue date.
L'équipe a effectué son analyse à partir des données de prix de vente des maisons en Iowa entre 2006 et 2010. Ces données comprenaient des caractéristiques des maisons influençant leur prix, telles que l'année de construction, le quartier et la qualité globale des matériaux et des finitions. L'objectif était d'identifier les variations liées à chacune de ces caractéristiques. Autrement dit, il s'agissait de déterminer si chaque caractéristique, en tant que variable influençant le prix, conservait une contribution constante à ce dernier, ou si, à un moment donné, son effet avait sensiblement changé. Si une variable ne contribuait plus au prix d'une maison de la même manière que dans les données ayant servi à l'entraînement du modèle, les prédictions concernant les prix futurs seraient probablement faussées et le modèle pourrait nécessiter une correction. Grâce à des expériences, l'équipe a conclu que les techniques de détection et de correction des variations sont efficaces et avantageuses dans la plupart des cas où une variation des covariables se produit, et a établi de nouvelles bonnes pratiques pour y remédier.
Pour les spécialistes en IA de CIBC, collaborer avec les chercheurs et le personnel de Vector renforce leurs compétences déjà pointues dans ce domaine. Andrew Brown, directeur principal de la recherche en science des données et en IA chez CIBC (titulaire d'un doctorat en apprentissage automatique, obtenu auprès de Geoffrey Hinton, cofondateur et conseiller scientifique en chef de Vector), explique : « On en tire un avantage concret et immédiat lorsqu'on travaille ensemble sur un projet, avec l'aide de Vector qui nous guide dans la bonne direction. On acquiert une expérience pratique des techniques et des technologies. C'est un avantage indéniable de ces projets. »
Cet avantage a été décuplé lorsque Pesaranghader et Mehdi Ataei, chercheur associé chez Vector et responsable des aspects techniques du projet, ont partagé leurs observations avec la communauté CIBC Analytics Edge, un groupe interne de spécialistes en apprentissage automatique et de scientifiques des données provenant de différents secteurs d'activité. Pesaranghader explique : « Nous avons condensé les ressources du projet et nous nous sommes concentrés sur les méthodes et leur applicabilité dans diverses situations. »
Cela s'est avéré être un avant-goût d'une occasion plus importante pour CIBC et Vector de présenter un leadership éclairé en matière d'IA : le duo, accompagné du chef de projet de Vector, Sedef Akinli Kocak , présentera à la Conférence européenne sur l'apprentissage automatique et les principes et pratiques de la découverte des connaissances dans les bases de données , une conférence de premier plan sur l'apprentissage automatique prévue pour septembre 2021.
Une fois mises en œuvre, cette expertise et ces nouveaux outils de pointe permettront à CIBC d'optimiser l'efficacité et la résilience de ses systèmes d'IA, même en période de bouleversements externes soudains et importants. Il s'agit d'un avantage technique considérable dans un monde où il est devenu évident que de tels changements peuvent survenir et surviennent effectivement.
_ _ _
Accédez ici au rapport technique de Vector Institute Industry Innovation intitulé « Décalage de données et solutions potentielles ».
