Par Jonathan Woods
24 août 2022
L'équipe Innovation industrielle de Vector a publié le rapport technique intitulé « Vision par ordinateur : applications dans la fabrication, la chirurgie, le trafic, les satellites et la reconnaissance de données non étiquetées » . Ce rapport détaille les expériences et les conclusions du projet de vision par ordinateur (CV), un projet collaboratif industriel et académique en plusieurs phases axé sur les avancées récentes en vision par ordinateur, l'un des domaines les plus vastes et à la croissance la plus rapide de l'IA.
Dans le cadre de ce projet, Arthur Berrill, directeur technique de l'innovation et de la technologie et technologue émérite de RBC, a pris la parole lors du récent symposium de Vector sur la vision par ordinateur (CV) au sujet du cas d'utilisation unique de RBC : l'application de la vision par ordinateur à l'imagerie satellite pour détecter les caractéristiques de géolocalisation et les suivre au fil du temps.
Ceci est rendu possible grâce au nouveau moteur de vision par ordinateur de RBC. Ce moteur fait partie de RBC Brain, la plateforme d'intelligence artificielle d'entreprise de la banque, conçue pour offrir à chaque client un partenaire de confiance et sur mesure, grâce à une compréhension approfondie, des expériences numériques personnalisées et des relations privilégiées avec des conseillers experts. RBC Brain permet à la banque d'améliorer continuellement l'expérience client en comprenant toujours plus précisément ses demandes.
Le moteur de vision par ordinateur de RBC Brain combine apprentissage profond et géolocalisation. Il offre une approche novatrice pour obtenir des prédictions précises et à jour sur divers produits financiers, et permet d'automatiser ces prédictions à grande échelle, avec un niveau de détail surprenant. Ce moteur se distingue également par le fait que son développement a nécessité la résolution, grâce à l'intelligence artificielle, d'un défi technique vieux de plusieurs décennies dans le domaine de l'imagerie satellitaire, de la vision par ordinateur et de la géolocalisation – un « problème de classe mondiale », selon leurs propres termes.
Pour une institution financière aussi performante, il est essentiel de rester à jour sur la valeur des actifs, des passifs et des investissements grâce à la gestion des risques opérationnels et aux prévisions économiques. Un nouvel élément d'aménagement de quartier pour une petite entreprise ou un particulier peut représenter une nouvelle valeur ajoutée pour les clients de RBC, grâce à ses produits bancaires personnels et commerciaux. Par exemple, un parc récemment aménagé à proximité ou juste en face d'un local commercial. Acquérir ces informations avec précision et automatisation permet à RBC d'offrir des produits financiers adaptés aux besoins actuels et d'offrir des tarifs encore plus compétitifs pour ses produits existants. Offrir à ses clients la possibilité de profiter de cette nouvelle valeur dès son apparition est une priorité pour la banque. Cependant, le suivi des changements qui affectent chaque entreprise et chaque actif représente une tâche complexe. Le nombre d'actifs et d'entreprises est considérable, et les examiner régulièrement manuellement ou par des processus fastidieux, tout en identifiant les caractéristiques nouvelles et pertinentes, constitue un défi immense. Résoudre ce problème grâce à un processus automatisé représenterait une véritable avancée, permettant à la banque d'être proactive et de proposer des offres pertinentes à chaque client, au moment opportun.
L'imagerie satellitaire, et plus particulièrement l'imagerie radar à synthèse d'ouverture (SAR) et l'imagerie hyperspectrale, sont essentielles à cette avancée. Combinées, ces technologies permettent de capturer des images de bâtiments et d'infrastructures, de traverser la couverture nuageuse et le feuillage des arbres, de détecter la perméabilité des sols, de visualiser le volume de la canopée et de distinguer les espèces végétales. Ainsi, ces images permettent d’obtenir des renseignements extrêmement détaillés sur un lieu et sa valeur, notamment le volume d’un bâtiment (grâce à des estimations basées sur son contour au sol), la vulnérabilité d’un site aux catastrophes naturelles (par l’analyse de la capacité d’absorption des eaux pluviales par le sol) et même le potentiel de séquestration du carbone par la végétation d’un terrain (par l’identification des espèces et du nombre d’arbres – une information qui pourrait permettre au propriétaire de l’enregistrer comme puits de carbone et de participer au marché du carbone).
Mais pour exploiter ces informations et proposer des solutions opportunes aux clients, il est nécessaire de disposer d'une capacité automatisée à détecter ces caractéristiques et à remarquer les changements d'une prise de vue à l'autre sur la même zone.
C’est là qu’intervient le laboratoire de vision par ordinateur de RBC, et plus particulièrement ses travaux sur les modèles de segmentation d’instances. Cette technique permet à un modèle d’identifier des objets dans une image et de déterminer leur fréquence d’apparition en classant chaque pixel dans une catégorie correspondante. Autrement dit, face à une image de trois bâtiments, le modèle peut non seulement identifier les pixels appartenant à la catégorie « bâtiment », mais aussi reconnaître que l’image contient trois instances distinctes de cette catégorie. Cette technique est couramment utilisée pour analyser des images radiographiques, aider la conduite autonome et cartographier l’occupation du sol à partir d’images satellites.
Pour comprendre comment cette technique est utilisée dans le moteur de vision par ordinateur du cerveau, prenons l'exemple d'une image satellite d'un lotissement typique montrant des rangées de toits très serrées vues du ciel. Chaque toit bidimensionnel de cette image correspond à l'emprise au sol d'un bâtiment. Grâce à la segmentation d'instances, le moteur peut identifier chaque emprise et cartographier précisément sa forme. Il peut ensuite
Comparez ces données avec celles des images précédentes pour identifier les changements susceptibles d'indiquer une nouvelle valeur. Une fois cette opération réussie, la banque réalise une percée majeure en matière d'automatisation, lui permettant d'offrir rapidement et précisément des recommandations, des offres et divers autres services à ses clients particuliers et professionnels.
Mais il y a une raison pour laquelle ça n'a pas été fait auparavant. Un obstacle technique épineux, appelé le défi des objets adjacents, se dresse sur le chemin.
« Je peux vous dire, après plus de 40 ans d'expérience dans le secteur de l'intelligence géolocalisée, que ce problème particulier n'a pas été résolu », déclare Berrill, « et c'est un problème complexe. »
Le problème est que lorsque les objets d'une image sont très proches les uns des autres – comme les emprises au sol des bâtiments dans un lotissement dense – les modèles de segmentation d'instances ont du mal à les distinguer. Dans ce cas précis, les modèles prédisent souvent que des édifices très rapprochés sont accolés, alors que ce n'est pas le cas. Voici pourquoi : dans la partie de l'image où deux bâtiments sont proches, il y a beaucoup plus de pixels représentant leurs emprises au sol que l'espace étroit qui les sépare. Lorsque le modèle classe les quelques pixels représentant l'espace entre les bâtiments, il prédit souvent qu'ils appartiennent à la classe dominante de pixels dans cette zone – autrement dit, qu'ils représentent probablement aussi une emprise au sol. Dans ces situations, les modèles ont de la difficulté à « voir » les limites et la séparation – même si elles sont discernables à l'œil nu – car leur prédiction est fortement influencée par les autres pixels de la zone.
« Ce phénomène se produit souvent lorsque des pixels appartenant à plusieurs objets sont très proches les uns des autres, et il est amplifié par le problème de déséquilibre des données inhérent aux grandes images aériennes et satellitaires », explique le Dr Ehsan Amjadian, responsable de la science des données chez RBC et professeur agrégé d'informatique à l'Université de Waterloo. « Les images aériennes et satellites contiennent beaucoup plus de pixels hors contour que de pixels de contour. »
De ce fait, le modèle peut prédire que deux bâtiments sont accolés, donnant souvent l'impression d'une maison de ville déformée, alors qu'en réalité ils sont distincts. Il est évident que la fiabilité du moteur de vision par ordinateur serait compromise si ce problème n'était pas résolu.
C'est là qu'intervient Elham Ahmadi, responsable de la science des données chez RBC et responsable technique du pôle vision par ordinateur de RBC. C'est elle qui a trouvé la solution. Cette métaphore n’est pas fortuite : l’idée lui est venue alors qu’elle travaillait sur un tout autre problème dans le domaine de la vision par ordinateur, plus précisément l’application d’un auto-encodeur variationnel pour identifier les défauts des écrous et des boulons sur une chaîne de production. Ce travail a été réalisé dans le cadre d’un projet de l’Institut Vector axé sur la vision par ordinateur.
Ahmadi explique : « Le concept – l’autoencodeur variationnel – a été utilisé dans la détection d’anomalies avec une architecture différente et à d’autres fins dans le cadre du projet Vector. Mais cela a fait germer une idée : nous pouvons appliquer une nouvelle architecture et une nouvelle méthode basées sur les autoencodeurs variationnels pour résoudre le problème des images aériennes. »
Le fonctionnement interne des auto-encodeurs variationnels est complexe, mais il suffit de comprendre que leur conception les rend particulièrement performants pour la classification au niveau du pixel, même avec un nombre très réduit de pixels à analyser. L'idée novatrice du Dr Ahmadi était de modifier les auto-encodeurs variationnels afin d'obtenir une analyse précise d'images satellites complexes, une capacité essentielle pour le moteur de vision par ordinateur propriétaire de RBC Brain.
« À notre connaissance, c’est la première fois qu’une telle architecture corrective est utilisée pour résoudre le problème bien connu du déséquilibre des pixels dans les images satellites. Cette innovation a finalement permis de régler le problème », déclare le Dr Amjadian. Les contours nettement améliorés obtenus sont visibles dans la colonne de droite de la figure 1 ci-dessus.
Berrill acquiesce : « Pouvoir automatiser cette tâche représente une avancée majeure. »
Cette nouvelle approche, en instance de brevet, et cette nouvelle capacité – qui combine l'IA, l'intelligence géolocalisée et l'imagerie satellite – a le potentiel de changer considérablement la rapidité et la précision du marketing produit par la banque et, par conséquent, l'accès à la richesse pour les propriétaires d'actifs et d'entreprises.
Arthur Berrill, directeur de l'innovation et de la technologie chez RBC, a commencé par se poser la question suivante : pourquoi une banque s'intéresserait-elle à la vision par ordinateur ? Grâce à cette innovation, la réponse devrait être évidente. La question suivante est : quelle valeur ajoutée peuvent-ils générer, quel volume de propriété intellectuelle peuvent-ils créer et combien de clients peuvent-ils servir tout en s'engageant à rester à la fine pointe de la vision par ordinateur ? C'est un aspect sur lequel ils travaillent dans le cadre de leur engagement, qui comprend une collaboration avec des partenaires de l'écosystème comme Vector.
Le rapport fournit une description complète des implémentations techniques et des résultats de chaque cas d'utilisation du symposium Vector sur la vision par ordinateur. La boîte à outils du projet comprend divers ensembles de données et des outils d'imagerie/vidéo utiles, tels que des utilitaires d'augmentation et de visualisation de données, fournis par l'équipe d'ingénierie IA de Vector. Le code du projet est disponible dans le dépôt du projet de vision par ordinateur.
