Par Arber Kacollja
L'atelier récent de vision par ordinateur (CV) du Vector Institute a réuni des membres de la communauté de recherche de Vector pour présenter et discuter de nouveaux travaux dans le domaine.
Ces dernières années ont vu un regain d'intérêt pour la modélisation générative au sein de la communauté de recherche en vision par ordinateur. L'apprentissage machine y est utilisé pour analyser et extraire des informations à partir d'images et de vidéos, ce qui a un impact considérable sur de nombreux secteurs. La vision par ordinateur est un vecteur essentiel permettant à l'IA et à l'apprentissage automatique de relever des défis centrés sur l'humain, de la reconnaissance faciale, vocale et gestuelle aux véhicules autonomes, en passant par la segmentation et la classification d'images médicales, ouvrant ainsi la voie à des applications dans de nombreux secteurs.
En mars dernier, les membres du corps professoral de Vector, les professeurs affiliés, les boursiers postdoctoraux et les chercheurs de la communauté de recherche Vector au sens large se sont réunis pour discuter de recherches de pointe et échanger des points de vue sur divers sujets liés à la vision par ordinateur.
Leonid Sigal, membre du corps professoral de Vector, présente les conférenciers d'un forum lors de l'atelier sur les modèles fondamentaux en vision.
Sur les opportunités et les défis des modèles de fondation
Lors de son allocution, Leonid Sigal , membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, qui est également professeur à l'Université de la Colombie-Britannique, a abordé les défis et les opportunités des modèles de base, éléments constitutifs fondamentaux de nombreuses applications.
Il a démontré que si de tels modèles peuvent générer des images de haute qualité à partir d'images de référence, ils manquent de cohérence et de facilité de contrôle, nécessitant souvent un réglage complexe de ces images. Sigal a présenté des travaux publiés par son équipe qui permettent à ces modèles de maintenir leur cohérence lors de la génération de plusieurs images, comme dans les storyboards de films ou de séries télévisées, en exploitant la mémoire visuelle. Il a également présenté une approche novatrice d'inversion des images de référence , permettant d'optimiser l'image de référence susceptible de générer n'importe quelle image donnée. L'inversion des images de référence et la combinaison directe des descriptions linguistiques qui en résultent ouvrent la voie à un paradigme entièrement nouveau pour le contrôle de la génération d'images, comme la fusion du contenu d'une image avec le style d'une autre, ou l'ajout de certains objets.
Finalement, il a aussi abordé la question des biais des modèles génératifs, qui constituent un obstacle majeur à leur déploiement. Nombre de ces modèles non seulement reprennent les biais des données sur lesquelles ils sont entraînés, mais les amplifient. Sigal a présenté une approche novatrice permettant d'évaluer dynamiquement la présence et l'ampleur de ces biais. Ces mesures, combinées à une technique d'atténuation standard, peuvent résoudre ces problèmes.
Modèles de diffusion pour le flux optique et l'estimation de la profondeur monoculaire
Les modèles de diffusion débruiteurs constituent une nouvelle classe puissante de modèles génératifs basés sur la vraisemblance. Leur capacité à convertir des instructions textuelles en images ou vidéos haute fidélité a été révolutionnaire, stimulant la créativité et fournissant de nouveaux outils pour le développement de nouvelles formes d'IA générative. Dans sa présentation, David Fleet , membre du corps professoral de Vector et titulaire de la chaire d'IA du CIFAR Canada, également professeur à l'Université de Toronto, a exploré dans quelle mesure ces modèles pourraient être efficaces pour différentes tâches de vision par ordinateur. Plus précisément, M. Fleet a démontré qu'avec une architecture simple et générique , les modèles de diffusion peuvent être entraînés à exceller dans deux tâches clés de traduction d'image à image : l'estimation de la profondeur monoculaire à partir d'une seule image RVB ; et l'estimation d'un champ de flux optique à partir de deux images vidéo consécutives. Étonnamment, avec une architecture et une procédure d'entraînement génériques, ces modèles surpassent les modèles de pointe actuels, propres à la tâche. Cela confirme la capacité des modèles de diffusion à approximer des distributions complexes, multidimensionnelles et multimodales.
Graham Taylor, membre du corps professoral de Vector, anime un forum lors de l'atelier sur les modèles fondamentaux de la vision aux côtés des membres du corps professoral de Vector David Fleet, Yalda Mohsenzadeh et Leonid Sigal, ainsi que des affiliés du corps professoral de Vector, Marcus Brubaker et Avril Khademi.
La vision par ordinateur comme force positive : atténuer la perte de biodiversité
Graham Taylor , membre du corps professoral de Vector et titulaire de la chaire d'intelligence artificielle du CIFAR Canada, également professeur à l'Université de Guelph, a exploré l'impact significatif de la biodiversité sur notre écosystème, insistant sur l'urgence d'intégrer la biodiversité dans les préoccupations individuelles et collectives lors de sa conférence. Intitulée « Décoder la bibliothèque vivante : la vision par ordinateur en sciences de la biodiversité », cette conférence a mis en lumière le déclin alarmant de la biodiversité terrestre, qui a connu une diminution moyenne de 68 % des espèces de vertébrés à l'échelle mondiale entre 1970 et 2016. M. Taylor a abordé les facteurs à l'origine de ce déclin global, notamment les changements climatiques et les pratiques agricoles non durables. Il a souligné le potentiel de l'apprentissage machine, et plus particulièrement des techniques d'apprentissage profond, pour transformer les sciences de la biodiversité en améliorant la précision de l'identification et du suivi des espèces grâce à la vision par ordinateur. En collaboration avec des chercheurs de l'institut partenaire Amii à Edmonton, l'approche novatrice de M. Taylor vise à exploiter la puissance de l'apprentissage multimodal, notamment l'apprentissage à partir d'images et de « codes-barres ADN » correspondant à un même spécimen, afin de faciliter une compréhension plus approfondie des données sur la biodiversité et de contribuer à des décisions plus éclairées en matière de conservation et de politiques publiques.
Modèles génératifs pour l'apprentissage autosupervisé
Les progrès rapides de l'apprentissage autosupervisé (SSL) ont mis en évidence son potentiel à exploiter des données non étiquetées afin d'apprendre des représentations visuelles performantes. Cependant, les méthodes SSL existantes, notamment celles utilisant différentes vues d'une même image, reposent souvent sur un ensemble limité d'augmentations de données prédéfinies. Cela restreint la diversité et la qualité des transformations, et aboutit à des représentations sous-optimales. Dans le cadre du projet SSL génératif, Arash Afkanpour, chercheur en apprentissage automatique appliqué au sein de l'équipe d'ingénierie IA de Vector, a introduit un nouveau cadre qui enrichit le paradigme SSL en intégrant des modèles génératifs pour générer des augmentations d'images sémantiquement cohérentes. En conditionnant directement les modèles génératifs sur une représentation d'image source, l'approche de l'équipe d'ingénierie IA de Vector permet de générer des augmentations diversifiées tout en préservant la sémantique de l'image originale, offrant ainsi un ensemble de données plus riche pour l'apprentissage autosupervisé et améliorant de manière significative la qualité des représentations visuelles apprises.
Dans le domaine de l'apprentissage de représentations multimodales, l'équipe d'ingénierie IA de Vector a développé un cadre polyvalent conçu pour aider les chercheurs et les praticiens à concevoir de nouvelles architectures de modèles, fonctions de perte et méthodologies, et à expérimenter des techniques novatrices et existantes. De plus, Afkanpour et l'équipe d'ingénierie IA de Vector développent des méthodes combinant des techniques d'apprentissage de représentations contrastives et unimodales afin d'accroître considérablement les données disponibles pour l'entraînement des modèles multimodaux. L'objectif final de l'équipe est de construire un modèle de base pour le secteur de la santé, formé sur une multitude de modalités, notamment des textes médicaux, diverses modalités d'imagerie, des dossiers médicaux électroniques, et bien plus encore.
Présentation du modèle PT-SAM (Prompt-Tuned Segment Anything Model)
Marshall Wang, spécialiste associé en apprentissage automatique appliqué au sein de l'équipe d'ingénierie IA de Vector, a présenté une technique d'ajustement des repères visuels pour la segmentation d'images de télédétection. La segmentation d'images est cruciale pour la recherche sur les changements climatiques, en particulier pour l'analyse des images satellitaires. Cette technique est essentielle à la cartographie des écosystèmes, à l'évaluation des catastrophes naturelles et à la planification urbaine et agricole. L'avènement de modèles fondamentaux basés sur la vision, comme le Segment Anything Model (SAM), ouvre de nouvelles perspectives dans la recherche climatique et la télédétection. Le SAM peut segmenter n'importe quel objet à partir de repères visuels définis manuellement. Toutefois, son efficacité dépend grandement de la qualité de ces repères. Ce problème est particulièrement marqué avec les données de télédétection, qui sont intrinsèquement complexes. Pour utiliser le SAM afin d'obtenir une segmentation précise à grande échelle pour la télédétection, il faudrait créer des repères visuels complexes pour chaque image, ce qui implique généralement la sélection de plusieurs dizaines de points.
Pour remédier à ce problème, Wang a introduit Prompt-Tuned SAM (PT-SAM), une méthode qui minimise le besoin d'intervention manuelle grâce à un système d'intégration d'invites léger et entraînable. Cette intégration saisit des informations sémantiques clés pour des objets d'intérêt spécifiques, applicables à des images inédites. L'approche de l'équipe combine les capacités de généralisation sans exemple du modèle SAM préentraîné avec l'apprentissage supervisé. Point important, le processus d'entraînement de l'intégration d'invites requiert non seulement des ressources matérielles minimales (il peut être exécuté sur un processeur), mais aussi un petit ensemble de données. Avec PT-SAM, la segmentation d'images de données de télédétection peut être réalisée à grande échelle sans intervention humaine, atteignant une précision comparable à celle des invites conçues manuellement avec SAM. Par exemple, PT-SAM peut être utilisé pour analyser le couvert forestier sur de vastes zones, un facteur clé pour comprendre l'impact des activités humaines sur les forêts. Sa capacité à segmenter une multitude d'images le rend idéal pour surveiller les changements d'occupation du sol à grande échelle, offrant une compréhension plus approfondie de l'urbanisation.
Les chercheurs de Vector présentent leurs travaux lors de la séance d'affichage.
La vision par ordinateur façonne aujourd'hui notre quotidien de manières autrefois inimaginables. L'amélioration constante de l'imagerie satellitaire, rendue possible par la vision par ordinateur, permettra une surveillance et une gestion plus précises de notre environnement. De plus, la vision par ordinateur présente un potentiel réel pour jouer un rôle essentiel dans diverses applications, notamment dans le domaine de la santé. Ces progrès promettent d'améliorer les simulations et la sécurité, et de faciliter le travail des médecins et la prise en charge des patients. Cette technologie révolutionnaire ouvre de nouvelles perspectives et transforme de nombreux aspects de notre vie.
Nous n'en sommes qu'aux prémices de l'exploration du plein potentiel de la vision par ordinateur ; plusieurs de ces outils ne sont pas encore au point. De plus, il est crucial d'identifier et d'atténuer les considérations et les défis éthiques, comme les biais. Ce n'est qu'à cette condition que nous pourrons garantir que les avantages de la vision par ordinateur soient répartis équitablement et éthiquement responsables.
Vous voulez en savoir plus sur les initiatives de recherche actuelles du Vector Institute en vision par ordinateur ? Cliquez ici pour regarder la conférence de Renjie Liao, membre du corps professoral de Vector, dans le cadre du cycle de conférences distinguées de Vector .
