2 juillet 2021

Par Ian Gormely

Un nouveau modèle d’apprentissage automatique du Vector Institute et de chercheurs Apple peut créer des environnements 3D sans aucune image de référence. 

Les réseaux de scènes génératives (GSN) sont construits sur des champs de radiance neuronale (NeRF), qui permettent aux utilisateurs de créer facilement des modèles 3D à partir de photos 2D. Mais les NeRF ne peuvent pas remplir les détails qu’ils n’ont pas déjà « vus ». Les GSN élargissent leur portée, modélisant des environnements entiers comme marcher d’une maison vers un garage, remplissant de nouveaux détails au fur et à mesure que la caméra bouge. Une fois formés, les GSN peuvent créer, ou « halluciner », comme le dit Graham Taylor, membre du corps professoral de Vector, des environnements entièrement nouveaux lorsqu’ils ne sont pas contraints. Les utilisateurs peuvent aussi donner au modèle une scène partielle et laisser le modèle remplir le reste pour une représentation plus ancrée de la réalité.

Les GSN, qui synthétisent des champs de radiance de scènes intérieures afin d’accomplir cet exploit impressionnant, ont été décrits pour la première fois dans « Unconsttrained Scene Generation with Locally Conditioned Radiance Fields », un nouvel article coécrit par Graham Taylor, président IA du CIFAR Canada et membre du corps professoral Vector, et dirigé par son étudiant Terrance DeVries

Taylor, DeVries et leurs coauteurs Nitish Srivastava et Joshua M. Susskind (qui ont tous deux étudié sous la direction de Geoffrey Hinton à l’Université de Toronto avec Taylor) ainsi que Miguel Angel Bautista, mentor de DeVries chez Apple, sont enthousiastes à propos des applications de cette technologie. 

En particulier, Taylor voit le potentiel de déploiement dans l’industrie de la construction. Grâce à son travail avec Next AI et le Creative Destruction Lab à la Rotman School of Management, Taylor mentore la startup Origami XR. Leur application iOS utilise le scanner LiDAR inclus dans les nouveaux produits Apple pour créer rapidement et de façon fiable des modèles 3D de pièces individuelles issues de projets de construction (le logiciel utilise des modèles NeRF pour nettoyer les images). Reproduire cela avec la technologie LiDAR actuelle nécessiterait un équipement coûteux et une formation approfondie, ce que la plupart des entreprises de construction, qui sont généralement des petites et moyennes entreprises (PME), ne peuvent pas se permettre.

Le fondateur d’Origami, Erik Peterson, a été la première personne qui a introduit Taylor aux NeRF. Et bien que Peterson affirme que son entreprise n’a actuellement aucun plan d’intégrer les GSN dans leur logiciel, Taylor croit que les GSN ont le potentiel d’être utiles aux entreprises de construction intéressées à modéliser des bâtiments entiers. 

Taylor et ses collègues espèrent que GSN mènera à de nombreuses applications ultérieures pour la modélisation 3D, un peu comme StyleGAN2, un autre modèle génératif, l’a fait pour les images 2D comme l’outil de filtrage neuronal dans Adobe Photoshop. Ils voient les jeux vidéo comme un choix naturel, surtout qu’une partie des données d’entraînement de GSN provient de VizDoom, un simulateur de Doom. « On peut créer de nouveaux jeux à la volée », dit Taylor en pointant Transitional Forms, basée à Toronto, qui utilise l’IA pour développer du contenu pour l’industrie du divertissement. Ils ont aussi ciblé l’immobilier et le design comme des industries pour lesquelles leur modèle pourrait être utile.  

Il considère aussi leur article comme un parfait exemple de l’écosystème local de l’IA – recherche, mentorat et, potentiellement, déploiement dans l’industrie – en pleine floraison. « Je pense que c’est exactement ce que nous souhaitons voir émerger d’une stratégie pancanadienne en IA — le renforcement de l’écosystème de recherche et, avec cela, des opportunités économiques locales. »