2 juillet 2021
Par Ian Gormely
Un nouveau modèle d'apprentissage machine, développé par des chercheurs du Vector Institute et d'Apple, permet de créer des environnements 3D sans aucune image de référence.
Les réseaux de scènes génératives (GSN) s'appuient sur les champs de radiance neuronaux (NeRF), qui permettent de créer facilement des modèles 3D à partir de photos 2D. Cependant, les NeRF ne peuvent pas intégrer les détails qu'ils n'ont pas déjà « vus ». Les GSN élargissent leur champ d'action, modélisant des environnements entiers, comme le passage d'une maison à un garage, et ajoutant de nouveaux détails au fur et à mesure que la caméra se déplace. Une fois entraînés, les GSN peuvent créer, ou « halluciner », comme le dit Graham Taylor, membre de la faculté de Vector, des environnements entièrement nouveaux lorsqu'ils ne sont soumis à aucune contrainte . Les utilisateurs peuvent aussi fournir au modèle une scène partielle et le laisser compléter le reste pour une représentation plus réaliste.
Les GSN, qui synthétisent les champs de radiance de scènes intérieures pour accomplir cette prouesse impressionnante, ont été décrits pour la première fois dans « Unconstrained Scene Generation with Locally Conditioned Radiance Fields », un nouvel article coécrit par Graham Taylor, titulaire de la chaire d'IA du CIFAR Canada et membre du corps professoral de Vector, et dirigé par son étudiant Terrance DeVries.
Taylor, DeVries et leurs coauteurs Nitish Srivastava et Joshua M. Susskind (qui ont tous deux étudié sous la direction de Geoffrey Hinton à l'Université de Toronto avec Taylor) et Miguel Angel Bautista, le mentor de DeVries chez Apple, sont enthousiastes quant aux applications de cette technologie.
Taylor entrevoit notamment un fort potentiel de déploiement dans le secteur de la construction. Dans le cadre de sa collaboration avec Next AI et le Creative Destruction Lab de la Rotman School of Management, il accompagne la start-up Origami XR. Leur application iOS tire parti du scanner LiDAR intégré aux nouveaux produits Apple pour créer rapidement et précisément des modèles 3D de pièces individuelles provenant de chantiers (le logiciel utilise des modèles NeRF pour optimiser la qualité des images). Reproduire cette technologie avec les systèmes LiDAR actuels exigerait un équipement coûteux et une formation approfondie, des dépenses que la plupart des entreprises de construction, généralement des PME, ne peuvent assumer.
C'est Erik Peterson, fondateur d'Origami, qui a fait découvrir les NeRF à Taylor. Bien que Peterson affirme que son entreprise n'envisage pas d'intégrer les GSN à son logiciel, Taylor estime que ces technologies pourraient s'avérer très utiles aux entreprises de construction souhaitant modéliser des bâtiments entiers.
Taylor et ses collègues espèrent que GSN débouchera sur de nombreuses applications en aval pour la modélisation 3D, à l'instar de StyleGAN2, un autre modèle génératif, pour les images 2D, comme l' outil de filtre neuronal d'Adobe Photoshop. Ils considèrent les jeux vidéo comme une application naturelle, d'autant plus qu'une partie des données d'entraînement de GSN provient de VizDoom , un simulateur de Doom . « On peut créer de nouveaux jeux à la volée », explique Taylor, en citant Transitional Forms , une entreprise torontoise qui utilise l'IA pour développer du contenu pour l'industrie du divertissement. Ils ont aussi mentionné l'immobilier et le design comme des secteurs où leur modèle pourrait s'avérer utile.
Il considère également leur article comme un parfait exemple de l'écosystème local de l'IA – recherche, mentorat et, potentiellement, déploiement industriel – en plein essor. « Je crois que c'est exactement ce que nous souhaitons voir émerger d'une stratégie pancanadienne en matière d'IA : le renforcement de l'écosystème de recherche et, par conséquent, la création de débouchés économiques locaux. »
