Par Natasha Ali
Un nouvel article coécrit par David Fleet, membre du corps professoral du Vector Institute, présente un modèle de calcul adaptatif capable de représenter des données visuelles multidimensionnelles et de générer des images et des vidéos réalistes.
L'article intitulé « Calcul adaptatif à grande échelle pour la génération itérative » figurait parmi les articles acceptés lors de la conférence ICML 2023 (Conférence internationale sur l'apprentissage automatique), qui a mis en lumière des travaux de recherche exceptionnels menés par d'éminents membres de la communauté de recherche de Vector. Tenue du 23 au 29 juillet, la conférence a présenté 21 articles coécrits par des professeurs, des professeurs associés et des postdoctorants de l'Institut Vector.
Calcul adaptatif dans les outils d'intelligence artificielle générative
Technique d'intelligence artificielle générative répandue, le calcul adaptatif permet aux réseaux neuronaux de traiter l'information de manière adaptative en fonction de l'évolution des données d'entrée, d'évaluer leur méthodologie et d'améliorer leurs performances à chaque nouvelle donnée. Essentiellement, il garantit que les modèles d'apprentissage profond continuent d'améliorer leurs propriétés prédictives et d'ajuster leurs fonctions face à de nouvelles conditions, pour finalement fonctionner avec une capacité dynamique comparable à celle du cerveau humain.
L'importance des réseaux d'interfaces récurrents (RIN)
Les modèles génératifs précédents ne pouvaient traiter que des unités de données fixes, comme les pixels ou les zones d'une image. Ou, avec des images et des vidéos réalistes, les données ont tendance à être réparties de manière inégale dans l'espace visuel, créant des amas de données complexes dans les zones contenant des objets ou des textures visuellement élaborés.
C'est là qu'interviennent les réseaux d'interface récurrents (RIN). Ce modèle adaptatif récemment développé atténue certains problèmes liés aux tâches génératives complexes. Utilisant un système à deux unités, les RIN assignent des points de données individuels à des espaces d’interface ( X ) et latent ( Z ), initiant des échanges bidirectionnels entre les deux espaces et permettant aux réseaux neuronaux de traiter plus efficacement les espaces hétérogènes .
Immédiatement connecté aux ensembles de données d'entrée, l'espace d'interface s'adapte aux variations de taille des données et au regroupement des données, s'étendant à des milliers de points de données au besoin tout en conservant une capacité de calcul globale relativement constante. Il est souvent utilisé pour le traitement d'espaces visuels statiques nécessitant une puissance de calcul minimale. Contrairement à l'espace d'interface, l'espace latent fonctionne indépendamment de l'échelle des données d'entrée. Véritable centre névralgique du calcul, il est responsable des tâches spécialisées de calcul et d'étiquetage à haute capacité dans les régions regroupées.
Utilisation de réseaux d'interfaces récurrents (RIN) et de la génération interactive pour améliorer la qualité de l'image et de la vidéo.
Le processus d'entraînement des RIN à identifier les composants visuels comprenait une initialisation de l'interface, suivie d'une initialisation latente et d'un empilement de blocs. Premier point de contact avec l'entrée, les unités d'interface convertissaient les images ou vidéos en un ensemble de jetons de patch – une série de vecteurs d'identification contenant des informations sur un composant de l'image, comme sa taille, sa position relative et sa texture. Contrairement à l'initialisation de l'interface, l'initialisation latente faisait appel à des vecteurs spécialisés dotés de capacités prédictives avancées et d'un comportement appris.
Après un prétraitement des données, les espaces d'interface et latent ont échangé périodiquement des ensembles de données, les espaces latents accumulant des informations computationnelles essentielles provenant des interfaces. Des cartes d'attention ont été utilisées pour attribuer un score quantitatif à chaque point de données et localiser les régions importantes, priorisant certaines unités comme « nécessitant une puissance de calcul importante » et signalant leur transfert vers l'espace latent. Ce processus récurrent a mené à la formation d'empilements de blocs RIN, qui ont ensuite été analysés et remodelés pour créer le rendu visuel souhaité.
Pour remédier aux problèmes d'incohérence des données et de déconnexion possible entre les deux espaces, Fleet et ses coauteurs ont proposé un mécanisme de génération itératif, dans lequel les points de données précédemment calculés étaient reportés – par itérations – à travers différentes unités latentes et utilisés pour s'appuyer sur les informations existantes.
L'idée était de « préparer » les unités latentes afin que les ensembles de données antérieurs servent de modèles initiaux pour les calculs et traitements de données ultérieurs. En exposant les unités latentes à ces ensembles de données, les nouvelles unités pouvaient s'acclimater rapidement aux propriétés prédictives du modèle actuel, ce qui permettait un routage efficace de l'information entre les espaces et au sein du réseau neuronal dans son ensemble.
Évaluation de l'efficacité des réseaux d'interfaces récurrents (RIN)
En tant que modèle de calcul novateur, les réseaux d'interfaces récurrentes (RIN) permettent d'étiqueter et de recréer efficacement des informations visuelles multidimensionnelles. Grâce à un système binaire novateur, ce modèle de calcul adaptatif isole les points de données en fonction de leur capacité de calcul perçue et accélère le processus d'étiquetage et d'analyse des données, permettant ainsi la génération rapide d'images et de vidéos élaborées.
Après avoir comparé les RIN à des modèles de génération adaptatifs bien établis, Fleet et ses coauteurs ont démontré la supériorité des RIN pour l'identification et l'étiquetage adaptatifs des fluctuations spatiales dans les images et les vidéos. Ce modèle adaptatif novateur a surpassé de nombreux modèles génératifs en tant qu'outil de calcul robuste et dynamique, et a fourni des résultats prometteurs pour l'intelligence artificielle générative dans les tâches visuellement complexes.
Cet article remarquable constitue une étape importante vers le développement de modèles d'IA générative plus performants et facilite l'intégration de cette technologie en milieu professionnel. Compte tenu de l'intérêt croissant pour l'IA générative, l'Institut Vector poursuit le développement de ses initiatives de recherche visant à perfectionner les techniques existantes et à consolider la réputation de Toronto comme pôle d'excellence en recherche de pointe dans ce domaine.
Sources :
Graves, Alex. (2017). Temps de calcul adaptatif pour les réseaux de neurones récurrents. Arxiv. https://arxiv.org/abs/1603.08983
