Par Ian Gormely
L'intelligence artificielle, et plus particulièrement l'apprentissage machine et l'apprentissage profond, bouleverse presque tous les secteurs imaginables, même le monde de l'art. Pourtant, de nombreux artistes adoptent cette technologie pour les nouvelles perspectives créatives qu'elle offre.
« L’appareil photo n’a pas empêché les gens de peindre », remarque Sageev Oore , membre du corps professoral du Vector Institute, professeur agrégé d’informatique à l’Université Dalhousie et pianiste de jazz, « mais il a changé ce sur quoi les gens se concentraient. »
Oore et son collègue Roger Grosse , ainsi qu'une équipe d'étudiants chercheurs affiliés à Vector, dont Sicong Huang, Qiyang Li, Cem Anil et Xuchan Bao, font partie du petit groupe, mais en pleine expansion, de personnes explorant l'intersection entre l'IA et la musique. TimbreTron, un modèle de transfert de style musical qu'ils ont présenté dans leur récent article de recherche intitulé « TimbreTron : un pipeline WaveNet(CycleGAN(CQT(Audio)))) pour le transfert de timbre musical », constitue leur preuve de concept.
L'article, que Grosse et Oore présentent ce mois-ci à la Conférence internationale sur les représentations d'apprentissage (ICLR) – l'une des plus importantes conférences mondiales sur l'apprentissage automatique –, détaille une méthode permettant de « prendre un enregistrement musical joué par un instrument et de lui donner l'impression d'avoir été joué par un instrument différent », explique Grosse, « tout en préservant autant que possible le contenu, notamment la hauteur, le rythme et, dans une certaine mesure, l'expressivité ».
Le timbre, le son d'un instrument donné, est notoirement difficile à modéliser. Mais Oore, Grosse et leurs équipes ont contourné le problème en transformant les formes d'ondes audio d'un morceau de piano en images, plus précisément en spectrogrammes CQT. À l'aide d'un modèle de transfert de style appelé CycleGAN , ils ont transformé le spectrogramme du piano en un spectrogramme de clavecin du même morceau. Ils ont ensuite utilisé le modèle WaveNet de Google DeepMind pour reconvertir le tout en forme d'onde audio, sauf que ce qui était autrefois un piano sonne désormais comme un clavecin. Le système permet également aux utilisateurs de modifier le tempo d'un morceau sans en altérer la hauteur (éliminant ainsi l'« effet chipmunk » ) ou de modifier la hauteur sans affecter le tempo.
Le projet est né de l'idée de Huang, qui voulait travailler sur un projet d'IA lié à la musique. À l'époque, le modèle CycleGAN était nouveau et « semblait une piste naturelle à explorer », se rappelle Grosse, qui ne se considère pas comme musicien. Il a fait appel à Oore, qui avait déjà travaillé sur des projets combinant musique et apprentissage machine, notamment au sein du projet Magenta de Google, visant à intégrer l'apprentissage machine aux domaines créatifs. « C'est vraiment son domaine. »
Compte tenu de ses intérêts divergents au sein du projet, Oore a, sans surprise, des raisons différentes, quoique complémentaires, de vouloir y participer. Son côté informaticien s'intéresse au degré de contrôle que les programmeurs peuvent exercer lors de la recréation audio et à ses limites. « Nous comprenons mieux l'espace audio et les systèmes de réseaux neuronaux permettant de contrôler et de générer cet espace. »
Cela dit, « d'un point de vue créatif, le plus intéressant, c'est de détourner l'outil de ses limites », explique Oore, reprenant une remarque souvent faite par Doug Eck de Magenta. Les logiciels de correction de la hauteur comme Auto-Tune ont été initialement commercialisés comme un moyen de « corriger » numériquement les voix fausses. Mais des artistes comme Cher et T-Pain étaient plus intéressés par les transformations artificielles qu'ils pouvaient apporter à la voix humaine. Oore est tout aussi curieux d'entendre d'autres sonorités que TimbreTron pourrait générer. « Si le son n'est pas exactement celui d'un piano, mais plutôt un mélange entre un clavecin et un piano, ça pourrait être encore plus intéressant. »
