16 décembre 2020
Le développement et l'utilisation de modèles de traitement automatique du langage naturel (TALN) dans l'industrie sont devenus de plus en plus complexes à mesure que la complexité des modèles augmente, que la taille des ensembles de données augmente et que les besoins en calcul augmentent. Ces obstacles limitent la capacité de nombreuses organisations à accéder aux capacités du TALN et à les exploiter, les privant ainsi de leurs avantages considérables.
Afin de les aider à surmonter ces difficultés, Vector a lancé en juin 2019 un projet collaboratif avec des partenaires industriels et des chercheurs afin d'aider les entreprises à recréer des modèles de traitement automatique du langage naturel (TALN) pour les déployer au sein de leurs activités. Le projet de recréation de modèles de langage préentraînés à grande échelle (le projet TALN) a familiarisé les partenaires industriels participants avec des techniques avancées de TALN, ainsi qu'avec les méthodologies de développement de nouvelles méthodes performantes utilisant des ensembles de données relativement restreints et des ressources informatiques largement disponibles.
Alors que la plupart des collaborations de recherche en TALN visent à produire des modèles de pointe avec des taux d'erreur très faibles, l'objectif de ce projet était de créer un environnement d'apprentissage collaboratif et évolutif permettant à plusieurs entreprises d'acquérir l'expérience pratique nécessaire à la création et au déploiement à grande échelle de modèles de TALN dont l'objectif principal est de générer de la valeur ajoutée pour l'entreprise. Ainsi, le projet a impliqué 60 participants : 23 chercheurs et membres du personnel de Vector, experts en apprentissage automatique et en TALN, ainsi que 37 professionnels techniques provenant de 16 entreprises partenaires de Vector. Les participants ont formé 11 groupes de travail, chacun développant et menant des expériences en lien avec les besoins actuels du secteur. Par ailleurs, au début de la pandémie de COVID-19, un groupe d'intérêt spécialisé (SIG-Kaggle-COVID19) a été créé afin de développer des approches de réponse aux questions pouvant aider la communauté médicale à répondre aux questions scientifiques prioritaires .
Dans le but d'aider d'autres organisations à bâtir, déployer et tirer profit du projet, le Vector Institute, en collaboration avec les participants au projet, a présenté ses conclusions et ses analyses dans un rapport technique et lors d'un symposium :
- Rapport technique du projet NLP – « Exploiter la puissance du traitement automatique du langage naturel (NLP) : un projet collaboratif entre l’Institut Vector et l’industrie »
- Le Symposium sur le traitement automatique du langage naturel (TALN), qui s'est tenu les 15 et 16 septembre 2020, était une réunion virtuelle de deux jours proposant des présentations et des ateliers pratiques animés par les participants au projet et les chercheurs de Vector. Parmi les conférenciers principaux figuraient He He, professeur adjoint d'informatique et de science des données à l'Université de New York ; Khalid Al-Kofahi, vice-président principal et responsable des investissements personnels en IA chez Fidelity ; ainsi que les membres du corps professoral de Vector, Jimmy Ba, Gennady Pekhimenko et Frank Rudzicz.
Travaux publiés basés sur des recherches issues du projet NLP et présentés au symposium NLP :
- Préentraînement BERT multi-nœuds : une approche rentable
- Système intelligent de génération et de validation de paires questions-réponses pour la littérature sur la COVID-19
- Entraînement multi-nœuds de modèles linguistiques à grande échelle
- Découverte d'interventions non pharmaceutiques par modélisation thématique
- Personnalisation des modèles de langage contextualisés pour la révision des documents juridiques
- Réplication partielle de la représentation du langage dans le domaine biomédical, Symposium sur l'évolution de l'apprentissage profond , Présentation par affiche
- Évaluation expérimentale des modèles linguistiques basés sur les transformateurs dans le domaine biomédical
- Exploiter la puissance du PNL : un projet collaboratif entre l'industrie et l'Institut Vector
- Soumissions au défi Kaggle CORD19 :
Dans l'ensemble, grâce au projet NLP, les participants industriels ont bénéficié d'une expérience en matière de pré-entraînement de modèles de langage à grande échelle, ont assisté à des conférences d'experts favorisant un transfert de connaissances efficace, ont accédé aux ressources de calcul scientifique de Vector, ont établi des collaborations fructueuses avec d'autres organisations partenaires et ont mis à profit leur expertise pour accélérer la diffusion des connaissances scientifiques et soutenir la communauté médicale dans la lutte contre la COVID-19. Il est à noter que les leçons apprises du projet NLP ont influencé les programmes et le développement de produits de certaines organisations participantes .
