4 décembre 2018
Les membres du corps professoral et les étudiants de Vector ont collaboré et remporté deux des quatre prix du meilleur article ainsi qu’un prix du meilleur article étudiant lors de NeurIPS 2018, la conférence d’apprentissage automatique la plus importante au monde.
David Duvenaud, cofondateur et membre du corps professoral de Vector, ainsi que les étudiants de Vector Jesse Bettencourt, Yulia Rubanova et Ricky Chen, tous de l’Université de Toronto, sont les auteurs de « Neural Ordinary Differential Equations » et ont reçu le prix du meilleur article à NeurIPS 2018.
De plus, Will Grathwohl, Ricky Chen et Jesse Bettencourt ont reçu un deuxième prix en remportant le prix du meilleur article étudiant à l’atelier Advances in Approximate Bayesian Inference en collaboration avec David Duvenaud et Ilya Sutskever.
Remportant également les plus hautes distinctions avec un prix du meilleur article, l’un des plus récents membres du corps professoral de Vector de l’Université de Waterloo, Shai Ben-David, ainsi que l’affilié de Vector Postgraduate Affiliate, Hassan Ashtiani, ainsi que leurs collaborateurs pour leur article Almost tight sample complexity limits for learning mixtures of Gaussians via sample compression schemes.
La trente-deuxième conférence annuelle sur les systèmes de traitement de l’information neuronale (NeurIPS) a débuté ce dimanche à Montréal. NeurlPS est une conférence multi-volets sur l’apprentissage automatique et les neurosciences computationnelles qui comprend des conférences invitées, des démonstrations, des symposiums ainsi que des présentations orales et par affiches d’articles évalués par des pairs.
Meilleur article
Par Hassan Ashtiani, Shai Ben-David, Nicholas Harvey, Christopher Liaw, Abbas Mehrabian, Yaniv Plan
Résumé :
Nous démontrons que des échantillons Θ(k d^2 / ε^2) sont nécessaires et suffisants pour apprendre un mélange de k Gaussiens dans R^d, jusqu’à ε d’erreur dans la distance totale de variation. Cela améliore à la fois les bornes supérieures et inférieures connues pour ce problème. Pour les mélanges de gaussiennes alignées sur les axes, nous montrons que O(k d / ε^2) échantillons suffisent, correspondant à une borne inférieure connue.
La borne supérieure repose sur une technique novatrice d’apprentissage par distribution basée sur une notion de compression d’échantillon. Toute classe de distributions permettant un tel schéma de compression d’échantillons peut aussi être apprise avec peu d’échantillons. De plus, si une classe de distributions possède un tel schéma de compression, alors il en va de même pour les classes de produits et mélanges de ces distributions. Le cœur de notre résultat principal est de montrer que la classe des gaussiennes dans R^d possède une compression d’échantillon efficace.
Meilleur article
Équations différentielles ordinaires neuronales
Par Ricky Chen*, Yulia Rubanova*, Jesse Bettencourt*, David Duvenaud (*contribution égale)
Résumé :
Nous introduisons une nouvelle famille de modèles de réseaux de neurones profonds. Au lieu de spécifier une séquence discrète de couches cachées, nous paramétrisons la dérivée de l’état caché à l’aide d’un réseau de neurones. La sortie du réseau est calculée à l’aide d’un solveur d’équations différentielles boîte noire. Ces modèles à profondeur continue ont un coût mémoire constant, adaptent leur stratégie d’évaluation à chaque entrée, et peuvent explicitement échanger la précision numérique contre la vitesse. Nous démontrons ces propriétés dans des réseaux résiduels à profondeur continue et des modèles à variables latentes en temps continu. Nous construisons aussi des flux de normalisation continus, un modèle génératif qui peut s’entraîner par probabilité maximale, sans partitionner ni ordonner les dimensions des données. Pour l’entraînement, nous montrons comment rétropropager de manière scalable à travers n’importe quel solveur ED, sans accès à ses opérations internes. Cela permet un entraînement de bout en bout des EDO dans des modèles plus vastes.
Meilleur article étudiant
Symposium sur les avancées en inférence bayésienne approximative 2018. Présentation orale
FFJORD : Dynamiques continues libres pour des modèles génératifs réversibles et évolutifs
Par Will Grathwohl*, Ricky T. Q. Chen*, Jesse Bettencourt, Ilya Sutskever, David Duvenaud. (*contribution égale)
Résumé :
Une classe prometteuse de modèles génératifs mappe les points d’une distribution simple vers une distribution complexe via un réseau de neurones inversible. L’entraînement basé sur la vraisemblance de ces modèles nécessite de restreindre leurs architectures pour permettre un calcul peu coûteux des déterminants jacobiniens. Alternativement, la trace jacobienne peut être utilisée si la transformation est spécifiée par une équation différentielle ordinaire. Dans cet article, nous utilisons l’estimateur de traces de Hutchinson pour fournir une estimation évolutive et non biaisée de la densité logarithmique. Le résultat est un modèle génératif inversible en temps continu avec estimation de densité non biaisée et échantillonnage en un seul passage, tout en permettant des architectures de réseaux de neurones sans restriction. Nous démontrons notre approche sur l’estimation de la densité à haute dimension, la génération d’images et l’inférence variationnelle, atteignant ainsi l’état de l’art parmi les méthodes de vraisemblance exacte avec un échantillonnage efficace.
