De nouveaux modèles de réseaux neuronaux permettent d'améliorer les prévisions dans les domaines de la médecine, de la finance et de la génétique humaine

30 janvier 2020

David Duvenaud, membre de la faculté des sciences vectorielles, et ses collaborateurs ont publié un nouvel article intitulé "Scalable Gradients for Stochastic Differential Equations" (gradients évolutifs pour les équations différentielles stochastiques) dans Artificial Intelligence and Statistics. L'article utilise la rétropropagation pour ajuster des modèles stochastiques à temps continu et offre la possibilité de construire des modèles de prédiction plus complexes dans des domaines tels que la physique, la finance et la génétique humaine.

Les équations différentielles stochastiques (EDS) - équations différentielles qui tiennent compte de l'incertitude due à des interactions invisibles - ont une longue histoire dans des domaines tels que la finance, où elles aident à prévoir l'évolution des cours boursiers dans le temps. Cependant, elles sont limitées dans le nombre de paramètres (généralement 10 ou 20) qui peuvent être ajustés à tout moment et, d'une manière générale, elles ne sont pas extensibles aux grands réseaux neuronaux avec des millions de paramètres qui sont utilisés pour ajuster les données dans d'autres domaines.

"Scalable Gradients for Stochastic Differential Equations" spécifie la dynamique de ces modèles avec des réseaux neuronaux et les entraîne avec une optimisation basée sur les gradients.

Duvenaud et ses coauteurs Ricky T. Chen, Ting-Kam Leonard Wong et Xuechen Li combinent ces processus avec des réseaux neuronaux profonds. Duvenaud avait déjà travaillé sur l'idée de passer du temps discret - données échantillonnées à intervalles réguliers - au temps continu - données échantillonnées à n'importe quel point du flux, dans l'article "Neural Ordinary Differential Equations", qui a remporté un prix du meilleur article à NeurIPS 2018. Dans ce nouvel article, ils ont généralisé les mathématiques permettant aux ODE neuronales d'être entraînées pour les SDE, une famille de modèles beaucoup plus large. 

La rétropropagation en temps continu existait déjà pour les ODE neuronales, mais aucune méthode de ce type en mode inverse n'existait pour les SDE. L'algorithme s'est avéré être une extension directe de la méthode ODE avec un bruit fixe, une sorte d'astuce de reparamétrage en temps continu.

Ces modèles à temps continu offrent un moyen plus fin et plus souple d'incorporer ou d'échantillonner des données de séries temporelles. Ils peuvent aider à mieux modéliser les données médicales, à prédire les prix sur le marché boursier ou à suivre l'évolution des populations sur de longues périodes.



En rapport :

Des protocoles normalisés sont essentiels pour un déploiement responsable des modèles linguistiques

Les inconnues connues : Geoff Pleiss, chercheur chez Vector, se penche sur l'incertitude pour rendre les modèles de ML plus précis.

Un homme regarde un tableau blanc sur lequel sont inscrites des formules en rouge.
Perspectives
Une IA digne de confiance

Comment mettre en œuvre des systèmes d'IA en toute sécurité