David Duvenaud, membre de la faculté des sciences vectorielles, et ses collaborateurs ont publié un nouvel article intitulé "Scalable Gradients for Stochastic Differential Equations" (gradients évolutifs pour les équations différentielles stochastiques) dans Artificial Intelligence and Statistics. L'article utilise la rétropropagation pour ajuster des modèles stochastiques à temps continu et offre la possibilité de construire des modèles de prédiction plus complexes dans des domaines tels que la physique, la finance et la génétique humaine.

Les équations différentielles stochastiques (EDS) - équations différentielles qui tiennent compte de l'incertitude due à des interactions invisibles - ont une longue histoire dans des domaines tels que la finance, où elles aident à prévoir l'évolution des cours boursiers dans le temps. Cependant, elles sont limitées dans le nombre de paramètres (généralement 10 ou 20) qui peuvent être ajustés à tout moment et, d'une manière générale, elles ne sont pas extensibles aux grands réseaux neuronaux avec des millions de paramètres qui sont utilisés pour ajuster les données dans d'autres domaines.

"Scalable Gradients for Stochastic Differential Equations" spécifie la dynamique de ces modèles avec des réseaux neuronaux et les entraîne avec une optimisation basée sur les gradients.

Duvenaud et ses coauteurs Ricky T. Chen, Ting-Kam Leonard Wong et Xuechen Li combinent ces processus avec des réseaux neuronaux profonds. Duvenaud avait déjà travaillé sur l'idée de passer du temps discret - données échantillonnées à intervalles réguliers - au temps continu - données échantillonnées à n'importe quel point du flux, dans l'article "Neural Ordinary Differential Equations", qui a remporté un prix du meilleur article à NeurIPS 2018. Dans ce nouvel article, ils ont généralisé les mathématiques permettant aux ODE neuronales d'être entraînées pour les SDE, une famille de modèles beaucoup plus large. 

La rétropropagation en temps continu existait déjà pour les ODE neuronales, mais aucune méthode de ce type en mode inverse n'existait pour les SDE. L'algorithme s'est avéré être une extension directe de la méthode ODE avec un bruit fixe, une sorte d'astuce de reparamétrage en temps continu.

Ces modèles à temps continu offrent un moyen plus fin et plus souple d'incorporer ou d'échantillonner des données de séries temporelles. Ils peuvent aider à mieux modéliser les données médicales, à prédire les prix sur le marché boursier ou à suivre l'évolution des populations sur de longues périodes.