David Duvenaud, membre du corps professoral de Vector, et ses collaborateurs ont publié un nouvel article, « Scalable Gradients for Stochastic Differential Equations », dans Artificial Intelligence and Statistics. L’article utilise la rétropropagation pour ajuster des modèles stochastiques en temps continu et offre le potentiel de construire des modèles de prédiction plus complexes dans des domaines comme la physique, la finance et la génétique humaine.

Les équations différentielles stochastiques (EDS) — des équations différentielles qui tiennent compte de l’incertitude due à des interactions invisibles — ont une longue histoire dans des domaines comme la finance où elles aident à prévoir comment les prix des actions pourraient évoluer au fil du temps. Cependant, ils ont été limités dans le nombre de paramètres (généralement 10 ou 20) pouvant être ajustés à la fois et, de manière générale, n’étaient pas évolutives vers les grands réseaux de neurones avec des millions de paramètres utilisés pour ajuster des données dans d’autres domaines.

« Scalable Gradients for Stochastic Differential Equations » spécifie la dynamique de ces modèles avec des réseaux de neurones, et les entraîne à l’optimisation basée sur le gradient.

Duvenaud et ses coauteurs Ricky T. Chen, Ting-Kam Leonard Wong et Xuechen Li combinent ces processus avec des réseaux neuronaux profonds.  Duvenaud avait déjà travaillé sur l’idée de passer du temps discret — données échantillonnées à intervalles réguliers — à des données en temps continu — données échantillonnées à n’importe quel moment du flux, dans l’article « Neural Ordinary Differential Equations », qui a remporté le prix du meilleur article à NeurIPS 2018. Dans ce nouvel article, ils ont généralisé les mathématiques permettant d’entraîner les EDO neuronales pour les EDS, une famille beaucoup plus vaste de modèles.

La rétropropagation en temps continu existait déjà pour les EDO neuronales, mais aucune méthode de mode inverse n’existait pour les EDS. L’algorithme s’est avéré être une extension simple de la méthode ODE avec un bruit fixe, une sorte de technique de reparamétrisation en temps continu.

Ces modèles de temps continu offrent une manière plus fine et flexible d’incorporer ou d’échantillonner des données de séries temporelles.  Ils ont le potentiel d’aider à mieux modéliser les données médicales, à prédire les prix sur le marché boursier ou à suivre l’évolution des populations sur de longues périodes.