David Duvenaud, membre du corps professoral de Vector, et ses collaborateurs ont publié un nouvel article intitulé « Scalable Gradients for Stochastic Differential Equations » dans la revue Artificial Intelligence and Statistics . Cet article utilise la rétropropagation pour ajuster des modèles stochastiques à temps continu et ouvre la voie à la construction de modèles de prédiction plus complexes dans des domaines tels que la physique, les finances et la génétique humaine.
Les équations différentielles stochastiques (EDS) — des équations différentielles qui tiennent compte de l'incertitude due aux interactions invisibles — sont utilisées depuis longtemps dans des domaines comme la finance, où elles permettent de prévoir l'évolution des cours boursiers. Cependant, elles sont limitées par le nombre de paramètres (généralement 10 ou 20) pouvant être ajustés simultanément et, de manière générale, ne sont pas adaptées aux grands réseaux de neurones à millions de paramètres utilisés dans d'autres domaines.
« Scalable Gradients for Stochastic Équations différentielles » spécifie la dynamique de ces modèles avec des réseaux neuronaux et les entraîne avec une optimisation basée sur le gradient.
Duvenaud et ses coauteurs, Ricky T. Chen, Ting-Kam Leonard Wong et Xuechen Li, combinent ces processus avec des réseaux de neurones profonds. Duvenaud avait précédemment exploré l'idée de passer d'un temps discret (données échantillonnées à intervalles réguliers) à un temps continu (données échantillonnées à tout moment du flux), dans l'article « Neural Ordinary Differential Equations », récompensé par le prix du meilleur article à NeurIPS 2018. Dans ce nouvel article, ils généralisent les calculs permettant d'entraîner des équations différentielles ordinaires neuronales (EDO) pour les équations différentielles stochastiques (EDS), une famille de modèles beaucoup plus vaste.
La rétropropagation en temps continu existait déjà pour les EDO neuronales, mais aucune méthode de rétropropagation de ce type n'existait pour les EDS. L'algorithme s'est avéré être une extension directe de la méthode des EDO avec bruit fixe, une sorte d'astuce de reparamétrisation en temps continu.
Ces modèles à temps continu offrent une méthode plus fine et plus flexible pour intégrer ou échantillonner des données de séries temporelles. Ils peuvent contribuer à une meilleure modélisation des données médicales, à la prévision des cours boursiers ou au suivi de l'évolution des populations sur de longues périodes.
