Blogue de Vector Research : Votre réseau neuronal est-il en péril ? Le piège des optimiseurs de gradient adaptatifs

Deux personnes qui jouent aux échecs

12 mars 2024

Rechercher

Par Avery Ma, Yangchen Pan et Amir-Massoud Farahmand

TMLR (Certification en vedette)

Code

En résumé : nos analyses empiriques et théoriques révèlent que les modèles entraînés par descente de gradient stochastique présentent une robustesse nettement supérieure aux perturbations des données d'entrée par rapport à ceux entraînés par des méthodes de gradient adaptatif. Autrement dit, certaines techniques d'entraînement rendent les systèmes d'apprentissage automatique plus fiables et moins susceptibles d'être perturbés par des changements inattendus dans les données d'entrée.

Vous êtes-vous déjà demandé quelles étaient les différences entre les modèles formés avec divers optimiseurs ? Les recherches actuelles portent sur l’impact de ces optimiseurs sur les performances de généralisation standard d’un modèle : sa précision sur l’ensemble de test initial. Dans cet article, nous explorons comment ils peuvent influencer la robustesse des modèles face aux perturbations des données d'entrée, que vous utilisiez la descente de gradient stochastique (SGD) ou la descente de gradient adaptative.

Figure 1. Trois nuages ​​de points comparant la précision des tests standards (axe des y, environ 80–100 %) aux métriques de robustesse (axe des x) pour des modèles entraînés avec trois optimiseurs : SGD (étoiles bleues), RMSProp (losanges verts) et Adam (cercles rouges). Sept ensembles de données sont représentés sur les trois graphiques : MNIST, SVHN, FashionMNIST, Imagenette, CIFAR10, Caltech101 et CIFAR100, classés par ordre décroissant de précision. Le graphique de gauche mesure la précision sous perturbations gaussiennes (axe des x, 40–90 %). Le graphique du milieu mesure la précision sous attaques bornées en ℓ₂ (axe des x, 50–85 %). Le graphique de droite mesure la précision sous attaques bornées en ℓ∞ (axe des x, 30–70 %). Sur les trois graphiques et pour tous les ensembles de données, les valeurs de l'axe des ordonnées sont très proches, quel que soit l'optimiseur, ce qui indique une précision de test standard comparable. Cependant, les positions sur l'axe des abscisses des trois optimiseurs divergent sensiblement pour chaque ensemble de données, révélant des différences significatives de robustesse. La légende précise que si la précision de test est semblable pour tous les algorithmes d'entraînement, il existe une différence notable de robustesse.
Figure 1 : Comparaison entre les modèles entraînés avec SGD, Adam et RMSProp. Les modèles entraînés par différents algorithmes présentent une précision de test similaire, mais une différence notable de robustesse est observée.

On commence par comparer les modèles entraînés avec SGD, Adam et RMSProp. Le résultat est présenté à la figure 1. Deux critères sont à retenir : premièrement, les trois courbes sont alignées sur le même axe des ordonnées, ce qui indique la précision du modèle sur l’ensemble de test standard ; deuxièmement, les trois axes des abscisses représentent la précision du modèle face à différentes perturbations des données d’entrée. Les modèles entraînés avec SGD, Adam et RMSProp sont respectivement marqués d'une étoile, d'un cercle et d'un losange. Chaque triplet de couleurs correspond à des modèles entraînés sur le même ensemble de données.

Il y a un petit écart vertical entre chaque triplet, ce qui montre que les modèles ont des performances de généralisation standard similaires malgré le fait qu'ils aient été entraînés par des algorithmes différents. 

En revanche, quel que soit le type de perturbation, l'écart horizontal est important, l'étoile se situant toujours à l'extrême droite. Cela indique que les modèles entraînés par SGD sont nettement plus robustes face aux perturbations. Des résultats semblables peuvent être observés avec des transformateurs de vision ou d'autres modalités de données.

Pourquoi les modèles se comportent-ils différemment lorsqu'il y a des perturbations ?

Pour comprendre ce phénomène, nous l'étudions à travers une analyse fréquentielle. Nous constatons d'abord que les ensembles de données naturels contiennent des fréquences qui n'ont pas d'impact significatif sur les performances de généralisation standard des modèles. Mais voici le paradoxe : avec certains optimiseurs, ce type d'information non pertinente peut en réalité fragiliser le modèle. Plus précisément, notre affirmation principale est la suivante :

Pour optimiser l'objectif d'apprentissage standard, les modèles doivent seulement apprendre à utiliser correctement les informations pertinentes contenues dans les données. Cependant, leur utilisation des informations non pertinentes est insuffisamment encadrée et peut mener à des solutions sensibles aux perturbations.

C'est pourquoi, en injectant des perturbations dans des parties du signal contenant des informations non pertinentes, on observe que les modèles entraînés par différents algorithmes présentent des changements de performance très différents.

Observation I : Fréquences non pertinentes dans les signaux naturels

Pour démontrer l'existence de fréquences non pertinentes lors de l'entraînement d'un classificateur de réseau neuronal, nous considérons une tâche d'apprentissage supervisé, en supprimant les informations non pertinentes des données d'entrée d'entraînement, puis en évaluant les performances du modèle à l'aide des données de test originales.

Figure 2. Deux graphiques linéaires illustrant la précision sur l'ensemble de test original (axe des y, environ 80–100 %) en fonction de p, le pourcentage de bases DCT supprimées (axe des x, 0–90 %), pour sept ensembles de données : MNIST, FashionMNIST, CIFAR10, CIFAR100, SVHN, Caltech101 et Imagenette. Le graphique de gauche supprime les bases DCT en fonction de leur amplitude (faible énergie spectrale) et celui de droite en fonction de leur fréquence (hautes fréquences). Sur le graphique de gauche, la précision reste globalement stable pour tous les ensembles de données lorsque p augmente de 0 à 90, avec une baisse modeste même pour des taux de suppression élevés, ce qui indique que les composantes de basse énergie présentent peu d'apport significatif. Sur le graphique de droite, la précision reste également relativement élevée pour les valeurs faibles à moyennes de p, mais diminue plus sensiblement pour les valeurs élevées, notamment pour les jeux de données comme Imagenette et Caltech101. MNIST conserve une précision quasi parfaite sur les deux graphiques, quelle que soit la valeur de p. La légende indique que ces résultats démontrent l'existence de fréquences non pertinentes dans les données naturelles, la précision des tests demeurant élevée même lorsque des portions importantes du signal de fréquence sont supprimées.
Figure 2 : Les données naturelles contiennent des fréquences non pertinentes. La précision sur l'ensemble de test original reste élevée lorsque les entrées d'entraînement sont modifiées en supprimant les parties du signal présentant une faible énergie spectrale (à gauche) et des hautes fréquences (à droite).

Lorsque nous modifions les données d'entraînement en supprimant les parties du signal présentant une faible énergie (figure 2, à gauche) ou une fréquence élevée (figure 2, à droite), nous constatons que cela n'affecte pas significativement la précision des modèles sur l'ensemble de test initial. Ceci suggère la présence d'une quantité considérable d'informations non pertinentes du point de vue d'un réseau de neurones.

Cette observation nous amène à la première partie de notre affirmation : les modèles n’ont besoin d’apprendre qu’à utiliser correctement les informations cruciales définissant la classe, issues des données d’entraînement, pour optimiser la fonction objectif. En revanche, l'utilisation des informations non pertinentes dans les données est mal contrôlée. Cela peut être problématique et mener à des solutions sensibles aux perturbations.

Observation II : Robustesse du modèle le long des fréquences non pertinentes

Intéressons-nous maintenant à la deuxième partie de l'affirmation. Si la différence de robustesse des modèles s'explique par leur réponse aux perturbations sur les fréquences non pertinentes, on devrait observer une baisse de précision similaire entre les modèles lorsque les perturbations se produisent sur les fréquences pertinentes, mais une baisse de précision beaucoup plus importante pour les modèles les moins robustes lorsque les données de test sont perturbées sur les fréquences non pertinentes.

Figure 3. Deux graphiques linéaires illustrant la variation de précision sous l'effet de perturbations gaussiennes à bande limitée (axe des ordonnées, exprimé en pourcentage, allant d'environ 0 à -12 %) en fonction de la bande de fréquence perturbée r (axe des abscisses, de 0 à 8) pour trois optimiseurs : SGD (bleu), Adam (orange) et RMSProp (vert). Le graphique de gauche présente les résultats pour CIFAR100 et celui de droite pour Imagenette. Sur les deux graphiques, les trois optimiseurs présentent de faibles variations de précision négatives similaires à la bande de fréquence la plus basse (r = 0), ce qui indique une sensibilité comparable aux perturbations de basse fréquence. Lorsque r augmente vers les bandes de fréquence plus élevées, les trois courbes divergent sensiblement. Sur le graphique CIFAR100, SGD affiche la baisse de précision la plus marquée aux bandes de fréquences plus élevées, atteignant environ -12 %, tandis qu'Adam et RMSProp sont moins sensibles et suivent des trajectoires plus douces. Le graphique Imagenette montre une divergence similaire entre les trois optimiseurs aux bandes de fréquence plus élevées, mais avec des amplitudes différentes. La légende indique que si les perturbations à basse fréquence affectent tous les modèles de manière similaire, les réponses des modèles varient considérablement lorsque les perturbations se concentrent sur des bandes de fréquences plus élevées.
Figure 3 : Effet des perturbations gaussiennes à bande limitée sur les modèles entraînés avec SGD, Adam et RMSProp. Les perturbations de la bande la plus basse ont un effet similaire sur tous les modèles, tandis que les réponses de ces derniers varient significativement lorsque la perturbation se concentre sur les bandes de fréquences plus élevées.

Cela nous amène à notre expérience suivante. La figure 3 illustre la dégradation de la précision de la classification sous l'effet de différents bruits gaussiens à bande limitée sur les bases de données CIFAR100 et Imagenette. On constate que la perturbation provenant de la bande la plus basse a un impact similaire sur tous les modèles, peu importe l'algorithme utilisé pour leur entraînement. On observe cependant une différence notable dans la façon dont les modèles entraînés par SGD et par les méthodes de gradient adaptatif réagissent aux perturbations provenant des bandes de fréquences plus élevées.

Cette observation montre que lorsque les modèles, lors de leur phase d'entraînement, ne disposent pas de mécanismes pour limiter leur utilisation des fréquences non pertinentes, leurs performances peuvent être compromises si les données relatives aux fréquences non pertinentes sont corrompues au moment du test.

Analyse de régression linéaire avec un modèle surparamétré

Outre les études empiriques, nous analysons théoriquement la dynamique d'apprentissage de la descente de gradient (GD) et de la descente de gradient de signe (signGD), une version sans mémoire d'Adam et de RMSProp, à l'aide de modèles linéaires. Nous présentons brièvement le contexte du problème et résumons les principaux résultats. Pour plus de détails, on réfère le lecteur à notre article. 

Nous nous concentrons sur la régression par les moindres carrés et comparons les risques standard et adverses des solutions asymptotiques obtenues par GD et signGD. Motivés par nos observations précédentes, nous concevons un jeu de données synthétiques qui imite les propriétés d'un jeu de données naturel en spécifiant des fréquences non pertinentes pour la génération de la cible réelle. Nous nous intéressons particulièrement au risque standard.

Une équation définissant le risque standard. L'expression se lit comme suit : ℛ<sub>s</sub> de w, défini comme égal à l'espérance du carré de la valeur absolue de w<sub>transposé</sub>(X - Y). Dans cette expression, ℛ<sub>s</sub> désigne le risque standard, w est le vecteur de pondération, X est l'entrée et Y est l'étiquette.

et le risque adverse sous des perturbations bornées par la norme l2 :

Une équation définissant le risque adverse. L'expression se lit comme suit : ℛ<sub>a</sub> de w, défini comme égal à l'espérance du maximum, pour tous les Δx où la norme ℓ₂ de Δx est inférieure ou égale à ε, de la valeur absolue de la transposée de w multipliée par la quantité (X + Δx - Y)². Dans cette expression, ℛ<sub>a</sub> désigne le risque adverse, w est le vecteur de poids, Δx est une perturbation adverse bornée par ε en norme ℓ₂, X est l'entrée et Y est l'étiquette.

Nos principaux résultats sont de trois ordres.

1. Les renseignements non pertinents mènent à de multiples minimiseurs de risque standard. Pour un minimiseur quelconque, on peut obtenir son risque adverse comme suit :

Une équation exprimant le risque adverse sous forme analytique aux poids optimaux. L'expression est la suivante : ℛ<sub>a</sub> de w* est égal à ε²/2, multiplié par la norme ℓ₂ de w* au carré. Dans cette expression, w* désigne le vecteur de poids optimal, ε est la borne de perturbation adverse et la norme ℓ₂ au carré de w* mesure la sensibilité du modèle aux perturbations adverses.

Cela signifie que la robustesse des modèles face aux changements bornés par la norme l2 est inversement proportionnelle à la norme de pondération des paramètres du modèle : une norme de pondération plus petite implique une meilleure robustesse.

2. Avec un taux d'apprentissage suffisamment faible, le risque standard des solutions obtenues par GD et signGD peut être proche de 0.

3. Considérons un espace d'entrée tridimensionnel. Le rapport entre le risque adverse de la solution GD et de la solution signGD est toujours supérieur à 1 :

Une inégalité comparant le risque d'attaque d'un modèle entraîné par descente de gradient signée à celui d'un modèle entraîné par descente de gradient standard. L'expression est la suivante : le rapport de ℛ<sub>a</sub> de w<sub>signGD</sub> à ℛ<sub>a</sub> de w<sub>GD</sub> est strictement supérieur à 1 + C. Dans cette expression, w<sub>signGD</sub> désigne les poids entraînés par descente de gradient signée, w<sub>GD</sub> désigne les poids entraînés par descente de gradient standard, ℛ<sub>a</sub> désigne le risque d'attaque et C est une constante positive. L'inégalité stipule que la descente de gradient signée produit un modèle dont le risque d'attaque est strictement supérieur à celui de la descente de gradient standard d'au moins C.

où C>0 et sa valeur dépend de l'initialisation du poids et de la covariance des données.

Les deux derniers résultats sont particulièrement importants. Ils apportent des éclairages qui contribuent à expliquer les phénomènes observés à la figure 1, notamment les niveaux similaires de généralisation standard entre les modèles et les variations de leur robustesse. Ces derniers résultats soulignent que le modèle linéaire tridimensionnel obtenu par GD présente systématiquement une plus grande robustesse face à la variabilité inter-modèles. ℓ₂perturbations bornées en norme - par rapport au modèle obtenu à partir de signGD.

Lien entre la norme des modèles linéaires et la lipschitzianité des réseaux neuronaux

Les premiers résultats de l'analyse linéaire montrent que, pour les minimiseurs de risque standard, sa robustesse contre ℓ₂ La perturbation est proportionnelle à son poids. Pour généraliser ce résultat dans le contexte de l'apprentissage profond, nous établissons un lien entre la norme du poids et la lipschitzianité des réseaux de neurones.

Considérons le réseau neuronal à propagation directe comme une série de compositions de fonctions :

Une équation définissant un réseau de neurones à propagation avant comme une composition de fonctions. L'expression s'écrit : f(x) = la composition des fonctions φ<sub>l</sub>, φ<sub>l-1</sub> à φ<sub>1</sub> appliquées à x. Le symbole ∘ désigne la composition de fonctions et les indices indexent chaque couche de 1 à l, où l est le nombre total de couches.

où chaque φ est une opération linéaire, une fonction d'activation ou une opération de regroupement. On remarque la constante de Lipschitz de la fonction f comme L(f) nous pouvons établir une borne supérieure sur la constante de Lipschitz pour l'ensemble du réseau neuronal à propagation directe en utilisant.

Une inégalité établit une borne supérieure pour la constante de Lipschitz d'un réseau de neurones à propagation avant. L'expression est la suivante : L<sub>f</sub> ≤ l ≤ L<sub>φ<sub>i</sub></sub>, pour i allant de 1 à l. Dans cette expression, L<sub>f</sub> est la constante de Lipschitz du réseau complet, l est le nombre total de couches et L<sub>φ<sub>i</sub></sub> est la constante de Lipschitz de la i-ème couche. L'inégalité stipule que la constante de Lipschitz globale du réseau est majorée par le produit des constantes de Lipschitz de chaque couche.

L'approximation de la lipschitzianité des composants d'un réseau de neurones, tels que les convolutions et les connexions résiduelles, dépend souvent de la norme des poids. Cette méthode permet d'établir un lien entre la norme des poids d'un réseau neuronal et sa robustesse. Essentiellement, une norme de poids plus faible implique une borne supérieure plus petite pour la constante de Lipschitz, ce qui indique que les modèles sont moins sensibles aux perturbations.

Le tableau 1 compare la borne supérieure de la constante de Lipschitz et la précision robuste moyenne des réseaux de neurones sur sept ensembles de données (MNIST, Fashion, CIFAR10, CIFAR100, SVHN, Caltech101 et Imagenette) pour trois optimiseurs : SGD, Adam et RMSProp. Le tableau comporte deux groupes de lignes. Le premier groupe présente la borne supérieure de la constante de Lipschitz, exprimée comme le produit de L(φᵢ) pour i = 1 à l. Valeurs pour SGD : 3,83, 3,83, 26,81, 40,41, 22,65, 18,53, 23,99. Valeurs pour Adam : 5,75, 8,12, 28,70, 41,87, 30,45, 26,20, 28,55. Valeurs RMSProp : 6,21 ; 5,11 ; 37,75 ; 41,71 ; 28,31 ; 45,84 ; 27,11. Le deuxième groupe présente une précision robuste moyenne. SGD : 77,97 % ; 77,95 % ; 63,21 % ; 55,65 % ; 69,08 % ; 71,42 % ; 67,59 %. Adam : 65,64 % ; 67,60 % ; 57,71 % ; 45,25 % ; 65,60 % ; 55,03 % ; 58,86 %. RMSProp : 63,54 %, 71,34 %, 56,47 %, 47,55 %, 65,37 %, 53,16 %, 57,98 %. Sur l'ensemble des ensembles de données, SGD produit systématiquement la plus petite borne supérieure de la constante de Lipschitz et la meilleure précision robuste moyenne par rapport à Adam et RMSProp, comme indiqué dans la légende.
Tableau 1 : Comparaison de la borne supérieure de la constante de Lipschitz et de la précision robuste moyenne des réseaux de neurones. On constate que, sur l’ensemble des ensembles de données sélectionnés, les modèles entraînés par SGD présentent une limite supérieure nettement inférieure à celle des modèles entraînés par Adam et RMSProp.

Les résultats du tableau 1 démontrent que les réseaux neuronaux entraînés par SGD ont des constantes de Lipschitz considérablement plus petites, ce qui explique leur meilleure robustesse aux perturbations d'entrée par rapport à ceux entraînés avec des méthodes de gradient adaptatives, comme le montre la figure 1.

Nos travaux soulignent l'importance du choix de l'optimiseur pour garantir à la fois la généralisation et la robustesse. Cette découverte contribue non seulement à une meilleure compréhension de la robustesse des réseaux de neurones, mais oriente également les recherches futures vers le développement de stratégies d'optimisation qui maintiennent une précision élevée tout en étant résistantes aux perturbations des données d'entrée, ouvrant ainsi la voie à des applications d'apprentissage automatique plus sûres et plus fiables.

Lié: