Apprentissage profond pour l'extraction de l'empreinte des bâtiments dans les images aériennes

12 octobre 2022

Parmi les contributeurs de Vector, on retrouve : John Jewell, Shihao Ma et Deval Pandya.

Avec la disponibilité croissante d'images satellitaires à haute résolution dans les secteurs public et privé, de nombreuses applications utiles exploitant ces données voient le jour. L'extraction de l'emprise au sol des bâtiments sur les images satellitaires est un élément essentiel de nombreuses applications en aval, comme l'aide humanitaire et la gestion des catastrophes. 

Ce travail propose une étude comparative des méthodes d'extraction de l'emprise au sol des bâtiments dans les images satellites, basées sur l'apprentissage profond.

Qu'est-ce que la segmentation sémantique ?

La segmentation sémantique est une sous-catégorie de la segmentation d'images où les pixels sont regroupés selon leur classe. Elle joue un rôle crucial dans de nombreuses applications telles que la conduite autonome (voitures ou trains autonomes, par exemple), l'analyse géospatiale (extraction de l'emprise au sol des bâtiments, par exemple) et la segmentation d'images médicales (détection de marqueurs biomédicaux, par exemple). L'objectif de la segmentation sémantique est d'attribuer une classe à chaque pixel d'une image, partitionnant ainsi les pixels en groupes selon le type d'objet. En raison de la grande dimensionnalité des espaces d'entrée et de sortie, la segmentation sémantique a longtemps constitué un défi majeur en vision par ordinateur [2]. Heureusement, les récentes approches d'apprentissage profond supervisé ont permis d'obtenir des performances robustes en segmentation sémantique sur divers ensembles de données de référence exigeants [3]. Ces approches utilisent de vastes ensembles de données d'images avec leurs étiquettes pixel par pixel pour entraîner des réseaux de neurones. Les paramètres du modèle sont mis à jour itérativement afin de minimiser une fonction de perte différentiable qui caractérise la différence entre les prédictions et les étiquettes. Lors de l'inférence, de nouveaux échantillons sont fournis au réseau, qui produit une carte de segmentation avec la même résolution spatiale que l'image d'entrée, encodant l'étiquette de chaque pixel. 

Extraction de l'empreinte du bâtiment

Inspirés par les performances impressionnantes des modèles de segmentation sémantique, d'importants efforts ont été déployés pour appliquer le succès des méthodes de segmentation sémantique basées sur l'apprentissage profond à l'extraction de l'emprise au sol des bâtiments. L'extraction de l'emprise au sol des bâtiments est un cas particulier de segmentation sémantique qui consiste à segmenter l'emprise au sol des bâtiments dans les images satellites. 

Ensemble de données

L'ensemble de données SpaceNet Building Detection V2 [1] sert de référence pour évaluer différentes approches dans cette étude. Cet ensemble de données contient des images satellite haute résolution et leurs étiquettes correspondantes, qui précisent l'emplacement des bâtiments. Il comprend 302 701 étiquettes de bâtiments tirées de 10 593 images satellites multispectrales de Las Vegas, Paris, Shanghai et Khartoum. Ces étiquettes binaires indiquent si chaque pixel représente un bâtiment ou l'arrière-plan, comme illustré à la figure 1.

Méthodes explorées

Les quatre approches de segmentation sémantique étudiées sont : U-Net [3], U-Net++ [7], les réseaux entièrement convolutionnels (FCN) [5] et DeepLabv3 [10]. Ces architectures sont représentées à la figure 2. Pour FCN et DeepLabv3, deux variantes d’architecture avec des réseaux de base différents (Resnet-50 et Resnet-100) sont incluses. Au total, six approches sont donc évaluées pour l’extraction de l’emprise au sol des bâtiments dans des images aériennes.

U-Net : U-Net est une architecture encodeur-décodeur pour la segmentation sémantique. L'encodeur utilise un chemin de contraction pour capturer le contexte, tandis que le décodeur utilise un chemin d'expansion pour une localisation précise [3]. Les connexions résiduelles copient les cartes de caractéristiques de l'encodeur vers les couches du décodeur au même niveau de la hiérarchie de résolution spatiale. Cela permet la transmission d'informations de haut niveau qui pourraient être perdues dans la sortie de faible dimension de l'encodeur [3].

U-Net++ : U-Net++ est une architecture encodeur-décodeur pour la segmentation sémantique qui s'appuie sur U-Net en reliant l'encodeur et le décodeur par une série de chemins de saut denses et imbriqués. Ces chemins de saut repensés visent à réduire l'écart sémantique entre les cartes de caractéristiques des sous-réseaux de l'encodeur et du décodeur [7]. Comparé à l'architecture U-Net, U-Net++ possède non seulement des connexions directes ou indirectes entre les couches de sous-échantillonnage et de suréchantillonnage, mais aussi des connexions convolutionnelles, permettant ainsi de transmettre davantage de caractéristiques aux couches de suréchantillonnage.

FCN : FCN transforme des images d'entrée de taille arbitraire en cartes sémantiques prédites à l'aide de couches convolutionnelles seulement [5]. Les couches de suréchantillonnage intégrées au réseau permettent d'effectuer des prédictions pixel par pixel en augmentant la résolution spatiale des caractéristiques générées par le réseau de base jusqu'à la hauteur et la largeur de la sortie. Une fois suréchantillonnées, les informations sémantiques issues des cartes de caractéristiques basse résolution sont combinées aux informations d'apparence issues des cartes de caractéristiques haute résolution pour produire des segmentations précises. Dans la section Expérimentations, les performances de FCN utilisant un réseau de base ResNet-50 (FCN-50) et ResNet-101 (FCN-101) sont comparées. Les réseaux de base sont préentraînés sur l'ensemble de données de segmentation sémantique COCO train2017 [22] et affinés pour l'extraction de l'emprise au sol des bâtiments.

DeepLabv3 : DeepLabv3 est une architecture encodeur-décodeur pour la segmentation sémantique qui exploite des filtres convolutionnels dilatés afin d'accroître le champ réceptif du réseau et d'éviter un sous-échantillonnage excessif [10]. Un module de regroupement spatial pyramidal est utilisé pour capturer le contexte à plusieurs résolutions, ce qui facilite la localisation d'objets de tailles différentes. Les couches convolutionnelles standards sont décomposées en convolutions séparables en profondeur, suivies de convolutions point par point. Cela réduit considérablement le nombre d'opérations en virgule flottante par couche convolutionnelle tout en préservant l'expressivité du réseau. Les deux variantes de DeepLabv3, avec un réseau de base ResNet-50 (DLV3-50) et un réseau de base ResNet-101 (DLV3-101), sont comparées dans la section Expérimentations. Les réseaux de base sont préentraînés sur l'ensemble de données de segmentation sémantique COCO train2017 [22] et affinés pour l'extraction de l'emprise des bâtiments.

Résultats

L'intersection sur l'union, comme l'illustre la figure 3, est une mesure d'évaluation utilisée pour mesurer la précision d'un détecteur d'objets sur un ensemble de données particulier. 

En examinant cette équation, on constate que l'Intersection sur Union est simplement un rapport. Au numérateur, on calcule l'aire de chevauchement entre le rectangle englobant prédit et le rectangle englobant réel. Le dénominateur correspond à l'aire de l'union, c'est-à-dire l'aire totale délimitée par les deux rectangles. En divisant l'aire de chevauchement par l'aire de l'union, on obtient le résultat final : l'Intersection sur Union (IoU).

L'IoU de chaque méthode sur l'ensemble de test est présenté dans le tableau 1. DLV3-101 obtient les meilleures performances avec un IoU de 0,7734, suivi de près par DLV3-50, FCN-50 et FCN-101. U-Net et U-Net++ sont comparativement moins performants avec des IoU respectifs de 0,5644 et 0,6554. Cet écart de performance s'explique par le fait que FCN-50, FCN-101, DLV3-50 et DLV3-100 bénéficient d'un préentraînement, contrairement à U-Net et U-Net++. Cet écart est également visible à la figure 4, qui illustre les pertes d'entraînement et de validation de chaque méthode au fil des époques. Les méthodes préentraînées obtiennent de meilleures performances sur les ensembles d'entraînement et de validation dès le début de l'entraînement. La perte de validation se stabilise après seulement quelques époques, ce qui indique que l'entraînement est terminé et qu'il faut l'interrompre prématurément pour éviter le surapprentissage. D'ailleurs, les modèles U-Net et U-Net++ présentent des pertes d'entraînement et de validation qui diminuent constamment pendant l'entraînement. Cela souligne que les modèles qui exploitent le préentraînement convergent plus rapidement vers l'ensemble optimal de paramètres, tout en offrant de meilleures performances.

Les résultats qualitatifs sont présentés dans la figure 5, qui illustre un exemple d'image d'entrée, l'étiquette de vérité terrain et la carte sémantique prédite pour chaque méthode. La qualité des prédictions reflète les résultats quantitatifs, et les performances globales sont impressionnantes. Les méthodes sont capables de générer des cartes sémantiques précises dans des scènes riches en emprises de bâtiments. De plus, les cartes sémantiques prédites dans des scènes pauvres en emprises de bâtiments sont robustes aux faux positifs, même en présence de routes, de stationnements ou d'autres structures. Une analyse préliminaire de l'importance de l'architecture du modèle, conditionnée par le préentraînement, donne des résultats intéressants. Les performances des méthodes utilisant le préentraînement sont similaires, même pour différentes architectures et réseaux de base. En revanche, pour les méthodes n'utilisant pas le pré-entraînement, U-Net++ surpasse largement U-Net. Bien que cela nécessite des expériences supplémentaires pour être validé, une hypothèse est que l'architecture du modèle devient moins pertinente à mesure que le préentraînement augmente.

Conclusion

Dans cette étude, nous avons entraîné et évalué plusieurs modèles de segmentation sémantique de pointe à l'aide de l'ensemble de données SpaceNet, notamment U-Net, UNet++, FCN et DeepLabv3. Nos résultats ont montré que DeepLabv3, avec une architecture ResNet-101, est l'approche la plus précise pour l'extraction d'emprises de bâtiments parmi les modèles étudiés. Les modèles ayant bénéficié d'un préentraînement (FCN-50, FCN-101, DLV3-50 et DLV3-101) atteignent une précision supérieure et nécessitent un entraînement minimal par rapport aux modèles sans pré-entraînement (U-Net et UNet++). Cette étude suggère que l'apprentissage par transfert est une technique pertinente pour l'extraction d'emprises de bâtiments à partir d'images satellites.

Ressources

[1] Un ensemble de données de télédétection et une série de défis.

[2] Segmentation d'images par apprentissage profond : une étude

[3] U-net : Réseaux convolutionnels pour la segmentation d'images biomédicales.

[5] Réseaux entièrement convolutionnels pour la segmentation sémantique.

[7] Unet++ : Une architecture u-net imbriquée pour la segmentation d'images médicales

[10] Repenser la convolution à trous pour la segmentation sémantique d'images.

[12] Apprentissage résiduel profond pour la reconnaissance d'images.

[15] Réseaux neuronaux convolutifs entièrement résiduels pour la segmentation d'images aériennes.

[22] Microsoft coco : Objets communs en contexte.