ALGORITMI E PRODOTTI PER STIMARE I CAMBIAMENTI NELL’USO/COPERTURA DEL SUOLO (CON FOCUS SUL CONSUMO DI SUOLO) TRAMITE DATI OTTICI E RADAR (VHR-HR)

Guido Pasquariello, Annarita D’Addabbo

Istituto per il Rilevamento Elettromagnetico dell’Ambiente, Consiglio Nazionale delle Ricerche (CNR-IREA), Bari

Obiettivi del tema di ricerca

L’analisi di immagini telerilevate ad altissima risoluzione richiede l’utilizzo di informazioni relative al contesto spaziale, oltre a quelle spettrali, poiché pixel contigui non possono essere considerati indipendenti.

 Seguendo questa idea, sono stati recentemente proposti alcuni algoritmi di Change Detection per immagini ad altissima risoluzione (VHR), che sfruttano il contesto spaziale di un pixel [1-3]. D’altra parte, il framework basato su Deep Learning (DL) è particolarmente adatto per estrarre dalle immagini informazioni di alto livello che sono efficaci per l’individuazione di oggetti in un’immagine.

Le architetture DL più popolari si basano su reti neurali convoluzionali (CNN), architetture multistrato con un numero enorme di parametri da apprendere nella fase di addestramento, fase che richiede molto tempo e l’utilizzo di molti esempi etichettati. Per superare questo problema, una soluzione è adottare un approccio di transfer learning, basato sull’utilizzo di una CNN pre-addestrata (cioè una CNN addestrata su un database di immagini “standard” molto ampio).

Materiali e Metodi

L’approccio proposto al problema del Change Detection per due immagini VHR (I1 e I2), è riassunto nel seguente schema:

Figura 1: Schema di Change Detection (CD) proposto.

Modello di pre-addestramento

Sono stati considerati diversi modelli di CNN, come AlexNet, VGG Networks e ResNet [4]. Tutti i test sperimentali sono stati effettuati utilizzando AlexNet, una CNN creata nel 2012 da Krizhevsky et al. (2012) [5]. L’input di AlexNet è un’immagine RGB con dimensioni 227×227 pixel. In particolare, siamo interessati ai “layer” convoluzionali (in AlexNet ci sono 5 “layer”), che sono utilizzati per calcolare le caratteristiche di ogni immagine VHR.

Analisi delle mappe di Change Detection

In questo esperimento abbiamo usato solo il primo “layer” convoluzionale conv1 (96 kernel 11x11x3 con stride 4). Le mappe delle “feature” Fi, i=1,2, sono state ottenute dalla convoluzione dell’immagine originale Ii con conv1:

                                               (Eq. 1)

Dove Fi è un’immagine a 96 bande. Per apprezzare il cambiamento nella posizione (x,y), dovuto alla “feature” K, abbiamo introdotto: la differenza DFk(x,y):

                   (Eq. 2)

e la differenza normalizzata (ND) misurata rispetto alla “feature” K:

                                (Eq. 3)

Dove

sono la media e la deviazione standard del campione per le variabili DFk(x,y), calcolate per ogni punto  (x,y) all’interno delle immagini. In una scena in cui la maggior parte dei pixel  non cambia,si può assumere che la funzione di densità di probabilità di NDFk sia una gaussiana normalizzata con media 0 e deviazione standard 1. In questo caso, all’interno di un dato intervallo di confidenza, possiamo assumere che nella posizione (x,y), rispetto alla caratteristica K, sia presente un cambiamento se il valore assoluto di NDFk è maggiore di una soglia “th”. Dato un valore soglia “th”, abbiamo infine introdotto l’indice di cambiamento globale CI(x,y,th), riferito ad una posizione (x,y), come somma di tutte le caratteristiche “nk” (nel nostro caso nk=96):

                        (Eq. 4)

Dati, Risultati e Discussione

Data set

Il dataset utilizzato per questo tema di ricerca consiste in una coppia di immagini aeree RGB VHR di LeicaADS80, ortorettificate e coregistrate, caratterizzate da una risoluzione spaziale di 50 cm. Queste sono state acquisite rispettivamente nel luglio 2015 (I1) e nel luglio 2017 (I2) sull’area di Fiumicino.

Area test 1: zona urbana

Applicando i metodi descritti in precedenza abbiamo ottenuto la mappa di CI per la zona urbana (Fig.2). In questa mappa i valori di CI risultano essere all’interno dell’intervallo [0,4] e a valori più alti di CI corrisponde una maggiore probabilità di cambiamento. La percentuale di pixel con CI=0 (nessun cambiamento) è più del 96.2%; i pixel con CI=1 (bassa probabilità di cambiamento) sono il 3.1%. I pixel rimanenti caratterizzano quelle zone in cui il cambiamento è probabile (CI=2: 0.5%; CI=3: 0.2%; CI=4: 0.1%). La validazione della mappa CI per i pixel relativi ad un probabile cambiamento (CI ≥ 2) si è basata su osservazioni visive, su base qualitativa.

Figura 2: Mappa di CI: Blu: CI=1; Verde: CI=2; Rosso: CI=3, Bianco: CI=4.

Area test 2: zona costiera

Per un’analisi più quantitativa, abbiamo scelto di applicare l’approccio proposto su un’area più estesa, che va a coprire l’interfaccia tra terra e mare (zona costiera). Nelle figure 3A e 3B, sono mostrate rispettivamente l’immagine a colori reali al tempo T1 (luglio 2015) e al tempo T2 (luglio 2017). Nella figura 3C, è mostrata invece la mappa del cambiamento (CI) corrispondente.

In quest’ultima mappa, i valori di CI risultano essere all’interno dell’intervallo [0,4] e a valori più alti di CI corrisponde una maggiore probabilità di cambiamento. La percentuale di pixel con CI=0 (nessun cambiamento) è più del 96.7%; i pixel con CI=1 (bassa probabilità di cambiamento) sono il 2.3%. I pixel con CI ≥ 1 sono candidati a rappresentare un probabile cambiamento. Sulla mappa CI, abbiamo selezionato 22 punti di verifica (VP), corrispondenti a quei pixel rappresentanti un probabile cambiamento (CI ≥ 1). La validazione si è basata anche in questo caso su osservazioni visive per ciascuno dei punti di verifica (VP). 20 VP sembrano corrispondere a cambiamenti reali sul terreno, mentre i restanti 2 sembrano corrispondere a differenze generate da condizioni di illuminazione.

Figura 3: A: zona costiera al T1 (luglio 2015); B: zona costiera al T2 (luglio 2017); C: mappa di cambiamento (dal 2015 al 2017). Blu: CI=1; Verde: CI=2; Rosso: CI=3, Bianco: CI=4. ⊕: posizione dei punti di verifica (VP).

Possibili sviluppi futuri

Saranno condotti ulteriori studi considerando altre architetture di tipo DL e differenti  metodologie per confrontare le features selezionate..

Pubblicazioni e Presentazioni

  • A.D’Addabbo, G. Pasquariello, A.Amodio, “Urban change detection from VHR images via deep-features exploitation”, ICICT 2021, London, 25-26 February 2021.

Bibliografia

  1. Thonfeld, F., H. Feilhauer, M. Braun, G. Menz, (2016). Robust change vector analysis (RCVA) for multi-sensor very high-resolution optical satellite data. Int. J. Appl. Earth Observ. Geoinf., 50, 131-140.
  2. Bovolo, F. (2009). A multilevel parcel-based approach to change detection in very high resolution multi-temporal images. IEEE Geosci. Remote Sens. Lett., 6(1), 33-37.
  3. Falco, N., Dalla Mura, M., Bovolo, F., Benediktsson, J.A., Bruzzone, L. (2012). Change detection in VHR images based on morphological attribute profiles. IEEE Geoscience and Remote Sensing Letters, 10(3), 636-640.
  4. Zhu X.X., D. Tuia, L. Mou, G. Song Xia, L. Zhang, F. Xu, F. Fraundorfer, (2017). Deep Learning in Remote Sensing, IEEE Geosci and Remote Sensing Magazine, 8-36.
  5. Krizhevsky, A., I. Sutskever, G. Hinton, (2012). Imagenet classification with deep convolutional neural networks. in Proc. Advances in Neural Information Processing Systems (NIPS). 1097-1115.