2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
Çok Bantlı Sayım Dönüşümü Temelli
Hiperspektral Değişim Algılama
Hyperspectral Change Detection Based on
Multi-Band Census Transform
Davut Çeşmeci, Ali Can Karaca, Alp Ertürk, Mehmet Kemal Güllü, Sarp Ertürk
Kocaeli Üniversitesi İşaret ve Görüntü İşleme Laboratuvarı (KULIS)
Kocaeli Üniversitesi
Kocaeli, Türkiye
{davutcsmc,[email protected],{alp.erturk,kemalg,[email protected]
Özetçe—Değişim algılama, farklı zamanlarda elde edilen
görüntüler arasında meydana gelen değişimlerin ortaya
çıkartılmasını amaçlamaktadır. Hiperspektral görüntüler, sahip
oldukları yüksek spektral çözünürlük sayesinde değişim algılama
uygulamalarında diğer görüntüleme sistemlerine göre daha
güvenilir sonuçların elde edilmesini sağlamaktadır. Bu
çalışmada, geliştirilen sistem ile alınan panoramik hiperspektral
görüntüler üzerinde değişim algılama için Çok-Bantlı Sayım
Dönüşümü (ÇBSD) önerilmektedir. Yapılan deneysel çalışmalar
sonucunda, önerilen yöntemin değişim algılama başarımını
arttırdığı gösterilmiştir.
Anahtar Kelimeler — Değişim
görüntüler, sayım dönüşümü.
algılama,
hiperspektral
Abstract—Change detection aims to detect the differences
occurring between images of the same scene taken at different
times. Hyperspectral images, due to their high spectral
resolution, provide more reliable results for change detection
applications with respect to other imaging systems. In this paper,
Multi-band Census Transform (MCT) is proposed for change
detection for hyperspectral images. Experimental results show
that the proposed method improves change detection
performance.
Keywords— Census transform, change detection, hyperspectral
images.
I. GİRİŞ
Aynı hedef bölgeden farklı zamanlarda elde edilen
görüntüler arasındaki farklılıkların belirlenmesi işlemi değişim
algılama olarak adlandırılmaktadır. Değişim algılama
işlemlerinin, uzaktan algılama[1], medikal tanı ve tedavi[2],
kentsel yapılanma[3], askeri uygulamalar[4] gibi birçok alanda
kullanımı mevcuttur. Değişim etkisi, bir nesnenin hareketi,
sahneye eklenmesi, çıkarılması veya farklılaşması (mevsimsel
değişimler vb..) durumlarında oluşmaktadır ve ilgili piksellerin
spektral değerlerinde farklılaşmaya neden olmaktadır. Bu
nedenle, yüksek spektral çözünürlüğe sahip hiperspektral
görüntülerden değişim bölgeleri daha başarılı şekilde tespit
edilebilmektedir.
978-1-4799-4874-1/14/$31.00 ©2014 IEEE
1910
Veri kümeleri arasındaki hizalama sıkıntısı, algılayıcıların
karakteristiklerindeki farklılıklar, kalibrasyon uyumsuzluğu,
mevsimsel değişimler, bakış açısı gibi etkenler sebebiyle,
değişim algılama oldukça zorlu bir problem haline
gelebilmektedir[5,6]. Literatürde, değişim algılama amacıyla
önerilen birçok yaklaşım bulunmaktadır. Pikseller arasındaki
spektral uzaklık bilgisini kullanarak değişim algılama [7]'de
önerilmiştir. Öklid uzaklığı ve spektral açısal uzaklık (Spectral
Angular Distance -SAD) [8] sık kullanılan uzaklık
ölçütlerindendir. Yaygın kullanıma sahip 'Chronochrome' (CC)
yaklaşımı [9]'da önerilmiştir. CC yaklaşımı, farklı zamanlarda
elde edilen görüntülerin, doğrusal bir dönüşüm işlemi ile
birbirlerine dönüştürülebileceklerini varsaymaktadır. CC
yaklaşımının yapısından kaynaklanan hizalama hassasiyetinin
azaltılması amacıyla ortak-değişinti eşitleme (covariance
equalization - CE) yöntemi [10]'de önerilmektedir.
Bu çalışmada, Sayım Dönüşümü [11] temelli değişim
algılama yönteminin kullanılması önerilmektedir. Kullanılan
görüntülerin spektral bant sayısı birden fazla olduğu için, ÇokBantlı Sayım Dönüşümü (ÇBSD) olarak adlandırılmıştır.
Hiperspektral görüntü piksellerinin her spektral bandı için
sayım kod dizileri üretilmektedir. Spektral piksel değeri yerine,
uzamsal komşuluk ilişkisini de dikkate alan kod dizilerinin
kullanılmasıyla, değişim algılama başarımı arttırılmaktadır.
Bu çalışmanın devamı şu şekilde hazırlanmıştır. Bölüm
2'de,
kullanılan
hiperspektral
görüntüleme
sistemi
anlatılmaktadır. Bölüm 3'de önerilen ÇBSD yaklaşımı
açıklanmaktadır. Bölüm 4'de deneysel sonuçlar verilmekte ve
değerlendirilmektedir. Son olarak, yapılan çalışma ile elde
edilen vargılar bölüm 5'de belirtilmektedir.
II. HİPERSPEKTRAL GÖRÜNTÜLEME SİSTEMİ
Kullanılan donanımsal yapı, döner platform üzerine
sabitlenmiş, 2 adet hiperspektral kameradan oluşmaktadır.
Sistem yapısı stereo görüntü alınmasına imkan sağlamaktadır.
Ancak bu çalışma kapsamında sadece bir kamera kullanılarak,
panoramik hiperspektral görüntüler
elde edilmiştir.
Hiperspektral
kamera,
CCD
kamera,
görüntüleme
spektrometresi ve kullanım alanına göre seçilmiş kamera lensi
olmak üzere 3 parçadan oluşmaktadır.
2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
Sistem, spektral uzayda, 400-1000 nm dalga boyu
aralığında 2,8 nm spektral adımlarda, 8 bit derinlik hassasiyeti
ile görüntüleme yapmaktadır. Gigabit ethernet veri yolu ile 200
fps hızında görüntü alınabilmektedir. CCD kameralar
1312×1082
tam
çözünürlüğünde
görüntü
alımını
desteklemektedir. Bu çalışmada, saniyede alınan görüntü
sayısının arttırılması için çözünürlük 496× 385 piksele
düşürülmüştür.
arasındaki Hamming uzaklıkları hesaplanmaktadır (3). Uzaklık
değeri, belirlenen eşik değerinden küçük ise 'değişim yok' (0),
yüksek ise 'değişim var' (1) olarak işaretlenmektedir. Eşik
değeri kullanıcı tarafından belirlenmektedir.
III. ÇOK BANTLI SAYIM DÖNÜŞÜMÜ
Sayım dönüşüm işlemi, bir merkez pikselinin kendi
komşuluğundaki
pikseller
ile
karşılaştırılmasıyla
gerçekleştirilmektedir [11]. Blok içindeki pikseller, merkez
pikselinden büyük ise 0, küçük ise 1 ile işaretlenmektedir. 0 ve
1 den oluşan ikili (binary) dizi, ilgili merkez pikselini
tanımlayan kod vektörüdür. Sayım dönüşümü sonrasında
pikseller arasındaki uzaklık, pikselleri tanımlayan kod
vektörleri arasındaki farklılık gösteren bit sayısına bakan
Hamming uzaklık ölçütü ile hesaplanmaktadır.
Çok bantlı görüntüler için sayım dönüşüm işleminin
uyarlanması bu çalışmada özgün olarak gerçekleştirilmiştir.
Hiperspektral piksellerin her bir spektral bandı için sayım
dönüşüm işlemi ile kod dizinleri oluşturulmaktadır. Sonuç
olarak, ilgili pikseller spektral bant sayısı kadar genlik değeri
ile değil, ilgili pikselin komşuluk ilişkilerini de saklayan kod
dizisi ile temsil edilmektedir. Önerilen yöntem görüntüler
arasında çapraz piksel-blok yapısını kullanmaktadır. Yani, her
piksel bulunduğu görüntüdeki komşulukları ile değil, diğer
görüntüdeki ilgili koordinatta bulunan piksel ve bu pikselin
komşuluklarıyla (kod bloğu) karşılaştırılarak sayım kod dizileri
üretilmektedir. Çapraz piksel-blok yapısı Şekil 1'de
örneklenmektedir. 'Görüntü1' ve 'Görüntü2' olarak adlandırılan
spektral bantlar üzerinden merkez pikselleri (m1,m2) ve piksel
komşuluklarını
gösteren
bloklar
(Blok1,Blok2)
belirlenmektedir. ÇBSD işlemi m1 ile Blok2 ve m2 ile Blok1
arasında gerçekleştirilerek kod dizileri üretilmektedir. Kod
dizileri arasındaki Hamming uzaklığı, değişim oranını
vermektedir. Çapraz ÇBSD işlemini tanımlayan eşitlikler
sırasıyla (1) ve (2)’de verilmektedir.
Şekil 1. Çapraz piksel-blok yapısında sayım dönüşüm algoritması
IV. DENEYSEL SONUÇLAR
Hiperspektral görüntüleme sistemi ile 2 adet veri seti
oluşturulmuştur. Her veri seti içerisinde, aralarında farklılıklar
bulunan 2 adet panoramik hiperspektral görüntü
bulunmaktadır. Veri setini oluşturan görüntüler aynı gün
içerisinde edinilmiş ve ilk görüntü için tarama işlemi
gerçekleştirildikten sonra, hedef bölgeye farklı spektral
karakteristikte nesneler yerleştirilerek ikinci görüntü alımı
gerçekleştirilmiştir. Her iki veri setine ait görüntülerin RGB
görselleri Şekil 2(a), Şekil 2(b) ve Şekil 3(a), Şekil 3(b)'de
gösterilmektedir.
Değişim nesnesi olarak, üç ayak (tripod) üzerine
yerleştirilmiş, dama tahtası örüntülü metal plaka ve insanlar
kullanılmıştır. İlk veri setinin ikinci görüntüsünde, sisteme
yakın bir noktaya dama tahtası nesnesi, görüntünün sağında ve
daha uzak bir noktada ise insan konumlandırılmıştır. İkinci veri
setinin ikinci görüntüsünde, dama tahtası nesnesi uzak bir
noktaya yerleştirilirken, sisteme daha yakın ama gölge
içerisinde, insana ait bir kısım konumlandırılmıştır. Değişim
nesnelerinin konumlarını gösteren mutlak doğru değişim
haritaları sırasıyla Şekil 2(c) ve Şekil 3(c)'de gösterilmektedir.
Verilen eşitliklerde I ilgili görüntüyü, t görüntülerin elde
edilme sırasını, N hiperspektral verideki spektral bant sayısını,
Wc sayım kodu üretiminde kullanılacak blok boyutunu, 
simgesi ikili etiketleri birleştirerek vektör oluşumunu sağlayan
işlemi ve (x,y) satır ve sütun indislerini tanımlamaktadır. ÇBSD
× boyutundaki ikili vektör ile
sonrasında her bir piksel
tanımlanmaktadır. Her iki hiperspektral görüntü için sayım
dönüşümü gerçekleştirildikten sonra, karşılıklı sayım kodları
N
ÇBCD ( x, y )  
(WC 1) / 2
(WC 1) / 2


k 1 j   (WC 1) / 2 i   (WC 1) / 2
0, if
 n, m  : 
1, if
 I t 1 ( x, y , k ), I t ( x  i , y  j , k )
n  m

n  m
Cost ( x, y )  Hamming ÇBCD1 ( x, y ), ÇBCD2 ( x, y ) 
1911
(1)
(2)
(3)
2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
(a)
(b)
(c)
Şekil 2. İlk veri seti için görseller, (a) ilk hiperspektral verisi, RGB görseli, b) ikinci hiperspektral verisi, RGB görseli, c) mutlak doğru değişim
haritası
(a)
(b)
(c)
Şekil 3. İkinci veri seti için görseller, (a) ilk hiperspektral verisi, RGB görseli, b) ikinci hiperspektral verisi, RGB görseli, c) mutlak doğru değişim
haritası
İlk veri setinde bulunan hiperspektral görüntülerin uzamsal
çözünürlüğü 496×1275 boyutlarında, ikinci veri setinde
bulunan görüntülerin uzamsal çözünürlüğü ise 496×1277
boyutlarındadır ve 385 adet spektral bant içermektedirler.
Görüntüler alınırken, sistemin bulunduğu konum
sabitlendiğinden dolayı, görüntüler arasındaki kayma miktarı
piksel altı seviyelerde kalmaktadır ve bu nedenle ayrıca bir
hizalama önişlemine gerek duyulmamıştır.
Sayım kodlarının üretilmesi aşamasında kullanılan blok
boyutu 5 olarak seçilmiştir. Önerilen yöntem, SAD temelli
uzaklık hesabı ve CC yaklaşımları ile karşılaştırılmıştır. SAD
temelli değişim algılama, iki görüntüye ait piksellerin birebir
karşılaştırılması ile gerçekleştirilmektedir. CC yaklaşımında,
görüntüler arasındaki doğrusal geçiş matrisi, öz ortak-değişinti
(auto-covariance) matrisi ile çapraz ortak-değişinti (crosscovariance) matrisi kullanılarak hesaplanmaktadır. Görüntüler
arası geçişi tanımlayan eşitlikler (4) ve (5)’de verilmektedir.
Iˆt 1  A.I t  b
(4)
A  Ct 1,t .Ct,1t
(5)
Görüntüler arasında hizalama problemi bulunmadığı için,
doğrusal geçiş aşamasında çapraz ortak-değişinti matrisinin
kullanılması sorun oluşturmamaktadır. Kestirilen görüntü ile
hedef görüntü arasındaki mutlak fark değerlerine göre değişim
bölgelerine aşağıdaki şekilde karar verilmektedir (6).
N
 Iˆt 1 ( x, y , i )  I t ( x, y , i )  th
i 1
Değişim algılamada amaç, hedef değişim bölgelerinin tespit
edilmesinin yanında, hatalı değişim oranının da düşük
tutulmasıdır. Bu nedenle, her iki bilgiyi de bünyesinde
barındıran Alıcı İşletim Karakteristik (Receiver Operating
Characteristic - ROC) eğrileri [12]çıkartılmıştır. ROC
grafiğinin yatay ekseni, değişimsiz elemanlar içerisinden
değişimli olarak etiketlenenlerin oranını (yanlış pozitif oranı),
dikey ekseni ise değişim elemanları içerisinden doğru tespit
oranını temsil etmektedir (duyarlılık). Farklı eşik değerleri için
hesaplanan doğru pozitif oran ve yanlış pozitif oran değerleri
kullanılarak ROC grafiği oluşturulmaktadır. Başarılı bir
yöntemin yanlış pozitif oranı düşük, doğru pozitif oran
değerinin yüksek olması beklendiğinden, ilgili grafiğin sol-üst
eksen koordinatına doğru yakınlaşması gerekmektedir. Her iki
veri kümesi için elde edilen ROC grafikleri Şekil 4'de
verilmektedir.
ROC grafikleri incelendiğinde, her iki veri seti için,
kullanılan yöntemlerin oldukça yüksek başarım verdikleri
görülmektedir.
(4) eşitliğinde, A dönüşüm matrisini, b gürültü etkisini, ( ̂ )
ise kestirilen görüntüyü temsil etmektedir. (5) eşitliğinde, C
ilgili görüntüler arasında hesaplanan ortak-değişinti matrisini,
(-1) üstel ifadesi ise matris tersini göstermektedir.

1,
B x, y   
0,
(6) eşitliğinde, B değişim haritasını, th kullanıcı tarafından
seçilen eşik değerini, i ise spektral bant indisini göstermektedir.
(6)
aksi halde
1912
Bu başarım yüksekliğinin sebebi, veri setini oluşturan
görüntülerde hizalama sorununun bulunmaması ve aynı gün
içinde alındıkları için zamansal değişimlerin (mevsimsel ve
gün içindeki değişimler) çok az olmasıdır. Aynı zamanda,
sahne içine yerleştirilen hedef nesnelerinin spektral imzaları
yeterince yüksek ayırt ediciliğe sahiptir. ROC grafiklerine daha
yakından bakıldığında, ÇBSD yönteminin her iki veri seti için
de, diğer yöntemlerden daha yüksek başarım sağladığı
görülmektedir. Yani, piksel değerleri yanında, piksellerin
komşuluk ilişkilerini de dikkate alan yöntem ile daha yüksek
başarım elde edilmiştir.
2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
(a)
(b)
Şekil 4. (a) İlk veri seti için hesaplanan ROC grafikleri, b) ikinci veri seti için hesaplanan ROC grafikleri
Kullanılan yöntemler, Intel ® Xeon (R) CPU E5-2667, 2.9
GHz, 50GB RAM donanımlı bilgisayarlarda, MATLAB
ortamında test edilmiştir. Bu şartlar altında yöntemlerin
ortalama zamansal tüketim değerleri Tablo 1'de verilmektedir.
ÇBSD yaklaşımı, her piksel için, spektral bant sayısı kadar kod
dizini üretmesi gerektiği için karşılaştırılan yöntemlere göre
zamansal tüketimi daha fazla olmaktadır.
Tablo 1. Yöntemlerin zamansal tüketim değerleri
Yöntem
SAD
CC
Zamansal Tüketim (saniye)
71
111
ÇBSD
263
V. SONUÇ
Bu çalışmada, hiperspektral değişim algılama için spektral
piksel değerleri yanında, uzamsal komşuluk ilişkisini de
dikkate alan çok bantlı sayım dönüşümü yöntemi
önerilmektedir.
Geliştirilen
panoramik
hiperspektral
görüntüleme sistemi ile elde edilen görüntüler üzerinde
değişim tespit yöntemleri test edilmiş ve spektral bilginin
katkısıyla yüksek başarım değerleri elde edilmiş ve önerilen
yöntemin diğer yöntemlerden daha iyi tespit sonuçları elde
ettiği gösterilmiştir. ÇBSD yöntemi ile diğer yöntemlere göre
daha yüksek başarım değerleri elde edilmiştir.
Sonraki
çalışmalarda,
endüstriyel/savunma
sanayi
uygulamalarına yönelik verileri de içerecek şekilde değişim
algılama için daha geniş hiperspektral görüntü kümesi
oluşturularak
çalışmaların
sürdürülmesi
ve
stereo
görüntülerden elde edilecek derinlik bilgisinin de değişim
algılamada kullanılması planlanmaktadır.
KAYNAKÇA
[1] Bruzzone, L., Prieto, D. F., “An adaptive semiparametric and
context-based approach to unsupervised change detection in
1913
multitemporal remote-sensing images,” IEEE Trans. Image
Processing, vol. 11, no. 4, pp. 452–466, April 2002.
[2] Lemieux, L., Wieshmann, U., Moran, N., Fish, D., Shorvon, S.,
“The detection and significance of subtle changes in mixedsignal brain lesions by serial MRI scan matching and spatial
normalization,” Medical Image Analysis, vol. 2, no. 3, pp. 227–
242, 1998
[3] Nagy, G., Zhang, T., Franklin, W., Landis, E., Nagy, E., Keane,
D., “Volume and surface area distributions of cracks in
concrete,” in Visual Form 2001 (Springer LNCS 2059), 2001,
pp. 759–768
[4] Hazel, G.G., "Object-Level Change Detection in Spectral
Imagery", IEEE Transactions on Geoscience and Remote
Sensing, 39, pp. 553-561, 2001
[5] Meola, J., Eismann, M. T., “Image misregistration effects on
hyperspectral change detection,” in Proc. SPIE, vol. 6966, 2008.
[6] Schaum, A., Stocker, A., “Hyperspectral change detection and
supervised matched filtering based on covariance equalization,”
in Proc. SPIE, vol. 5425, pp. 77-90, 2004.
[7] de Carvalho, O. A., Guimares, R. F., Gomes, R. A. T., “Spectral
change detection,” in IEEE Int. Geoscience and Remote Sensing
Symp., IGARSS 2007, pp. 1935–1938, 2007.
[8] Lark, R., “A reappraisal of unsupervised classification, 1:
correspondence between spectral and conceptual classes”,
International Journal of Remote Sensing, Vol. 16, No. 8, pp.
1425-1443, 1995
[9] Schaum, A., and Stocker, A., “Long-interval chronochrome
target detection”, Proc. 1997 International Symposium on
Spectral Sensing Research, 1998
[10] Schaum, A., Stocker, A., "Linear Chromodynamics Models for
Hyperspectral Target Detection," IEEE Aerospace Conference,
IEEE, Feb. 2003
[11] Zabih, R., Woodfill, J., “A non-parametric approach to visual
correspondence”. IEEE Transactions on Pattern Analysis and
Machine Intelligence, 1996
[12] Bolle, R., Connell, J., Pankanti, S., Ratha, N., and Senior. A.,
Guide to Biometrics, Springer, New York, 2004.
Download

Çok Bantlı Sayım Dönüşümü Temelli Hiperspektral Değişim