Görüntü Eşleştirme ve Teknikleri
• Fotogrametri ve uzaktan algılamada görüntü
eşleştirme, değişik veri setleri arasındaki uygunluğun
kurulması olarak tarif edilebilir. Veri setleri görüntüler
olabileceği gibi, harita veya obje modelleri ve CBS
verisi olabilmektedir.
• Bir başka ifade ile eşleştirme, bindirmeli iki yada daha
fazla görüntü üzerindeki eşlenik noktaların otomatik
olarak tanımlanması ve ölçülmesi işlemidir.
• Analog fotogrametride:
eşleştirme yapar.
Manuel
olarak
operator
• Dijital fotogrametride: Sistem otomatik olarak çalışır.
Görüntü Eşleştirme
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 1
Amaç ve uygulama alanları
• Dijital görüntü eşleştirmenin amacı, operatör desteksiz
otomatik olarak görüntüleri işlemektir. Gri değer
yamaları (patches), noktalar (points), kenarlar (edges)
ve bölgeler (regions) gibi temel varlıkların iki yada
daha fazla görüntü üzerinden otomatik olarak
belirlenmesidir.
• Uygulama Alanları:
– Görüntü yöneltme
– Yüzey yeniden oluşturma
– Ardışık görüntü analizi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 2
IRS (Indian RS Satelitte) görüntü eşleştirmesi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 3
Terminoloji - Tanımlar
Görüntü eşleştirme:
stereo-eşleştirme
görüntü korelasyonu
uyumluluk yada uygunluk problemi
Eşlenik varlık (Conjugate entity):
obje detayları görüntüleri (points, lines, regions)
Eşleştirme varlığı (Matching entity)
Benzerlik ölçüsü:
eşleştirilecek varlıkların birbiri ile ne kadar uyumlu
olduğunun ölçüsü
Eşleştirme Metodu:
eşleştirilen varlıkların benzerlik ölçüsünün
gerçekleştirimi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 4
Eşleştirme metotları - varlıklar
Eşleştirme Metodu
Benzerlik ölçüsü
Eşleştirilen varlıklar
Yoğunluk yada alan Korelasyon, en
tabanlı
küçük kareler
Gri değerler
Nesne tabanlı
Kenarlar, bölgeler
uygunluk
fonksiyonu
Sembolik (İlişkisel)
uygunluk
fonksiyonu
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sembolik
tanımlama
Sayfa 5
Görüntü eşleştirme adımları
1. Birinci görüntüde eşleşme varlığının seçimi
2.
Bu varlığın diğer görüntü/lerdeki eşleğinin
aranması
3.
Varlığın obje uzayında 3 boyutlu yerleşiminin
hesaplanması
4.
24.05.2014
Eşleştirmenin kalitesinin irdelenmesi
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 6
Eşleştirme stratejileri
• Yoğunluk tabanlı eşleştirme: (fotogrametri)
korelasyon
en küçük kareler eşleşmesi
• Nesne (detay) tabanlı eşleştirme: (computer vision,
fotogrametri)
kenar eşleştirme
region matching
• Diğer eşleştirme metotları:
ilişkisel (sembolik)
template
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 7
Yoğunluk tabanlı eşleştirme
• İki görüntüdeki benzerlikler belirlenir.
• Eşleştirme varlığı gri düzeydir.
• Görüntü parçası, 1. görüntüden çıkarılır ve 2.
görüntüde uygun eşleşme bulununcaya kadar
arama yapılır.
• İki şekilde benzerlik ölçüsü yapılır:
– Korelasyon
– En küçük kareler eşleştirmesi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 8
Yoğunluk tabanlı eşleştirme
Görüntü 1
Eşlenik
pikseller
24.05.2014
Görüntü 2
Görüntü
Parçası (template)
Fotogrametri II- Doç. Dr. Fevzi Karslı
Arama penceresi
Search window
Sayfa 9
Örnek eşleşmeler
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 10
Nokta Korelasyonu
 LR
  x, y  
 L R
Nokta Korelasyon Katsayısı:
  g x , y   g 
2
L 
i
j
L
i
j
L
R 
mn  1
 LR
  g x , y   g 
2
i
j
R
i
j
R
mn  1
g x , y   g g x , y   g 



i
j
L
i
j
L
R
i
j
R
nm  1
1: iyi korelasyon,
-1: kötü korelasyon,
0: korelasyon yok
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 11
1-D korelasyon
255
0

template
1
0
-1
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 12
2-D (görüntü) korelasyon
maximum 
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 13
Maximum ’nun bulunması
Maximum 
Korelasyon katsayısı, 
• Maximum korelasyon
piksellerin karşılıklı
bulunmasını
gerektirmez.
• Eğri üzerinde
maximum korelasyon
katsayısını gösteren
nokta esastır.
Piksel adresleri
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 14
1 D en küçük kareler eşleştirme
I2
I1
I1(x)
x
I2(X)
X
Geometrik transformasyon: X = Tg(x)
Radiometrik transformasyon: I1 = Tr(I2)
Ölçek ve ötelemeli lineer model:
I1(x) = r1I2(X) + r2 &
X = a 1x + a2
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 15
1 D en küçük kareler eşleştirme
I1
yaklaşık
geometrik
transformasyon
I2
Yoğunluk farkları min.:
Sonuç: 6 geometrik parametere,
2 radyometrik parametere, bulunur.
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 16
Korelasyon & EKK
• Görüntü korelasyonu
– ~ 0.1 piksel doğruluğu
– geometrik farlılıklar olmamalı
– hızlı
• En küçük kareler eşleştirmesi
– ~ 0.1 piksel doğruluğu
– geometrik farklılıklar modellenir
– yavaş
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 17
Nesne tabanlı eşleştirme
• Gri değerler obje için düşük düzeyde ise
yoğunluk tabanlı eşleştirme uygun değildir
• Dolayısıyla, nesne tabanlı eşleştirme
kullanılır
• Nesneler (Detaylar): noktalar, çizgiler,
bölgeler
• Avantajları:
– Düşük düzeyde belirsizlik söz konusu
– Yüksek düşeyde başarı ve kestirim sağlar.
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 18
Nesne tabanlı eşleştirme
• Nokta detay eşleştirme
– İlgili operatör (high pass filter, Moravec operator, Förstner operator
kullanılarak nokta detayların çıkarılması
– Bu detayların yoğunluk tabanlı eşleştirme ile eşleştirilmesi
• Lineer (kenar) detay eşleştirme
– Çizgi çıkarma veya kenar belirleme ile kenarların tespiti (1. ve 2.
türev ile kenar belirleme, çizgi çıkarma (e.g. Hough
transformasyon)
– Kenar piksellerin bire bir yada tüm kenarın eşleştirilmesi
• Alan (bölge) detay eşleşmesi
– Görüntü yama yada parçalarının segmentasyon yada eşikleme
gibi yöntemlerle ile çıkarılması (thresholding, segmentasyon,
sınıflandırma, vb.)
– Bu parçaların eşleştirilmesi.
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 19
Nokta detay eşleştirme
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 20
Kenar belirleme
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 21
Çizgi (kenar) eşleştirme
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 22
Yama/Bölge (Patch) belirleme
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 23
Temel eşleştirme problemleri
• Kötü pozlanma problemi (çözülmesi güç)
• Araştırma uzayı problemi (sınırlı olmalı)
• Eşleşme varlığının benzersizliği
• Eşleşme varlıklarının geometirk
distorsiyonları
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 24
Geometrik distorsiyon (bozulma)- dist. yok ise..
C'
C''
P'
P''
P
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 25
Ölçek farklılığı
C''
P'
P''
C'
P
24.05.2014
Görüntü pencereleri içindeki pikseller
eşleşemezler.
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 26
Açısal distorsiyon
Uçuş yönü 
x- ekseni
dönüklüğü
24.05.2014
y- ekseni
dönüklüğü
Fotogrametri II- Doç. Dr. Fevzi Karslı
z- ekseni
dönüklüğü
Sayfa 27
Arazi eğimi
C'
C''
P'
P''
P
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 28
Yüzey distorsiyonu
C'
24.05.2014
C''
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 29
Eşleştirme şartları (sınırlamalar)
• Geometrik sınırlama:
– epipolar çizgiler
• Görüntü normalizasyonu
• Görüntü Piramitleri
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 30
Epipolar geometri
P
P' e'
C'
e''
P''
C''
• Epipolar düzlem, iki
projeksiyon merkezi ve
ilgili obje noktasının
oluşturduğu düzlemdir.
• Epipolar çizgiler ise, bu
düzlemin resim düzlemi
ile oluşturdukları
arakesittir.
• Eşlenik noktalar, eşlenik
epipolar çizgiler üzerinde
olmalıdır.
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 31
Epipolar geometri
• Epipolar çizgilerin kullanımı araştırma penceresi
boyutunu düşürür.
• Epipolar çizgiler genellikle x eksenine paralel
değillerdir.
• Bu yüzden, görüntüler epipolar çizgileri birbirine
paralel olacak şekilde transformasyona tabi
tutulurlar. Bu işleme görüntü normalizasyonu
denir.
 Görüntü normalizasyonu
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 32
Görüntü normalizasyonu
Orijinal görüntü
24.05.2014
Epipolar geometri ile normalize
edilmiş görüntü
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 33
Görüntü normalizasyonu
1. İç ve dış yöneltme
elemanları bilinmelidir.
2. Görüntü orijinal
konumundan gerçek
düşey konuma dönüklük
matrisi transpozesi (RT )
ile transfer edilir.
3. Gerçek düşey
pozisyondan normalize
edilmiş konuma dönüşüm,
bazın döndürülmesi ile
gerçekleşir.

C2
BZ
C1
BX

Z
Y
X
24.05.2014
BY
Fotogrametri II- Doç. Dr. Fevzi Karslı
P
Sayfa 34
Görüntü normalizasyonu
BX  X c  X c
BZ  Z c  Z c
 BZ
  arctan 
 BX

BY  Yc Yc




BZ
C1
BX

    


BY
  arctan 
 B 2B 2
Z
 X

C2
BY
2

1
2





Z
Rb = RRR
Rn = Rb
Y
RT
X
P
Normalize görüntü dönüklük
matrisi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 35
Görüntü piramidi
• Piksel boyutunu büyüterek
araştırma penceresi
küçültülür.
• Kötü çözünürlükten iyi
çözünürlüğe doğru kademe
kademe eşleştirme.
• Eşleştirme her aşamada
yada düzeyde tabandaki
düzeye kadar yapılır.
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 36
Görüntü piramidi
24.05.2014
Fotogrametri II- Doç. Dr. Fevzi Karslı
Sayfa 37
Download

Görüntü Eşleştirme ve Teknikleri