Görüntü Analizi
https://www.google.com.tr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&
ved=0CBwQFjAA&url=http%3A%2F%2Fctmtc.utcluj.ro%3A8080%2Fsites%2Fpni%2FCour
se%2FENG%2520%2528EA%2C%2520TST%2529%2520%2520Conf.dr.ing.%2520M.%2520Gordan%2FCap8_Mihaela_Engleza.ppt&ei=bvYiVee9AZ
PVaom_gaAJ&usg=AFQjCNEfdCasVygYox9kC9Ya9l9ZqaauQ&sig2=_zOAwt9jBsMD3mNcin4BGQ&bvm=bv.89947451,d.d2s
Görüntü Analizi
GÖRÜNTÜ ANALİZİ VE DESEN TANIMA
Özellik çıkartma:
- mekansal özellik çıkartma
- dönüşüm temelli özellik çıkartma
- kenar yakalama
Sınırları ile temsil edilen objeler:
- kontur çıkartma
- kontur tanımlayıcılar
Bölgeleri ile temsil edilen objeler:
- bölge çıkartma
- bölge tanımlama
Bölge temelli obje belirleme için şekil ve doku:
- obje iskeleti
- binary morfoloji
- şekil tanımlayıcılar
Dokular, doku analizi
Görüntü bölütleme
Gri düzey/ renk bazlı bölütleme
Bağlı bileşenler analizi
Kontur-temelli bölütleme
Bölge-temelli bölütleme
Karışık teknikler
Introduction
In p u t
gö rü n tü
Ö n -işlem e
V eri an alizi
O b je
çıkartm a
O b je çıkartm a
b ö lü tlem e
A n a liz
so n u cu
S ın ıflan d ırm a;
tan ım lam a
Im age an alysis
Im age u n d erstan d in g
Se m b o lik
gö ste rim
Görüntü analiz diyagramı
Plaka tanıma
yo ru m lam a &
tan ?m lam a
Yazı bulma
Trafik işaret tanıma
Kalsit konum belirleme
Doku analizi
Obje üzerindeki kusurların bulunması
Görüntü analizi için iki yaklaşım söz konusudur
- BASİT YAKLAŞIM: Tüm görüntü içeriği analiz edilir => tüm içerik içinden ilgili bilgi elde
edilir/Karmaşık hesaplamalar gerektirir ve hesaplama zamanı uzundur
- YETENEKLİ YAKLAŞIM: Doğrudan araştırılan bilgi/objenin bulunduğu görüntü alanına
odaklanılır, bilgi/obje çıkartılır.
Nasıl?
1)
İlgilenilen bilginin temel karakteristikleri tanımlanır Ayırt edici özellikler
tanımlanır
Örneğin elma görüntüsünde sadece bozulmuş alanlarla ilgileniliyor olsun. Bozulmuş alanlar
daha koyu gri tondadır fakat siyah değildir. Eşik değer ile binarized edilerek bu alanlar
bölütlenebilir
New feature space
2)
İlgilenilen alandaki bilginin analizi: Daha önce elde edilen özellik
uzayı/özellik haritası kullanılarak gerçekleştirilir (Elma örneğinde
bozulmuş alanın oranının hesaplanması gibi-örn. %2 bozulmuş alan gibi)
Özellik çıkartma:
Mekansal özellikler çeşitli olabilir:
•Özelliklerin yoğunlukları belirli bir bölgeyi tanımlayabilir
Renklendirme ile
doku analizi
Böylelikle alan,şekil, vb
özellikler
•Özelliklerin yoğunluğu, onların diğer dokulardan ayırt edilmelerine olanak sağlıyorsa
kullanılabilir. Bunun için:
=> obje çıkartma için en doğru parametrelerin belirlenmesi gerekir-çok zordur
=> Her zaman ilgilenilen bölgenin bölütlenmesi olanaklı olmayabilir. Bunun yerine
görüntüdeki istenmeyen alanların bölütlenmesi de aynı sonucu verir.
• Histogram temelli özellikler:
Lokal histogram = görüntünün lokal istatistiksel olarak tanımlanması
Eşik değer penceresi
lokal histogram ile doku analizi
In put
görün tü
Ileri dön üsüm
v( k,l )
x
v  ( k,l )
m aske
g(k,l)
Özellik çıkartma
In verse dön üsüm u  (m ,n)
Köşeözelliklerin çıkartılması, köşe yakalama
g (m , n ) =
(u , H ) m ,n 

i
h ( i , j ) u ( i  m , j  n )  u ( m , n )  h (  m , n )
g 
h 1 (-m ,-n)
2
 g  tan
1 
g
 2
 g
 1
g 2 (m ,n )
E şik değer
B o yut
2
g1  g 2
u(m ,n)
h 2 (-m ,-n)
 g (m , n ) = a rc tg
j
g 1 (m ,n )




Kö şe
1
g(m ,n)
0
yakalam a
t
D o ğrultu
 g(m ,n)
Gradyent operatörleri ile köşe yakalama
1
0
1
H1   2
0
2,
1
0
1
 0
H1  
 1
1
,
0
H2 
1
2
1
0
0
0
1
2
1
1
H2  
0
2
0 

 1
(8.5)
(8.6)
2
g 1 (m , n ) + g 2 (m , n )
g 2 (m , n )
g 1 (m , n )
u (m ,n )
g k (m ,n )
h k (m ,n )
grad ien t g (m ,n )
M a x{1  1 }
K öşe boy utu,
E şik değ er
k
kö şe
yakalam a
Çekirdek matrisler ile köşe yakalama
1
1
1
1
2
1
1
5
1
3
1
5
0
3
3
a
 1

 0
  1
1
0
1
1
0
1
S
3
1
1
1
1
2
1
0
0
0
0
0
0
3
1
b
1 

0 
 1
1

1
 0
N
 1

0

 1
5
1
 1

1

 0
1
c
1
0
1
0 

 1
 1
1

1
1
NW
 1

0

1 
1
1
0
1
SE
2
1
d
0
0
0
 1

 1
 1
0

1
 1
W
0

1

1 
 1

1

  1
0
0
0
E
1
0
1
 1

 1
0 
SW
1

1

1
 0

1

  1
1
0
1
NE
1

1

0 
gk(m,n) –yöne bağlı gradyentk0,...,7,

k


 k
2

,
4
The gradient in the spatial position (m,n) is defined as:
g ( m , n ) = m ax { g k ( m , n ) }
k
Laplace operatörü ve zero-crossings köşe lokalizasyon yöntemi:
 f
2
 f 
2
 0

(1)  1

 0
1
4
1
x
2
2

0 
 1


 1 (2)  1


0 
  1
 y
2
1
8
1
 1
 1


 1 (3)  2


 1 
 1
2
4
2
d
2
dx
a
1 

2

1 
Ç ift ko ntur
E şik d eğer
df
dx
f(x)
 f
f
2
b
c
1B köşe yakalama
Laplace:
h(m , n) 
1
2 
2
2
2

m  n
exp  
2

2





Z ero
cro ssing
The Laplacian of Gaussian operator (LoG)
Gauss filtresi
Çekirdek matris:
2
2
2
2


(m  n ) 
m  n

h ( m , n )  c 1 
 exp 
2
2

2

2





Gauss un türevi




2. türev
(Laplacian of Gaussian)
Edge detection by different operators – comparison:
Original görüntü
Roberts
Köşe detektörü
Sobel köşe detectörü
LoG köşe detektörü
Sigma=10
LoG köşe detektörü; sigma=5
Objelerin sınırlarının elde edilmesi:
Kontur çıkartma:
1
C
B
A
A
4
2
3
a)
b)
c)
4-komşuluk; 8-komşuluk
The Hough transform: s  x  sin   y  cos   s  x  cos   y  s in 
y
s
s
θ
x
Φ
Doğru ve eğrilerin Hough dönüşümü:
s
s
Yatay eksende eğrinin yakınsaması=>
Düz çizgi
s
Yaklaşık yakınsama=>
yaklaşık düz çizgi
Yakınsama noktası yok=>
Noktalar aynı doğru üzerinde
değildir
Doğru parçaları yardımı ile kontur çıkartma
Köşe yakalama
(gradient
operator)
Hough transform:
+ eşik değer
=> Binary görüntü
Üçgenin
konturları
Input görüntü
Sol alt obje=
3 doğrunun kesim noktası
ile tanımlanır
8-komşulukdoğru işaretleme
8 komşulukla
kontur çıkartma
4-komşuluk:
İşaretlemede
boşluklar oluşabili
Kontur tanımlayıcılar:
• Amaçl: konturu ile verilen bir obje için doğru tanımlamanın yapılması :
-Kontur kayıpsız olarak elde edilir (regenerative descriptors)
-Konturun şeklinin ölçek, dönüklük, öteleme, ayna tersliği, perspektif diatorsiyonundan
etkilenmeyen tanımlarının üretilmesi
Kontur tanımlayıcılar şablon eşlem ile şekli veya şekil sınıflandırıcılar olabilir (contour
descriptors classification)
• Genel varsayım: obje kontur kalınlığı 1 pikseldir
Zincir kodları ve poligonal yaklaşım
D
2
3
C
1
4
B
5
C
3
A
D
4
A
0
6
2
E
5
7
6
H
7
F
a)
E
1
0
G
B
b)
Start point
Konturun 8-komşulukla
elde edilmesi,
Original konturr
kontur yaklaşımı(“quantization”)
on a rectangular grid
Fourier tanımlayıcılar:
u(n)  x(n)  j  y(n)
u (n) 
pentru
n  0,1,...,N  1
1 N 1
 j 2  kn 
,0  n  N  1
 a ( k )exp 
N k 0
N


N 1
  j 2  kn 
a ( k )   u ( n )exp 
,0  n  N  1
N


n0
u0  x 0  j y 0
Ax  By  C  0
yeni konturx'(n) y'(n), given by:
u ' ( n )  u * ( n )e
 
Table 8.1
Dönüşüm
Benzerlik
Öteleme
Ölçek
Orijin
Dönüklük
Simetri
Doğru çizgi
 ( A  jB ) C
A B
2
2
,
Dönüştürülmüs Kontur
j 2
 2
exp ( j 2  ) 
 ( A  jB )
A B
2
2
2
Fourier tanımlayıcılar
u(n)
u'(n)u(n)u0
u'(n)u(n)
u'(n)u(n-n0)
u'(n)u(n)ej0
a(k)
a'(k)a(k) u0(k)
a'(k)a(k)
a'(k)a(k)e-j2n0k/N
a'(k)a'(k)ej0
u'(n)u*(n)ej202
a'(k)a*(-k)ej22(k)
Fourier tanımlayıcı ile şekil rekonstrüksiyonu:
Orijinal
İlk 2 tanımlayıcının kullanımı ile
yeniden oluşturma
İlk 6 tanımlayıcının kullanımı ile
yeniden oluşturma
…
İlk 10tanımlayıcının kullanımı ile
yeniden oluşturma
İlk 20 tanımlayıcının kullanımı ile
yeniden oluşturma
2
 N 1
j
d ( u 0 ,  ,  0 , n 0 )  m in   u ( n )   v ( n  n 0 ) e 0  u 0 
u 0 , , n 0 , 0
 n0

Model
şekil
Eşleşmesonuçları: d<Thd
 u( n )   v ( n )  0
,
A için öteleme u0, d mesafesi aşağıdaki koşulda min olur:
u0  0
 

c ( k )co s ( k  k   0 )
k

b(k )
2
k
tg 

0

c ( k )  s in (
k
 k )
c ( k )  c o s (
k
 k )
k

k

d  m in  d (  )   m in   a ( k )   b ( k ) exp  j ( k   


 k
burada a(k)b*(k)c(k)ejk,  -2n0/N ve c(k) real sayı.
Şekil kütüphanesi
0
)
2



Bölge çıkartma: konturlara benzer şekilde 4- veya 8- komşuluk kullanılır
m, n  
 1 , if
u(m, n)  
 0 , otherwise
4
1
3
2
G
A
I
A
F
H
E
B
D
C
I
H
G
F
4
3
2
1
kare ağacı ile bölge tanımlama
E
D
C
B
 İskelet çıkartma, ana eksen dönüşümü
uk ( m, n )  u0 ( m, n ) 
m in
 ( m ,n ;i , j )
 u k  1 ( i , j ); ( i , j ) : s ( m , n ; i , j )  1
k  1, 2 , ...
8.23)
u0 ( m, n )  u( m, n )
(m,n) : uk(m,n)  uk(i,j) ,  (m,n;i,j) 1
1
1

1

1
 1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1

1 k

1
1 

1
1

1 1

1
 1
1
1
2
1
3
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
1
1

1
1

1 k

1
1 

1
1

2 1

1
 1
1
1
1
1
2
2
2
2
2
2
3
3
3
2
2
2
2
2
2
1
1
1
1
1
1
1

1 k

1
1 

1
1

3, 4 ,5 1

1
 1
u (m , n )
2
1
1
1
1
1
1
2
2
2
2
2
1
2
3
3
3
2
1
2
2
2
2
2
1
1
1
1
1
,u
,u
u
3
4



1
1 
5


3



2
1


1
1
u (m , n )
1
2
3
2
1
2
u (m , n )
0
1
1
(8.24)



S c h e le t
a
İskelet çıkartma
b
Örnek iskeletler
c

Morfolojik işlem
O b je
Y a p ıta şı
e le m e n a n ı
O b je
Y ap ıtaşı
elem anı
elem ent
E ro sio n
D ila tio n
O rijin
O rijin
O bject
Y apıtaşı
K ontur
O b iect
Ç ıkartm a
elem anı
E lem ent
structural
O rijin
O b iect
O rigine
E lem ent
structural
O b je
C lo sin g
O rijin
O bje
O p en in g
Y ap ıtaşı
elem anı
O rijin
G
İn celtm e
Y apıtaşı
elem anı
O bje
O rijin
O b je
Y ap ıtaşı
elem an ı
O rijin
K a lın la ştır.
Y apıtaşı
elem anı
O rijin
İskelet çık.
T em izlem e

Syntactical representation
primitivler
a
b
c
d
e
b
Objenin
yapısı
d
c
e
Fig. e
8.17 Syntactical
representation of an object
a
a
d
a
d a d
a
d
a
a
Söz dizimsel gösterim: a d a e b e a d a d d a d a c a
e
Şekil tanımlayıcılar
Bir objenin şekli= objenin profili+ objenin yapısı=> “şekil tanımlayıcılar”
Şekil tanımlayıcılar:
(1) regenerative tanımlayıcılar (konturlar; bölgeler; yüksek düzeyli istatistikler; yapısal ve söz dizimsel
tanımlayıcılar )
(2) geometrik şekil tanımlayıcılar (alan, çevre, mak-min çap, , perimeter, max-min radii, aykırılık, köşeler, ,
corners, eğriselik simeri)
(3) Moment
y
Geometrik tanımlayıcılar:

2
Alan
T 

2
 dx ( t ) 
 dy ( t ) 

 
 dt
dt
dt




t –kontur parametresi
dy
- Discrete => T = kontur piksellerinin sayısı
y(t)
y(t+1)
x(t)

x(t+1)
dx
x
Alan:
A    dx dy   y ( t ) 
R
R
dx ( t )
dt
dt   x ( t ) 
dy ( t )
R
dt
dt
R ve R – Obje bölgesi ve obje konturu
- Discrete => A = Obje bölgesindeki kontur piksellerinin sayısı
 Min-max çap, Rmin ve Rmax – objenin merkeznden olan min ve max mesafelerdir ( Rmax/ Rmin oranı objenin
boyu ve uzunluğuna ilişkin ölçütü verir)
Rmin
Rmax
Kompakt
compact

Eğrisellik ve kompaktlık:
 
( perimeter
)
2

4  ( area )
T
2
4 A
a için-  minimum, =1.
 Simetri: dönüklük ve ayna olmak üzere iki tür simetri söz konusudur
Moment temelli özellikler:
 Kitlenin merkezi:
m 
1
N
m
,
n 
1
N
( m , n ) R

n
( m , n ) R
 (p,q) merkezsel momentleri:


p ,q
  (m - m )

p
(n  n)
q
( m , n ) R
Yöneltme= En küçük momente ait eksenine ait açısı aşağıdaki şekilde  ya
Bağlı olarak bulunur
I ( ) 
 
( m , n )R
2
(m , n) 
  [( n  n ) cos 
 ( m  m ) sin  ]
( m , n )R
 


2  1 ,1
 arctg 

2
  2,0   0,2 


1
2
Kompakt
necompact
olmayan
Desenler
 Desen=Bazı basityapıların görüntüde periyodik olarak tekrarlandığı alan; basit görüntü yapısına texel
denir.
Doğal desen
Yapay desen
Desen analizi yöntemleri: istatistiksel sınıflandırma; yapısal sınıflandırma

İstatistiksel sınıflandırma teknikleri:

Oto korelasyon fonksiyonu(ACF): Texel lerin mekânsal boyutları oto-korolasyon fonksiyonlarıyla orantılıdır
a u ,u ( k , l )  m 2 ( k , l ) / m 2 ( 0 , 0 )
m 2 (k , l ) 
  u ( m , n )u ( m  k , n  l )
 m , n W
 Desenin tanımlanmasına yönelik oto korelasyon fonksiyonunun dağılımının belirlenmesine yönelik
farklı ölçüler kullanılır.
M (k,l) 
  (m  
m
1 
n
l
n
  m r ( m, n ) ,
m
) ( n   2 ) r ( m, n )
k
1
2 
  nr ( m , n ) ,
m
n
ACF “kum”
ACF “yün”
 Image transforms based approaches:
zi (k , l)  v(k , l)  gi (k, l)
2
(8.41)
2
2
1
1
1
2
2
2
1
1
Fig. 8.18 Various masks in the frequency domain used for texture analysis
1
 Köşe yoğunluğu – desen sınıflandırma için özellik
Sobel
Sobel
sicim
Kum
 Desen analizi için histogram özellikleri: => co-occurrence histogram:
p u ( x1 , x 2 )  f ( r , ; x1 , x 2 )
=> co-occurrence histogram ile farklı özellikler çıkartılabilir:
- Sabit obj.: I ( r ,  ) 

x1  x 2
2
R4, 0
f ( r , ; x1x 2 )
x1 , x 2
- Dağılımın ortalaması:
 ( r; x 1 , x 2 ) 
1
N

f ( r , ; x1 x 2 )

0
Ot
N0 – olası yönlerin sayısı.
- dağılımın varyansı:
 ( r; x 1 , x 2 ) 
2
- dağılımın yayılımı:
1
N0

[ f ( r ,  ; x 1 x 2 )   ( r; x 1 , x 2 )]
2

 ( r; x 1 , x 2 )  m ax { f ( r, ; x 1 , x 2 )}  m in { f ( r, ; x 1 , x 2 )}

 Rastgele doku modelleri
u( m, n )  a ( m , n )   ( m , n )
ACF
H e sa p la m a
D e se n
Ö z e llik
ç ık a r tm a
u (m ,n )
D e k o r e la sy o n
 (m ,n )
filtr e si
A (x 1 ,x 2 )
H isto g r a m
h e sa p la m a
a
B eyaz
g ü r ü ltü
 (m ,n )
1
A (x 1 ,x 2 )
b
u (m ,n )
D e se n
ö z e llik le r i
Görüntü bölütleme
Eşik değer
1) Local maxima detection
Obje
2) Local minima detection
Lokal minimumda objeler bulunur
Bileşen işaretleme
 piksel işaretleme. Region growing
C
A
B
X
D
tohum
threshold =4 için bölütleme yeni tohum bölütlenmiş görüntü
Sınır-temelli görüntü bölütleme
O b je
Sın ır te m e lli
K ö şe
ya k a la m a
A n aliz ve
sin iflan d irm a
Ö zellik
Ç ıka rtm a
b ö lü tle m e
Bölge-temelli bölütleme; bölge ve sınırlara göre bölütleme
R
R
1
R
1 '=
R
1
 R
2
 R
2
4
R
R
5
R
4
R
3
a
R
5
b
Bölge birleştirme
3
2
1
A
D
ayırm a
B A
C D
B
C
A
B
R
2
birleştirm e
R
1
D C
3
4
a
1
A
B
2
D
C
A
3
B C
b
D
A
B
4
C
1(A ,B ,D )
2(A ,B ,C )
3(B ,C ,D )
4
1C , 2D , 3A
D
c
Ayırma ve birleştirme algoritması: a input, b. Kare ağaçlar ile bölge ayırma c. Bölgelerin
bölütlenmesi
a) Original görüntü
b) Bölge temelli görüntü
bölütleme
c) Ana objeler görüntüde konturları
ile tanımlanmıştır
Download

Görüntü analizi sunum dosyası