Bilgisayarlı Görü Alanında Bazı
Örnek Çalışmalar
Ahmet Burak Can
Hacettepe Universitesi
[email protected]
Bilgisayarlı Görüde Bazı Örnek Çalışmalar
• Beyindeki Lezyonların Otomatik Tespiti İçin Bir Sistemin
Tasarım Ve Gerçekleştirimi
• Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi
Geliştirilmesi
• Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik
Tanınması Ve Eşleştirilmesi
• İnsan Hareketlerinin Derinlik Algılayıcılar ile Tanınması
• Eş Zamanlı Konum Belirleme ve Haritalama
2
Beyindeki Lezyonların Otomatik
Tespiti İçin Bir Sistemin Tasarım
Ve Gerçekleştirimi
3
Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin
Bir Sistemin Tasarım Ve Gerçekleştirimi
• Kafatası MR görüntüleri, beyinde oluşan beyaz lezyonların
tespitinde yaygın olarak kullanılmaktadır.
• Beyinde oluşan bu lezyonlar yüksek tansiyon, depresyon,
kardiyovasküler bozukluklar gibi çeşitli sağlık sorunları
sonucunda ve yaşlanmaya bağlı olarak ortaya çıkabilmektedir.
• Oluşan bu lezyonlar, uzman radyologlar tarafından elle
(manuel) tespit edilebilmektedir. Bu işlem hem zaman alıcı,
hem de lezyonların hacim veya alanlarının hesaplanmasında
yanıltıcı sonuçlara neden olabilmektedir.
• Bu nedenle, lezyonların tespitinde uzman doktora yardımcı
olacak yazılım sistemlerine ihtiyaç duyulmaktadır.
4
Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin
Bir Sistemin Tasarım Ve Gerçekleştirimi
• Beyindeki lezyonların otomatik tespiti
• Lezyon alan ve hacminin hesaplanması
• Lezyonun zaman içindeki gelişiminin izlenebilmesi
5
Kafatasının Beyin Dokusundan Ayrıştırılması
6
Lezyonun Tespiti
7
Lezyonun 3 Boyutlu Modellenmesi ve
Hacminin Hesaplanması
8
Lazer Göz Cerrahisi İçin Bir
Örüntü Çakıştırma Yöntemi
Geliştirilmesi
9
Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma
Yöntemi Geliştirilmesi
• Lazer göz cerrahisi, yoğunlaştırılmış lazer ışığı ile kornea
tabakasını yeniden şekillendirme ilkesine dayanmaktadır.
• Bu işlem yapılırken, kornea tabakasının ayrıntılı bir topolojisi
çıkarılır ve cerrahi işlem sırasında bu topolojiye uyulmasını
sağlamak için bir göz takip yöntemi kullanılır.
• Çalışma ilkesi:
– Wavefront cihazından elde edilen görüntü üzerinde ameliyat
örüntüsüne karar verilir.
– Örüntü çakıştırma yöntemleri –ya da el ile- hastanın ameliyat
esnasında ilk yatışı esnasında oluşan hata giderilir.
– Örüntünün doğru uygulanması için, ameliyat süresince göz takip edilir.
10
Çalışılan Görüntü Örnekleri
11
İlgi Alanı Çıkarımı - Morfolojik İşlemler
abc
def
(a) Mavi kanal görüntüsü. (b) a’nın siyah-beyaz görüntüsü. (c) b’nin tamlayanı olan görüntü.
(d) c’ye genişletme uygulandı. (e) d’ye kapanma uygulandı. (f) e’ye aşındırma uygulandı.12
İlgi Alanı Çıkarımı - Morfolojik İşlemler (devam)
abc
de
(a) Kenarlar ile birleşik olan bileşenler silindi. (b) a’ya genişletme uygulandı. (c) b’deki en
13
büyük bileşen seçildi. (d) c’ye genişletme işlemi uygulandı . (e) d’ye aşındırma işlemi
uygulandı.
İlgi Alanı Çıkarımı
14
Nitelik Çıkarımı
ab
(a) Tüm görüntüye SIFT uygulandı. (b) SIFT uygulamasından sonra maske uygulandı.
15
Nitelik Eşleme
16
Eşleme Sonuçları
17
Açısal ve Düzlemsel Sapmaların Hesaplanması
18
Türkiye Karayollarındaki Trafik
İşaretlerinin Otomatik Tanınması
Ve Eşleştirilmesi
19
Türkiye Karayollarındaki Trafik İşaretlerinin
Otomatik Tanınması Ve Eşleştirilmesi
• Bu çalışma kapsamında trafik işaretlerinin otomatik tanınması
ve eşleştirilmesi için bir yöntem geliştirilmiştir.
• Türkiye karayollarında en çok kullanılan 46 trafik işareti
tanınacaktır.
• Taşıttan kaydedilmiş video görüntüleri kullanılarak, işaretlerin
boyutlarından ve dönüşüm açılarından etkilenmeden, hızlı ve
doğru bir şekilde tanınması amaçlanmaktadır.
• Trafik işaretlerinin tanınması iki temel adımdan oluşmaktadır:
– Trafik işaretinin sahne içinde tespit edilmesi,
– Sahne içinden çıkartılan trafik işaretlerinin, tanınacak işaretler
arasından eşleştirilmesi
20
Tanınabilen Trafik İşaretleri *
21
Örnek Bir Sahne
22
Trafik İşaretlerinin Tespit Edilmesi
Kırmızı renk eşikleme sonrası görüntü
23
Trafik İşaretlerinin Tespit Edilmesi
Mavi renk eşikleme sonrası görüntü
24
Trafik İşaretlerinin Tespit Edilmesi
25
Trafik İşaretlerinin Tespit Edilmesi
• İki görüntü VEYA işleci kullanılarak birleştirilir
26
Trafik İşaretlerinin Tespit Edilmesinde Sorunlar
• Genişletme işlemi
– Bazı işaretler birden fazla bağlantısı olmayan parçadan oluşabilir
Morfolojik
genişletme işlemi
27
İşaretlerin dış yüzeyinin temizlenmesi
Kutu içindeki görüntü
Renk eşikleme işleminden sonra
elde edilen görüntü
Boşluk doldurma işleminden sonra
elde edilen görüntü
Maske uygulandıktan sonraki hali
28
Kırmızı Trafik İşaretlerinin Eşleştirilmesi
29
Kırmızı Trafik İşaretlerinin Eşleştirilmesi
30
Mavi Trafik İşaretlerinin Eşleştirilmesi
• Normalleştirilmiş korelasyon kullanarak eşleştirme
İşaretin yeniden boyutlandırılması
31
Başarım
Gerçekleştiren
Tanınabilen işaretler
İşleme hızı
(sn)
Tanıma
başarımı %
Miura
Hız işaretleri
0,500
47
Torrensen
Hız işaretleri
0,125
90
Broggi
İtalya’daki işaretler
0,100
?
Fang
Tayvan’daki işaretler
0,300
?
Escalera
14
?
85
Gao
İngiltere’deki işaretler
0,350 – 0,600
89
Bahlmann
23
0,100
85
Alefs
10
0,142
90
0,040 – 0,150
95
Bizim Çalışmamız 46
32
Örnek Bazı Sahneler
33
Tanımakta Sorunla Karşılaşılan Bazı İşaretler
34
İnsan Hareketlerinin Derinlik
Algılayıcılar ile Tanınması
35
X-Box Kinect Algılayıcı
• Kinect
• Kızıl ötesi ışınlar yardımıyla gerçek zamanlı olarak
derinlik haritasının çıkarılması olanak vermektedir
• Faydaları
– Gerçek zamanlı olarak derinlik haritası oluşturulması
– Ortamdaki ışık ve aydınlatmadan etkilenmeme
– Düşük maliyet
Kinect SDK
Derinlik Haritasından İskelet Modeli Çıkarılması
• RGBD algılayıcı kullanılarak, eklem iskeleti çıkarılmıştır.
• Gövde duruşu öznitelikleri, el konumu öznitelikleri ve hareket
bilgisi çıkarılmıştır.
Real-Time Human Pose Recognition in Parts from
Single Depth Images
•
Derinlik haritasından eklem iskeleti gerçek zamanlı olarak çıkarılmıştır.
Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A. 2011.
Real-Time Human Pose Recognition in Parts from Single Depth Images. IEEE Computer Vision and
Patern Recognition Conference
Kullanılan Veri Kümeleri: HUN-3D
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Saate bakma
Elleri çapraz yapma
Tekme atma
Yerden birşey alma
Yumruk atma
Çömelme
Kendi ekseninde dönme
Kafa kaşıma
Yürüme
El sallama
Saate Bakma
Kolları Çapraz
Yapma
Tekme
Yumruk
Yerden Bişey Alma
Oturma
Kafayı Kaşıma
Dönme
Yürüme
El Sallama
Microsoft Research Cambridge-12 MSRC-12
1.
2.
3.
4.
5.
6.
Eğil, saklan
Silah ateşle
Bir nesne fırlat
Silah değiştir
Tekme
Gözlük giy
7.
8.
9.
10.
11.
12.
Müziğin sesini aç
Menüler arasında dolaş
Müziği aç
Alkışlamak
Müziğe İtiraz
Tempoyu yükselt.
MSR Action3D
1. Yüksek El sallama
2. Yatay el sallama
3. Çekiç hareketi
4. El ile yakalama
5. İleri yumruk
6. Fırlatma
7. X çizme
8. Tik atma
9. Çember çizme
10. Alkış
11. İkili el sallama
12. Eğilme
13. Boks
14. Tekme
15. Yan tekme
16. Jogging
17. Tenis servis
18. Tenis atışı
19. Tutup fırlatma
20. Golf atışı
Elde edilen İskelet - Nitelikler
• Kinect kullanılarak elde edilmiş veri
setleri üzerinde önceki adımlardaki
nitelikler çıkarılmıştır.
• Nitelik çıkarma işlemleri Matlab
ortamında gerçekleştirilmiştir.
• Sınıflama işlemleri içinde Orange ve
Matlab kullanılmıştır.
Eklem Açıları
2
6
5
7
8
3
4
1
• Eklemler ait açı bilgileri
çıkarılmıştır.
• Elde edilen açılara ait
histogramlar oluşturulup nitelik
olarak kullanılmıştır
Kolları
çarpraz tutma
1
Tekme
5
2
3
4
5
6
7
1
2
3
6
8
4
7
8
Nitelik Çıkarma
Eklem noktalarına ait yer değiştirme bilgisi de nitelik olarak
kullanılmıştır.
Eş Zamanlı Konum Belirleme ve
Haritalama
(SLAM- Simultaneous Localization
and Mapping)
47
SLAM Nedir?
• Robotik alanındaki iki kilit problem
– Konum belirleme (Localization)
• Mevcut harita üzerindeki konumu tespit etme
– Neredeyim?
– Haritalama (Mapping)
• Mevcut konumlar üzerinden haritayı çıkarma
– Ortam neye benziyor?
• SLAM: Eş zamanlı olarak robot konumunun belirlenmesi ve
ortamın haritasının çıkarılması
SLAM Nedir?
• Robotik alanındaki en zorlu problemlerden birisidir.
– Haritanın çıkarılabilmesi için konum bilgisine,
– Konumun tespiti için ortamın haritasına ihtiyaç vardır.
Haritalama
Konum Belirleme
SLAM Uygulamalarından Örnekler
Temel Problemler
• Sensör Ölçüm Belirsizliği
Temel Problemler
• Veri İlişkilendirme (Döngü Kapama) Problemi
– Daha önce algılanan bir sahnenin yeniden algılanması
Döngü
Kapama
Temel Problemler
• Ortamın Büyüklüğü ve Getirdiği İşlemsel Yük
– Gerçek zamanlı işlem
– Kayma hatasındaki artış
• Ortamın Dinamik Olması
– Statik varsayım
Kullanılan Sensörler
• Mesafe Sensörü
– Lazer
– Sonar
• Kamera
– Stereo
– Monoküler
• RGB-D Algılayıcı
Örnek Haritalar
[22]
[31]
[27]
[34]
Örnek Haritalar
[38]
[39,40,41]
Katılımınız için teşekkürler..
Sorular?
Download

sunum