02.04.2014
MEH535 Örüntü Tanıma
3. Denetimli Öğrenme
Doç.Dr. M. Kemal GÜLLÜ
Elektronik ve Haberleşme Mühendisliği Bölümü
web: http://akademikpersonel.kocaeli.edu.tr/kemalg/
E-posta: [email protected]
Örneklerden Sınıf Öğrenme
• “Aile arabası” sınıfı – C
– Tahmin: x aracı aile arabası mıdır?
– Bilgi çıkartımı: İnsanlar aile arabasından ne bekler?
• Çıkış:
– Pozitif (+) ya da negatif (-) örnekler
• Giriş:
– Öznitelikler: x1: price, x2 : engine power
2
1
02.04.2014
Eğitim Kümesi X
X  {xt ,r t }tN1
x 
x   1
 x2 
 1 , x pozitif
r
0 , x negatif
3
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Sınıf C
p1  price  p2  AND e1  engine power  e2 
4
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
2
02.04.2014
Hipotez Sınıfı H
• Hipotez sınıfı H : olası tüm dikdörtgenler kümesi alalım
 1 , h x 'i pozitif siniflandirir ise
h(x)  
0 , h x 'i negatif siniflandirir ise
h hipotezinin hatası:

E (h|X )  1 h  xt   r t
N
t 1

5
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
S, G ve Versiyon Uzayı
En özel hipotez (S)
En genel hipotez (G)
h  H, S ile G arasında
tutarlıdır (sıfır hata)
Sıfır hatalı bu aralıktaki
tüm hipotezler
versiyon uzayını oluşturur
(Mitchell, 1997)
6
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
3
02.04.2014
Vapnik-Chervonenkis Boyutu
• N nokta 2N ayrı yolla +/- olarak etiketlenebilir
• 2N farklı öğrenme problemi
• N örnekle tanımlanan bir öğrenme problemi, H ’dan
çizilen bir hipotezi ile hatasız öğrenilebilir
• H ile ayrılabilen en fazla nokta sayısı VapnikChervonenkis (VC) boyutu
olarak adlandırılır ve VC(H)
ile gösterilir
• H hipotez sınıfının
kapasitesini ölçer
VC(H ) = N
7
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Gürültü ve Model Karmaşıklığı
Basit yapıyı kullan:
– Kolay kullanım (düşük hesapsal karmaşıklık)
– Eğitimi kolay (düşük uzay karmaşıklığı)
– Açıklama kolay
(daha yorumlanabilir yapı)
– Genelleme iyi
(düşük değişinti)
8
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
4
02.04.2014
Çoklu Sınıf Durumu
X  {xt ,r t }tN1
1 if xt  i

rit  
t

0 if x   j , j  i
Hipotez eğit
hi(x), i =1,...,K:
t

1 eger x  i
hi  xt   
t

0 eger x   j , j  i
9
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Bağlanım
X   x t ,r t 
N
t 1
r 
t
r t  f  xt   
2
1 N t
r  g  xt 


N t 1 
2
1 N
E  w1 , w0 |X     r t   w1 xt  w0 
N t 1
E  g|X  
10
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
5
02.04.2014
Modele Seçimi ve Genelleştirme
• Öğrenme kötü konumlanmış (ill-posed) bir
problemdir
• Veri tek çözüm için uygun değildir
– Aynı veri ile eğitim ve test modeli nasıl genelleyebilir?
• Genelleştirme: Model yeni veride ne ölçüde
performans gösterecektir?
• Aşırı uydurma (Overfitting): Hipotez karmaşıklığı fazla
• Az uydurma (Underfitting): Hipotez karmaşıklığı
yetersiz
11
Modele Seçimi ve Genelleştirme
• Üçlü Ödünleşim (Dietterich, 2003):
– H’ın karmaşıklığı c(H)
– Eğitim kimesi boyutu N
– Yeni verideki genelleştirme hatası E
• NE
• c (H)ilk olarak Esonra E
12
6
02.04.2014
Çapraz Geçerleme
• Model Karmaşıklığı?
– Çapraz Geçerleme (Cross Validation)
– Eğitim Veri Kümesi:
Eğitim Kimesi
(Training Set)
Geçerleme Kümesi
(Validation Set)
Parametre
en iyileme
(ϴ*)
Model karmaşıklığını
en iyileme
(f/g)
13
Çapraz Geçerleme
Hata (E)
eğitim hatası
geçerleme hatası
min. hata
karmaşıklık
Olması gerekenden daha basit Olması gerekenden daha karmaşık
Yetersiz uydurma
(UNDERFITTING)
Aşırı uydurma
(OVERFITTING)
14
7
02.04.2014
Çapraz Geçerleme
• Seçilen model geçerleme aşamasında iyi
çalışabilir
• Bulunan modelin test aşamasında çalışma
başarımı?
• Holdout yöntemi
Eğitim Kimesi
(Training Set)
Geçerleme Kümesi
(Validation Set)
Test Kümesi
(Test Set)
• Testte başarım düşük ise eğitim kümesi
yetersiz olabilir
15
Çapraz Geçerleme
• Genelleştirme hatasını kestirmek için örneğin:
– Eğitim kümesi (%50)
– Geçerleme kümesi (%25)
– Test kümesi (%25)
seçilebilir
• Eğer veri kümesindeki örnek sayısı az ise,
istenen başarım için yeniden örnekleme
yapılabilir
16
8
02.04.2014
Denetimli Öğrenme
1. Model:
g  x| 
2. Kayıp Fonksiyonu:

E  |X    L r t , g  xt | 
t

3. En İyileme Prosedürü:
 *  arg min E  |X 

17
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
9
Download