06.03.2014
Ölçme Araçlarında Bulunması
Gereken Nitelikler
BÖLÜM – 3
Ölçme Araçlarında Bulunması
Gereken Nitelikler
Geçerlik
• Geçerlik, bir ölçme aracının ölçmeyi amaçladığı
özelliği, başka herhangi bir özellikle
karıştırmadan tam ve doğru olarak ölçebilme
derecesidir.
• Bir ölçme aracının geliştirilme amacına hizmet
etme derecesidir.
• Termometre ile hava basıncı ölçemezsiniz.
• Matematik dersine hazırlanan bir test ile
Türkçe’de okuma anlama becerisi ölçülmez.
• Geçerlik için güvenirlik ve uygunluk şartı aranır.
• Geçerlik
• Güvenirlik
• Kullanışlılık
Yrd. Doç. Dr. Çetin ERDOĞAN
[email protected]
06.03.2014
Geçerlik
06.03.2014
Geçerlik Türleri
• Geçerlik ve güvenirlik arasında matematik
bağıntı:
• Bir ölçme aracının geçerliği, güvenirlik
katsayısının kareköküne eşittir.
• Güvenirlik değeri r=0,81 olan bir ölçme aracının
geçerlik katsayısı 0,90’dır.
06.03.2014
2
4
1.
2.
3.
4.
5.
6.
06.03.2014
3
Kapsam Geçerliği
• Öncelikle ölçme aracının neyi ölçeceğine karar
verilmelidir.
• Kapsam geçerliği, bir testi/ölçeği oluşturan
soruların, ölçülecek tutum/davranış/bilgi
evrenini kapsama veya temsil etme yeterliğidir.
• Bir dersteki başarıyı ölçen testin kapsam
geçerliği olması için o dersteki hedef
kazanımların tamamı testte temsil edilmelidir.
• Kapsam geçerliği, ölçüm sonuçlarına göre
verilecek kararın doğruluk derecesini artırır.
Kapsam Geçerliği
Yapı Geçerliği
Yordama Geçerliği
Görünüş Geçerliği
Mevcut Hal Geçerliği
Ayırt Etme Geçerliği
5
06.03.2014
6
1
06.03.2014
Kapsam Geçerliğini Hesaplama
İki yol vardır:
Kapsam Geçerliği
Kapsam Geçerliği
1. Mantıksal Yaklaşım
1. Mantıksal Yaklaşım
• Testteki maddelerin dağılımının testin ölçmeye
çalıştığı hedef kazanımları kapsayıp
kapsamadığına bakılır.
Bunun iki yolu vardır:
1. Mantıksal veya Rasyonel Yaklaşım
2. İstatistiksel Yaklaşım
a) Belirtke Tablosu
b) Uzman Görüşü
06.03.2014
7
06.03.2014
Kapsam Geçerliği
1. Mantıksal Yaklaşım
b) Uzman Görüşü
• Ölçme aracının/testin ölçülecek hedef
kazanımları/davranışları kapsayıp kapsamadığına
ilişkin alanı uzmanı veya ölçme uzmanı
öğretmenlerin, araştırmacıların görüşlerine
başvurarak kapsam geçerliği sağlanır.
• Uzman görüşlerine göre testte gerekli
düzeltmeler yapılır.
06.03.2014
10
Hedef
Kazanımlar
8
06.03.2014
Testteki Soru
Sayısı
Oranı
Kazanım 1
3
%30
Kazanım 2
4
%40
Kazanım 3
3
%30
Toplam
10
%100
Kapsam Geçerliği
Kapsam Geçerliği
2. İstatistiksel Yaklaşım
2. İstatistiksel Yaklaşım
9
a) Geçerli bir ölçme aracıyla karşılaştırma
• Eldeki test, aynı amaca yönelik olarak
hazırlanmış ve geçerliği kanıtlanmış başka bir
ölçme aracı ile birlikte uygulanır.
• Her iki testin sonuçları arasındaki
ilişkiye/korelasyona bakılır.
• Elde edilen korelasyon katsayısı testin geçerlik
katsayısıdır.
• İlişki yüksek ise testimiz de geçerlidir.
• Ölçüt alınan testin geçerliği esas alındığı için çok
tercih edilen bir yöntem değildir.
İstatistiksel yaklaşımda da iki yol vardır:
a) Geçerli bir ölçme aracıyla karşılaştırma
b) İki farklı gruba uygulama
06.03.2014
a) Belirtke Tablosu
• Bir testin önce amacı sonra ölçülecek özellikler
belirlenmelidir.
• Belirtke tablosu, bir testte ölçülecek özellikler
ile hedef kazanımlar arasında soruların tür ve
sayılarının dağılımının yapıldığı iki boyutlu
tablodur.
11
06.03.2014
12
2
06.03.2014
Kapsam Geçerliği
Yapı Geçerliği
Yapı Geçerliği
• Testteki her bir maddenin testin bütünüyle
uyumlu, amacıyla tutarlı olması durumudur.
• Yapı geçerliği testin/ölçeğin bir yapıyı/özelliği
ölçüp ölçmediğinin belirlenmesidir.
• Yapı geçerliği test/ölçek maddelerine verilen
cevaplar arasındaki ilişkilerin düzeyine bakılarak
hesaplanır.
• Ölçekteki her madde, ölçülmek istenen en az bir
hedefle/özellikle ilişkili olmalı, hedef
kazanımlardan bağımsız olmamalıdır.
• Örneğin, 30 maddelik bir testte 1. sorunun
testin bütünü ile ilişkili olduğunu anlamak için
diğer 29 soru ile arasındaki ilişkiye bakılır.
• İlişki düzeyi yüksek ise 1. sorunun yapı geçerliği
vardır denir.
• Aynı işlem tüm sorular için yapılır. Yapı geçerliği
olmayan maddeler çıkarılır veya değiştirilir.
2. İstatistiksel Yaklaşım
b) İki farklı gruba uygulama
• Geliştirilen test başarılı ve başarısız olduğu
bilinen iki farklı gruba uygulanır.
• Başarılı ve başarısız grupların sonuçları arasında
anlamlı fark var ise test geçerlidir.
• Ancak öğrencilerin önceki başarı ölçümünün
geçerli olması koşulu vardır.
06.03.2014
13
06.03.2014
Yapı Geçerliği
Bir derste ölçme aracının yapı geçerliğinin
sağlanması için:
• Dersin hedefleri iyi belirlenmelidir.
• Her hedef nesnel olarak ifade edilmelidir.
• Hedefler gözlenebilir davranışlara
dönüştürülmelidir.
• Her davranış sınanabilmelidir.
06.03.2014
16
14
06.03.2014
15
Yordama Geçerliği
Görünüş Geçerliği
• Yordama: Eldeki verilere dayalı olarak geleceği
tahmin etme, kestirme işlemidir.
• Yordama geçerliği, ölçme aracının eldeki verilere
göre geleceği kestirebilme derecesidir.
• Seçme sınavları, eldeki verilerle gelecekteki
başarıları yordamaya yönelik bir ölçümdür.
• Yordama geçerliği ön test – son test yöntemiyle
hesaplanabilir.
• Sıra ile ön test – eğitim – son test yapılır.
• Ön test – son test başarı sıraları arasındaki
ilişkinin düzeyi, yordama geçerliğini gösterir.
• Ölçme aracının ne ölçtüğüyle ilgili değil, ne
düzeyde ve ne kadar ölçüyor göründüğüyle ilgilidir.
• Ör: Ölçeğin başlığı ile içeriği arasındaki uyum
• Görünüş geçerliği ölçeğin, bir ölçekte bulunması
gereken niteliklere sahip olması ve soruların konu
alanıyla ilgili olmasıdır.
• Uzman görüşü ile belirlenir.
06.03.2014
17
06.03.2014
18
3
06.03.2014
Mevcut Hal Geçerliği
Ayırt Etme Geçerliği
• Testin ölçtüğü özelliğe ilişkin bir ölçüt olduğunda
test sonuçları ile ölçüt puanlar arasındaki
ilişkinin derecesidir.
• Testte/ölçekte yer alan sorular ölçülen kişilerin
seviyesini belirleyebilmelidir.
• Ör: ÖSS hazırlıkta Seviye belirleme sınavları
• Yeni hazırlananların başarı düzeyi düşük, iyi bir
hazırlıktan sonra sınava yakın uygulandığında
yüksek ise mevcut hal geçerliği vardır.
06.03.2014
19
• Ölçeğin farklı yapıları ölçen ölçme araçlarıyla
arasındaki ilişki düşük olmalıdır.
• Ölçeğin aynı yapıları ölçen benzer ölçeklerle
ilişkisi yüksek, farklı yapıları ölçen ölçeklerle
ilişkisi düşük olmalıdır.
06.03.2014
Güvenirlik Hesaplama Yöntemleri
•
•
•
•
•
•
• Bir ölçme aracının kararlı, duyarlı ve tutarlı bir
ölçme yapabilme özelliğidir.
• Ölçeğin, aynı koşullardaki her ölçümde
aynı/benzer sonuçları verebilmesidir.
• Ölçek ölçtüğü özellikle ilgili yeterli hassaslıkta
olmalıdır.
• Ölçümde dış hatalar, ölçme hataları arttıkça
güvenirlik azalır.
• Sabit hata için bu durum geçerli değildir.
20
06.03.2014
Test-Tekrar Test Yöntemi
Test-Tekrar Test Yöntemi
Paralel Testler Yöntemi
Testin iki yarıya bölünmesi
Kuder Richardson KR 20-21 Formülleri
Cronbach Alfa (a) yöntemi
Puanlama Güvenirliği
06.03.2014
Güvenirlik
Paralel Testler Yöntemi
• Bir testin iki eşdeğer formu aynı gruba
uygulanır
• Grubun puan dağılımları arasındaki ilişki
hesaplanır.
• İlişki yüksek ise güvenirlik vardır.
• Aynı test aynı gruba kısa süre sonra tekrar
uygulanır
• Sonuçlar arasındaki ilişki yüksekse güvenirlik
vardır.
22
06.03.2014
21
23
06.03.2014
24
4
06.03.2014
Testin iki yarıya bölünmesi
Kuder Richardson KR 20-21 Formülleri
• Bir gruba uygulanan test iki eşdeğer yarıya
bölünür.
• Öğrencilerin iki eşdeğer yarıdan aldıkları puanlar
arasındaki korelasyon hesaplanır.
• İlişki yüksek ise güvenirlik vardır.
• Sonuç testin iç tutarlığını verir.
06.03.2014
25
•
•
•
•
•
•
•
•
•
•
Testin iç tutarlığını hesaplamada kullanılır.
Doğru-yanlış, evet-hayır tipi ölçeklere uygundur.
KR-20 testin varyansına göre;
KR-21 aritmetik ortalamaya göre hesaplanır.
KR-20’nin daha basitleştirilmiş hali KR-21’dir.
KR-20, KR-21’den daha hassas, daha büyük sonuç.
Test maddelerin güçlük düzeyleri eşit ise KR-21,
Güçlük düzeyleri farklı ise KR-20 kullanılır.
Testin tamamı cevaplanmamışsa sonuç hatalı çıkar.
Öğrencilerin %90’dan fazlası testin tamamını
cevaplamışsa uygulanabilir.
06.03.2014
Puanlama Güvenirliği
• Farklı puanlayıcılar arasındaki tutarlığın ölçüsü
hesaplanır.
• Ör: Sınavı farklı öğretmenlerin okuyup
puanlamaları arasındaki tutarlık
• Tutarlığın yüksek olması güvenirliği artırır.
• Test puanlarına karışan hata kaynaklarını
belirlemeye de yarar.
06.03.2014
28
26
Cronbach Alfa (a) yöntemi
• İç tutarlık hesaplama yöntemidir.
• KR-20 ile benzerdir.
• Çoklu puanlanan testlerde (2 değil 4, 5
seçenekli) uygulanır.
• Örnek: Likert tipi tutum ölçekleri
06.03.2014
27
Ölçme Hataları
Ölçme Hataları
Tesadüfi (random) Hata :
• Ölçmeyi tesadüfi olarak etkileyen hatalardır.
• Ör: Ölçme esnasındaki psikoloji,
• Gruptan bazıları olumlu, bazıları olumsuz
tesadüfi hatalar yapar, gruptaki etkisi sıfırlanır.
• Bireysel başarıyı etkiler, grubun ortalama
başarısını etkilemez.
• Ortalama etrafındaki değişkenliği etkiler.
• Tesadüfi hataya verideki kirlilik/gürültü denir.
Sistematik Hata :
• Ölçme sonuçlarını sistematik olarak etkileyen
faktörlerden kaynaklanan hatalardır.
• Gruptaki herkesi aynı yönde (olumlu/olumsuz)
etkileyen hatalardır.
• Ör. Dersliğin aşırı soğuk olması.
• Sistematik hatalar +/- yönde süreklilik gösterir.
• Ölçmede yanlılık olarak da adlandırılır.
06.03.2014
29
06.03.2014
30
5
06.03.2014
Ölçme Hataları
Geçerliği Artırmak İçin
Ölçmenin Standart Hatası:
• Standart Hata, bireyin ölçülen özelliğinin aynı
kalması koşulu ile, bireyin üzerinde yapılan
ölçmelerin standart sapmasıdır.
• Kişinin puanlarının bir ölçme durumundan diğerine
ne kadar farklılaşacağı ile ilgilidir.
• Güvenirlik katsayısı arttıkça SH azalır.
• Testteki her soru hedef kazanımlardan en az
biriyle ilgili olmalı
• Sorular bilenle bilmeyeni ayırt edebilmeli, ne çok
kolay ne çok zor olmalı.
• Güvenilir olmalı – geçerlik için güvenirlik şarttır
• Test, hedef konuları dengeli biçimde kapsamalı
• Sınavdan önce çok sayıda soru verip bir kısmını
sınavda sormak geçerliği düşürür
• Ölçek/test uzman görüşüne sunulmalı
• Sınav düzenli disiplinli bir şekilde uygulanmalı
• Tarafsız, standart puanlama yapılmalı.
SH = SS x √(1-G)
• SH=Standart Hata
• SS= Standart Sapma (Merkezi eğilim istatistikleri)
• G= Güvenirlik Katsayısı(indeksi) – Cronbach Alfa Katsayısı
06.03.2014
31
06.03.2014
Güvenirliği Sağlamak İçin
•
•
•
•
•
%
%
%
%
%
10
20
40
20
10
34
33
Kullanışlılık
• Az sorulu/maddeli test/ölçek yerine çok sorulu
test kullanmak.
• Ölçme birimi küçüldükçe ölçümdeki hata oranı
azalır.
• Test, öğrenci seviyesine uygun ve hedef
davranışları ölçebilir nitelikte olmalı.
• Sınav süresi çok az ya da çok fazla olmamalı.
• Sorular açık ve anlaşılır olmalı.
• Puanlama, cevap anahtarı ile standart yapılmalı
• Soruların zorluk seviyesi dengeli dağılmalı
06.03.2014
- Çok kolay
– Kolay
– Ortalama zorlukta
– Zor
– Çok zor
06.03.2014
Güvenirliği Artırmak İçin
• Güvenirlik, ölçme işleminin hatadan arınmasıdır!
Ölçenden kaynaklanan hata için;
• Farklı kişilere ölçtürerek, puanlatarak puanların
ortalaması alınabilir.
Ölçme koşullarından kaynaklanan hata için;
• Kısa süre sonra, farklı koşullarda ölçümü
tekrarlanarak korelasyona bakılabilir.
Ölçekten kaynaklanan hata için;
• Aynı özelliği başka güvenilir ölçeklerle ölçüp
korelasyona bakılabilir.
06.03.2014
32
Geçerlik İçin Soruların Zorluk Düzeyi
35
• Bir testin kullanılması esnasında uygulayan ve
uygulananlara zorluk çıkarmaması durumudur.
• Önce geçerlik-güvenirlik sonra kullanışlılık.
• Kolaylık-kullanışlılık için geçerlik güvenirlikten
taviz verilmez.
06.03.2014
36
6
06.03.2014
Kullanışlılık Ölçütleri
•
•
•
•
Test kolay uygulanabilir olmalı
Sorular açık, net anlaşılır olmalı.
Nasıl cevaplanacağı yönergelerle açıklanmalı
Test okunaklı, temiz, uygun punto ve satır
aralığında olmalı.
• Formların biçimsel düzeni kullanışlı olmalı.
06.03.2014
37
06.03.2014
38
7
Download

Kayıt Dışı Çalışmalara Yönelik Saha Çalışma Projesi