PSK 315 Psychological Testing and Measurement
(2014-2015 Fall Semester)
Assist. Prof. Nilay PEKEL ULUDAĞLI
Reliability
The Concept of Reliability
• Ölçme işlemindeki tutarlılık
• Ne işe yarar?
• Observed score (Gözlenen puan): True score
(Gerçek puan) + error (hata)
• Gerçek varyans (true variance)
• Hata varyansı (error variance)
• Güven aralığı (confidence interval)
Sources of Error Variance
•
•
•
•
Test geliştirme
Testi uygulama
Testi puanlama ve yorumlama
Diğer hata kaynakları
Reliability Estimates
• Test-retest reliability (test-tekrar test
güvenirliği)
• Parallel-forms reliability (paralel formlar
güvenirliği)
• Split-half reliability (iki yarım güvenirlik)
• Kuder Richardson ile iç tutarlık
• Cronbach Alfa ile iç tutarlık
Test-Retest Reliability
• İki farklı zamanda aynı ölçme aracının kullanılması
• Ölçülen özellik zaman içinde durağan mı değişken
mi?
• Karıştırıcı durumlar: öğrenme, unutma, yeni beceriler
kazanma vb.
• Zaman aralığı ne kadar olmalı?
• Uygulamalar arası olası etkenlerin göz önünde
bulundurulması
Parallel-Forms Reliability
• Bir testin eşdeğer olacak şekilde farklı formları
• Avantaj ve dezavantajları
• Test-tekrar test güvenirliği ile benzerlik
Split-Half Reliability
• Bir kez uygulanan testin eşdeğer yarılarının
kullanılması
• Ortadan ikiye bölmek uygun mu?
• Seçkisiz madde dağıtımı
• Tek-çift numaralı madde seçimi
• Kapsam, güçlük açısından eşdeğer madde
seçimi
• Sperman-Brown formülü
The Kuder-Richardson
•
•
•
•
Maddeler arası tutarlık
Testin homojenliği
KR-20 formülü
İki kategorili maddelerin maddeler arası
tutarlığı belirlemek için kullanılır
Cronbach Alpha Coefficient
• İki kategorili olmayan maddeler için de
kullanılabilir
• Testin tek bir uygulaması yeterlidir
• Test-tekrar test, iki yarı güvenirlik için
kullanımı
• Alfa katsayısı 0 ile 1 arasında değer alır
• .90’nın üzerinde alfa her zaman iyi midir?
Inter-Scorer Reliability
• Puanlayıcılar arasındaki uzlaşmanın tutarlılığın
derecesi
• Farklı değerlendiriciler aynı sonuca ulaşır mı?
• Puanlayıcıların eğitimi, yeterli uygulama
yapılması
• Yönergenin daha açık yazılması
Using and Interpreting a Coefficient of Reliability
•
•
•
•
•
•
•
Güvenirlik katsayısı ne kadar yüksek olmalıdır?
Güvenirliği kestirmede hangi yöntem kullanılmalı?
Test maddelerinin homojenliği
Durağan ya da değişken özellik ölçümü
Uygun örnekleme yöntemi ve varyansın daralması
Güç testi ve hız testleri (speed-power tests)
Ölçüt dayanaklı testler
What are some ways to improve reliability?
• Test maddelerinin daha açık yazılması
• Uygulama ve puanlamanın standart koşullarda
yapılması
• Yanıtlayıcıların tutarsızlıklarına ve
düzensizliklerine duyarlılık
• Test maddelerinin çoğaltılması
• Test maddelerinin homojenliği
Next: Validity
Download

4. Güvenirlik