Kuram ve Uygulamada Eğitim Bilimleri • Educational Sciences: Theory & Practice • 14(3) • 947-968
©
2014 Eğitim Danışmanlığı ve Araştırmaları İletişim Hizmetleri Tic. Ltd. Şti.
www.edam.com.tr/kuyeb
DOI: 10.12738/estp.2014.3.1748
Türk Öğrencilerin PISA Başarı Düzeylerinin Veri
Zarflama Analizi ile Yıllara Göre Karşılaştırılması*
a
b
Seher YALÇIN
Ezel TAVŞANCIL
Ankara Üniversitesi
Ankara Üniversitesi
Öz
Bu araştırmada, PISA uygulamalarında (2003-2006-2009) öğrenci anketlerinden ve bilişsel beceri testlerinden
elde edilen bilgilerle, üç uygulamada ortak olan okul türlerinin her bir uygulama dönemi için kendi aralarında
göreli etkinliklerini, etkin olmayan okul türleri için yapılması gerekenleri ve etkinlik değerlerinin yıllara göre
değişimini belirlemek amaçlanmıştır. Tarama modelinde olan araştırmanın evrenini üç PISA uygulamasına katılan Türk öğrenciler oluşturmuştur. Araştırmada, PISA sınavlarından elde edilen veriler, Veri Zarflama Analizi
(VZA) ile analiz edilmiştir. Araştırmanın sonuçları, liseler arası nitelik farkının çok açık bir şekilde devam ettiğini
göstermektedir. İlköğretim okullarında öğrenim gören öğrencilerin düşük ekonomik, sosyal ve kültürel durum
indeksi değerine sahip olması, meslek liselerinde öğrenim gören öğrencilerin ise okul dışında ders çalışmaya
yeterince zaman ayırmaması, üç PISA döneminde de bu okul türlerinin başarısız olmasına yol açmaktadır. Sonuç olarak, yıllara göre öğrenci başarısının okul türüne göre farklılaştığı görülmüş, öğrenci başarısını arttırmak
için hangi değişkende ne kadar arttırma ya da azaltma yapılması gerektiği belirtilmiştir.
Anahtar Kelimeler
Okul Türü, Öğrenci Başarısı, PISA, VZA.
Günümüzde ekonomik ve sosyal kalkınmanın en
önemli bileşeni olan eğitim, tüm dünyada hızlı ve
sürekli bir değişim içindedir. Eğitim, siyasi, toplumsal ve kültürel bütünleşmenin ve değişimlerin
yönetilmesindeki en etkin araçlardandır (Milli Eğitim Bakanlığı [MEB], 2005a). Eğitim kurumları ise
bireyleri sürekli değişim içerisinde olan dünyanın
gereksinimlerine yanıt verebilecek biçimde yetiştir-
meyi amaçlamaktadır (Kutlu, Doğan ve Karakaya,
2008). Öğrencilerin yaşamda başarılı olmaları, okul
yıllarında kazanmış oldukları temel bilgi ve becerileri gerçek yaşamda kullanabilecek düzeye gelmelerine bağlıdır (Berberoğlu, 2006). Öğrencilerin
okul yaşantılarında gösterdikleri başarı seviyelerine
bakılarak ülkelerin ekonomisinin gelecekteki rekabet gücüne yönelik çıkarımlar yapılabilir (Acar,
* Bu araştırma Prof. Dr. Ezel TAVŞANCIL danışmanlığında Seher YALÇIN’ın Ankara Üniversitesi, Ölçme ve
Değerlendirme Ana Bilim Dalı’nda hazırladığı “Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama
Analizi ile Yıllara Göre Karşılaştırılması” isimli yüksek lisans tezinden üretilmiştir.
a Sorumlu Yazar: Seher YALÇIN Ölçme ve Değerlendirme alanında araştırma görevlisi ve doktora öğrencisidir.
Çalışma alanları arasında geniş ölçekli testler, ulusal ve uluslararası sınavlarda akademik başarıyı etkileyen
faktörlerin belirlenmesi ve veri analiz yöntemleri yer almaktadır. İletişim: Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Ölçme ve Değerlendirme Bölümü, Ölçme ve Değerlendirme Anabilim Dalı, Cebeci Kampüsü,
Ankara. Elektronik posta: [email protected]
b Dr. Ezel TAVŞANCIL Ölçme ve Değerlendirme alanında profesördür. İletişim: Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Ölçme ve Değerlendirme Bölümü, İstatistik ve Araştırma Anabilim Dalı, Cebeci Kampüsü,
Ankara. Elektronik posta: [email protected]
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
2008). Öğrencilerin akademik başarıları, pek çok
ülkede eğitim sisteminin etkililiğinin önemli bir
göstergesi olarak kabul edilmektedir. Eğitim sistemi ve ögelerine yönelik eksikliklerin belirlenmesi
ve gereksinim duyulan alanların geliştirilmesinde
kararların çoğu, öğrencilere uygulanan çeşitli ölçme araçlarından elde edilen bulgulara dayalı olarak
verilmektedir (MEB, 2010).
MEB, öğrenci başarısını değerlendirmek için ulusal sınavlar yapmakta ve uluslararası uygulamalara
katılmaktadır. MEB’in uluslararası boyutta öğrenci
başarısını değerlendirmek ve mevcut eğitim sistemini diğer ülkelerle karşılaştırmak amacı ile katıldığı uygulamalardan birisi, Ekonomik İşbirliği
ve Kalkınma Teşkilâtı (OECD [Organisation for
Economic Co-Operation and Development]) tarafından düzenlenen Uluslararası Öğrenci Değerlendirme Programı’dır (PISA [The Programme for
International Student Assessment]). PISA, öğrencilerin matematik, fen ve okuma becerileri alanlarındaki bilgilerini ve becerilerini değerlendirmeye
yönelik bir uygulamadır. Bu uygulama, OECD
üyesi ülkeler ile diğer ülkelerin katılımıyla üç yılda
bir gerçekleşmektedir. PISA’nın katılımcıları 15 yaş
grubu öğrencilerden oluşmaktadır. Uygulamada,
öğrencilerin modern toplumda yerlerini alabilmeleri için gereken temel bilgi ve becerilere ne ölçüde
sahip oldukları değerlendirilmektedir (MEB, 2010).
Türkiye, PISA uygulamasına ilk kez 2003 yılında katılmıştır. Her uygulamada matematik, fen ve okuma
alanlarından biri ağırlıklı olarak ele alınmaktadır.
Ağırlıklı alanın matematik okuryazarlığı olduğu PISA
2003 uygulamasının sonuçlarına göre öğrenciler, temel yeterlik düzeyi olan ikinci yeterlik düzeyinin altında kalarak ortalama 425 puan almışlardır. 2006’ya
kadar önemli reformlar uygulamaya konulmasına
rağmen, 2006’da da benzer bir tabloyla karşılaşılmıştır.
PISA 2009’da ise Türkiye, matematik okuryazarlığında
20 puanın üzerinde bir artışla 446 puana yükselmiştir.
İkinci yeterlik düzeyinin altında kalan öğrenci oranı
düşmüştür. Ağırlıklı alanın fen okuryazarlığı olduğu
PISA 2006 uygulamasından 2009’a kadar bu alanda
Türkiye 30 puanlık bir artış göstermiştir. Bu alanda da
ikinci yeterlik düzeyinin altında kalan öğrenci oranı
düşmüştür. Okuma becerileri ortalama başarı puanının ise her dönem arttığı görülmektedir. PISA 2006’ya
göre okuma becerileri ortalama puanı 17 puan artmıştır (MEB, 2010). Türkiye’nin ortalama puanlarındaki
artışa rağmen ülkeler arasındaki sıralamalarında kayda değer bir gelişme olmamıştır. Türkiye 2006 yılında yapılan farklı testlerde 57 ülke arasında 37. ile 44.
sıralarda yer alırken, 2009 yılında 65 ülke arasında 41.
ile 43. sırada yer almıştır. Diğer bir deyişle Türkiye’nin
948
hem OECD ülkeleri hem de tüm ülkeler arasındaki
sıralaması, puan artışlarına rağmen iyileşmemiştir.
Uygulamaya konulan eğitimsel reformlara rağmen,
Türkiye’nin başarısının değişmemesinin nedenlerinin, farklı istatistiksel analizler ile ortaya çıkarılması
gerekir.
İstatistiksel analizlerle ortaya çıkan bilgilerin uygun
bir şekilde değerlendirilmesi için eğitim programlarındaki reformlarla birlikte ele alınması gerekir.
Geçmişten günümüze eğitimdeki gelişmelerin,
değişim ve yenileşme isteklerinin odağında daima
eğitim programları yer almıştır (Sönmez, 1991).
Türkiye 2004’te Avrupa Birliği’nin eğitim hedeflerini yerine getirmek amacıyla öğretim programlarında bazı yenilikler uygulamaya koymuştur (Akşit,
2007). Yenilenen programda davranışçı yaklaşımın
yerini bilişsel ve yapılandırmacı yaklaşım almıştır
(MEB, 2005a). Yapılandırmacı öğrenme kuramına göre, öğrenme pasif bir süreç değil; öğrencinin
öğrenme sürecine katılımını gerektiren aktif, sürekli ve gelişimsel bir işlemdir. Uygulanması 2006
yılında başlayan ilköğretim programında; öğretmenlerin, öğrencilere bilgileri hazır olarak sunmak
yerine, öğrencilerin çeşitli etkinlikler yapmalarını
sağlayarak bilgiyi kendilerinin yapılandırmasına
olanak tanımaları gerektiği belirtilmektedir. Bu etkinlikler sonucunda da öğrencilerin bilgiyi kendilerinin yapılandıracağı düşünülmektedir.
Yenilenen programda öğrencilerin derse aktif katılımının sağlanması ile kalıcı öğrenmelerin gerçekleşeceği ve dolayısıyla öğrencinin başarısının artacağı ifade edilmektedir. Bu nedenle, bu araştırmada
kullanılan değişkenlerinden biri, öğrencilerin derse
aktif katılma durumu olarak belirlenmiştir. Bu değişken, okuldaki matematik/fen/okuma dersleri ile
ilgili konuları öğrenirken öğretmenlerin, öğrencilerin düşüncelerini açıklamaya fırsat vermelerini ve
derse aktif katılmaları için öğrencileri motive etmelerini ifade etmektedir.
Öğrencilerin okul dışında ders çalışmak için ayırdıkları zaman değişkeni de bu araştırmada kullanılan değişkenlerden birisidir. Bu değişken, öğrencilerin okul saatleri dışında (okulda, evde veya başka
bir yerde), dersleri ile ilgili özel ders almaya ayrılan
zaman ve kendi kendine ders çalışma ve ödev yapmaya ayrılan zaman maddelerinin ortalamasının
alınması ile elde edilmiştir. Öğrencinin derse aktif
katılımı ve okul dışında ders çalışmak için ayırdığı zaman değişkenleri yenilenen programla uygulamaya geçmesi beklenen ve buna bağlı olarak da
öğrenci başarısını artırmaya katkı sağlayacağı düşünülen değişkenlerdir. Bu nedenle bu değişkenler
araştırma kapsamına alınmıştır.
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
MEB’in kalkınma planları ve hükümet programlarını dikkate alarak yaptığı değişikliklerden bir diğeri de ortaöğretimdeki program ve okul çeşitliliğini
azaltmak yönünde yaptığı çalışmalardır. Bu amaçla
MEB, “tek yönetim çok program” temelinde okul
türü sayısını kademeli olarak 15’e indireceğini belirtmiştir (Gür ve Çelik, 2009). Bu çalışmada okul
türleri arasındaki başarı farklılıkları karşılaştırıldığından okul çeşitliliği hakkında verilen kararlarla
da ilişkili olduğu düşünülmektedir.
PISA ile ilgili Türkiye’de (Akyüz ve Pala, 2010; Albayrak, 2009; Anıl, 2008, 2009; Aydın, Erdağ ve Taş,
2009; Aydoğdu, Aydın ve Dönmez, 2009; Berberoğlu ve Kalender, 2005; Boztunç, 2010; Çifçi, 2006;
Demir, Depren ve Kılıç, 2009; Depren, 2008; Dinçer
ve Kolaşin, 2009; Erbaş, 2005; Güzel, 2006; Özbaşı,
Demirtaşlı, Kumandaş ve Yalçın, 2010; Özer, 2009;
Şaşmazel, 2006; Tomul ve Çelik, 2009; Usta, 2009;
Uysal, Aydın ve Sarıer, 2009; Yıldırım, 2009) ve yurt
dışında yapılmış araştırmalara (Afonso ve Aubyn,
2006; Agasisti, in press; Cromley, 2009; Geske,
Grinfelds, Dedze ve Zhang, 2006; Lynn ve Mikk,
2009; Mancebón, Calero, Choi ve Perez, 2010; Nonoyama, 2005; Salasvelasco, 2006; Wolfram, 2005;
Xu, 2006) bakıldığında, genelde, PISA 2003 ve/veya
2006 uygulamalarında uygulanan anketlerdeki bazı
değişkenlerin öğrencilerin başarılarına nasıl etki
ettiği ve/veya bu etkilerin üç yıllık süre içerisinde
değişip değişmediğinin farklı tekniklerle incelendiği görülmektedir.
Türkiye’de yapılan çalışmalarda aile eğitim düzeyi, anne ve babanın istihdamı, aile geliri, cinsiyet,
okul türü, bölgesel çeşitlilik, bilgisayar ve donanım
olanakları, çalışma ortamları, evdeki kitap sayısı,
eğitim materyallerine (edebî eser, sanat eseri, yardımcı kitap ve şiir kitabı) sahip olma değişkenleri
öğrencilerin başarılarına etkisi incelenen faktörler
arasında yer almaktadır. Genelde betimsel istatistiklerin belirlendiği, çok değişkenli varyans analizi
veya çoklu doğrusal regresyon analizinin kullanıldığı bu araştırmalarda, öğrenci başarısının öğrencinin sosyo-ekonomik durumuna, anne baba eğitim
düzeyine ve öğrencinin öğrenim gördüğü okul türüne göre oldukça farklılık gösterdiği ve öğrenci başarısının çok düşük olduğu, yıllara göre bir iyileşme
olmadığı görülmüştür. Yurt dışında yapılan araştırmalarda farklı olarak hiyerarşik lineer modelleme
ya da veri zarflama analizinin kullanıldığı bu araştırmalarda farklı ülkeler için öğrenci başarısındaki
değişim ve öğrenci başarısında etkili olan faktörler
belirlenmiştir. Öğrenci başarısının öğrencinin sosyo-ekonomik durumuna, anne baba eğitim düzeyine göre oldukça farklılık gösterdiği görülmüştür.
Türkiye’de ve yurt dışında PISA verileri ile çalışılan araştırmalarda, genelde parametrik istatistiksel
yöntemler ile PISA 2000 ve/veya 2003 ve/veya 2006
verileri kullanılmıştır. Bu araştırmalarda öğrenci
başarısının, öğrencinin sosyo-ekonomik durumuna ve anne baba eğitim düzeyine göre oldukça farklılık gösterdiği bulguları ortaktır. Türkiye’de yapılan
araştırmalarda kullanılan analizlerin sınırlılığı, tek
bir çıktı değişkeni olarak okuma, matematik ya da
fen puanı kullanılması sebebiyledir. Türkiye’de PISA
verileri ile Veri Zarflama Analizi (VZA) çalışan birkaç araştırmaya (Demir ve Depren, 2010; Depren,
2008) rastlanmış ancak yurt dışında bu konu ile
ilgili daha fazla araştırma (Afonso ve Aubyn, 2005;
Agasisti, in press; Cebada, Chaparro ve Gonzales,
2009; Mancebón ve ark., 2010) yapıldığı görülmüştür. Depren (2008) ve Demir ve Depren’in (2010)
VZA kullanarak yaptıkları çalışmalarda, sınıflardaki ortalama öğrenci sayısı, bir öğretmen başına
ortalama öğrenci sayısı ve matematik öğretmeni
başına ortalama öğrenci sayısı girdilerinin genellikle azaltılması gerektiği görülmüştür. Fakat başarılı
olmak için her okulun farklı düzeylerde ve farklı
değişkenlerde azaltma ya da arttırma yapması gerektiğinin ortaya konulması, VZA kullanılmayan
diğer araştırmalardan farklılaşan sonuçlardır. Ayrıca Depren (2008), Ege ve Batı Marmara bölgelerindeki okullarda okul büyüklüklerinin azaltılmasının,
okuma ve fen bilimleri alanlarında biraz daha fazla
önem verilmesinin genel başarıyı arttıracağını tespit etmiştir. Bu bölgedeki okulların başarılı olmaları için hem bağımsız hem de bağımlı değişkenlerden hangilerinde arttırma ya da azaltma yapılması
gerektiğini ortaya koyması diğer araştırmalardan
farklı bulgular olarak ortaya çıkmaktadır.
VZA kullanan PISA çalışmalarında, okuma, matematik ve fen puanlarının aynı anda analize alınması; her bir okulun başarılı olmasında bu üç bağımlı değişkenden hangisine daha önem verilmesi
gerektiğine ilişkin bilgilerin elde edilmesine olanak
sağlar. Her araştırmacının farklı bağımlı ve bağımsız değişkenlerle çalışması da her üç bağımlı değişken üzerinde hangi bağımsız değişkenin daha
etkili olduğunu ortaya koyamamaktadır. Ayrıca
araştırmalarda, öğrenci başarısı üzerinde etkili olan
değişkenler belirlenmekte ancak öğrenci başarısını
arttırmak için hangi değişkende ne kadar arttırma
ya da azaltma yapılması gerektiği belirtilememektedir. Bu araştırma ile 2009 yılı PISA verileri de kullanılarak parametrik olmayan bir yöntem olan VZA
ile Türkiye’de bu alanda yapılan az sayıda çalışmaya
katkıda bulunmak amaçlanmıştır. Araştırma uzun
dönemli (2003-2009) bir karşılaştırmayı içermesi açısından da diğer araştırmalardan ayrılmaktadır.
949
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
Okul türlerindeki yeniden yapılandırma ile değişimin öğrenci başarısında bir farklılaşma sağlayıp
sağlamadığının belirlenmesi gerekir. Öğrenci başarısının düzeyleri belirlenerek yıllar içinde incelenmesi ve eğitim yatırımlarının etkililiği, tüm dünya
ülkelerinde giderek üzerinde daha çok durulan
konulardandır. Türkiye’nin ilk olarak katıldığı 2003
yılı PISA sonuçlarından yararlanılarak ortaöğretim
programının geliştirildiği görülmektedir. Bu bağlamda 2006 yılında uygulamaya konulan ilköğretim
(6., 7. ve 8. sınıf) programlarının ve eğitim yatırımlarının özellikle öğrencilerin akademik başarılarına
olan etkileri, üzerinde önemle durulması gereken
bir konudur. Bu nedenle, Türkiye’de yıllara göre
öğrencilerin başarı düzeyindeki değişimin okul türüne göre incelenmesine ve özellikle 2006 yılında
uygulamaya konulan ilköğretim programlarının etkisinin görülebilmesine fırsat veren karşılaştırmaların yapılmasına gereklilik bulunmaktadır.
Araştırmanın genel amacı, PISA uygulamalarında
öğrenci anketlerinden ve bilişsel beceri testlerinden
elde edilen bilgilerle, üç uygulamada da ortak olan
okul türlerinin her bir uygulama dönemi için kendi
aralarında göreli etkinliklerini, etkin olmayan okul
türleri için yapılması gerekenleri ve okul türlerinin
etkinlik değerinin yıllara göre değişimini belirlemektir. Bu genel amaç doğrultusunda;
1. PISA 2003, 2006 ve 2009 uygulamaları için;
a. Etkin okul türü/türleri hangisidir/hangileridir?
b.Etkin olmayan okul türü/türleri hangisidir/hangileridir?
c. Etkin olmayan okul türünün/türlerinin etkin referans setini oluşturan okul/lar hangisidir/hangileridir?
d. Etkin olmayan okul türü/türleri için olması gereken girdi düzeyleri ile üretmeleri gereken çıktı
düzeyleri nedir/nelerdir?
2. Okul türünün/türlerinin etkinlik değerlerinin
yıllara göre değişimi nasıldır? şeklindeki sorular, bu
çalışmada cevabı aranan soruları oluşturmaktadır.
PISA uygulaması, öğrenci başarısında iyi bir kestirici olduğundan PISA sonuçlarının uzun dönemli
olarak incelenmesi, eğitim sistemindeki sorunlu
noktaların belirlenmesi açısından büyük önem
taşımaktadır. Uluslararası düzeyde uygulanan çalışmalardan biri olan PISA verilerinin kullanıldığı
araştırmalar, eğitim sisteminin güçlü ve geliştirmeye açık yönlerinin belirlenmesine, eğitimde kalite
ve başarının yükseltilmesine ve eğitim politikalarının gözden geçirilmesine katkı getirebilecektir. Bu
açıdan bu araştırmada PISA’da Türk öğrencilerinin
950
başarı düzeyleri yıllara (2003-2006-2009) ve okul
türüne göre karşılaştırıldığı için önemlidir. Bir başka anlatımla, Türkiye’nin PISA 2003, 2006 ve 2009
uygulamalarında gösterdiği başarı göz önüne alındığında, eğitim sisteminde ciddi bir sorun olduğu
sonucuna varılmaktadır. Bu nedenle, gelecekle ilgili
çok iyi bir yordayıcı olan PISA uygulamalarının incelenmesi, eğitim sistemindeki sorunlu noktaların
belirlenmesinde oldukça önemlidir.
Araştırma sonunda elde edilen bulguların özellikle
ölçme ve değerlendirme uzmanlarına, çoklu girdi
ve çıktıların olduğu durumlarda, çoklu çıktıyı tek
çıktı olarak analize alan çalışmalara göre daha geçerli ölçme sonuçlarına ulaşılabileceği konusunda
yararı olacağı düşünülmektedir. PISA uygulamalarının, farklı ölçekle ölçülmüş birden fazla girdi ve
çıktı içermesi ve çıktı kalitesindeki etkinliğin araştırılması için VZA’dan yararlanılmış olması, seçilen
değişkenler arasından etkinsizlik kaynaklarının
tanımlanabilmesine, etkin olmayan birimlerde ne
kadarlık bir girdi azaltmak ve/veya çıktı miktarını
artırmak gerektiğine ilişkin olarak yöneticilere yol
gösterebilecektir. Bu araştırma ile 2009 yılı PISA
verileri de kullanılarak Türkiye’de bu alanda yapılan
az sayıda çalışmaya katkıda bulunulacağı ayrıca bu
alanda çok fazla kullanılmayan parametrik olmayan bir yöntem olan VZA’nın tanıtılmasına katkı
sağlanacağı düşünülmektedir.
Araştırma; üç PISA döneminde uygulanan başarı
testleri, uygulamalara katılan 15 yaş grubu Türk öğrenciler, üç PISA döneminde de öğrenci anketi uygulamalarında yer alan ortak maddeler ve karşılaştırma yapabilmek için üç PISA döneminde de ortak
olan okul türleri (Anadolu, Fen, Genel, Anadolu
Meslek, Meslek Liseleri ve İlköğretim Okulları) ile
sınırlıdır. Üç PISA döneminde okul anketi uygulanmış ancak EARGED’den 2009 yılı uygulamalarına
katılan okul adları, kanunen ve PISA kapsamındaki
anlaşmalar gereği edinilemediği için kullanılamamıştır. Bu çalışmada kullanılan bazı kavramlar, işlevsel olarak aşağıda tanımlanmıştır.
Girdiler: PISA 2003, 2006 ve 2009 döneminde öğrenci anketi uygulamalarında yer alan ortak maddelerden seçilen; ekonomik, sosyal ve kültürel statü
indeksi, öğrencilerin derse aktif katılımı ve öğrencilerin okul dışı ders çalışmaya ayırdığı zaman maddeleridir.
Çıktılar: PISA 2003, 2006 ve 2009 verilerine göre
matematik, fen bilimleri ve okuma başarı puanlarıdır.
Etkinlik Değeri: Her bir öğrencinin öğrenim gördüğü okul türünün matematik, fen ve okuma ba-
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
şarısı gösterme durumlarının yüksekliği ile orantılı
olarak girdilere sahip olma durumlarına göre elde
ettikleri puandır.
Karar Verme Birimi: PISA 2003, 2006 ve 2009
uygulamasına katılan okulların okul türlerine göre
etkinlik değerleri hesaplandığından belirlenen ortak okul türleridir (Anadolu, Fen, Genel, Anadolu
Meslek, Meslek Liseleri ve İlköğretim Okulları).
Yöntem
Araştırmanın Modeli
Araştırma, yıllara göre PISA’da Türkiye’nin başarı
durumunu olduğu gibi ortaya koymayı amaçlandığından tarama modelindedir.
Evren ve Örneklem
Araştırmanın evrenini 2003, 2006 ve 2009 yıllarında PISA uygulamalarına katılan Türk öğrenciler oluşturmaktadır. Bu araştırmada verilerin
tamamına ulaşılmıştır. Araştırmanın evreni, PISA
Türkiye uygulamaları için bir örneklem niteliği taşımaktadır. Üç uygulamada da örneklem, yedi coğrafi bölgeden, 51 ilden, bölgelere ve okul türlerine
göre tabakalandırılarak tesadüfi yöntemle seçilen
okullardaki belirlenen sayıdaki öğrencilerden oluşmaktadır. PISA 2009 uygulamasına 170 okuldan 15
yaş grubu 4996 öğrenci, PISA 2006’ya 160 okuldan
4942 öğrenci ve PISA 2003’e 12 ilköğretim okulu,
147 lisede okumakta olan 4855 öğrenci katılmıştır
(MEB, 2005b, 2007, 2010). Evrende yer alan öğrencilerin devam ettikleri okul türlerine göre öğrenci
sayıları Tablo 1’de verilmiştir.
Tablo 1.
PISA 2003, 2006 ve 2009 Uygulamasına Katılan Okul
Türlerine Göre Öğrenci Sayıları
Okul Türü
2003
2006
İlköğretim Okulu
119
116
2009
137
Genel Lise
2917
2266
1877
Anadolu Lisesi
200
549
715
Fen Lisesi
63
35
100
Özel Lise
161
Polis Koleji
35
Meslek Lisesi
633
1510
1254
Anadolu Meslek Lisesi
727
179
356
278
268
Çok Programlı Lise
Yabancı Dil Ağırlıklı Lise
9
Teknik Lise
53
Anadolu Teknik Lisesi
137
Anadolu Öğretmen Lisesi
67
Anadolu Güzel Sanatlar Lisesi
TOPLAM
32
4855
4942
4996
Araştırma kapsamına, Tablo 1’de görülen okul türlerinden her üç dönemde ortak olan okul türleri
(Genel, Fen, Anadolu, Meslek, Anadolu Meslek
Liseleri ve İlköğretim Okulları) alınmıştır. Diğer
okul türlerinde az sayıda öğrenci katıldığı ve/veya
bu okullar üç dönemde uygulama yapılan okullar
arasında olmadıkları için bunlar araştırmaya dâhil
edilmemiştir. Ortak okul türlerinin her birinde
matematik, fen ve okuma başarı puanı için SPSS’te
z puanları hesaplatılmış, +3 ve -3 z puanı dışında
kalan veriler uç değer oluşturduğundan analizden
çıkarılmıştır. Uç değerler çıkarıldıktan sonra her bir
okul türünde uygulamada yer alan öğrenci sayıları
Tablo 2’de gösterilmiştir.
Tablo 2.
PISA 2003, 2006 ve 2009 Uygulamasına Katılan Ortak Okul
Türlerine Göre Öğrenci Sayıları
Okul Türü
2003
2006
İlköğretim Okulu
119
115
2009
134
Genel Lise
2907
2249
1866
Anadolu Lisesi
199
541
712
Fen Lisesi
63
35
98
Meslek Lisesi
627
1473
1248
Anadolu Meslek Lisesi
722
179
354
TOPLAM
4637
4592
4412
Araştırma, Tablo 2’de görüldüğü gibi, üç PISA döneminde de uygulamaya katılan ortak okul türlerinden, uç değerler çıkarıldıktan sonra, PISA 2003
uygulamasına katılan 4637, PISA 2006 uygulamasına katılan 4592 ve PISA 2009 uygulamasına katılan
4412 öğrenciden oluşmaktadır.
Veri Toplama Araçları
Bu araştırmada veri toplama aracı olarak PISA
2003, 2006 ve 2009 sınavında kullanılan bilişsel
beceri testleri ve öğrenci anketleri kullanılmıştır. PISA sınavında farklı madde türleri vardır. Bu
maddelerin yaklaşık yarısı öğrencilerin dört ya da
beş seçenekten birini işaretledikleri çoktan seçmeli (basit çoktan seçmeli) ya da öğrencilerin bir dizi
önermeyi “evet/hayır”, veya “katılıyorum/katılmıyorum” gibi muhtemel iki yanıttan birini seçerek
değerlendirdikleri maddelerden (karmaşık çoktan
seçmeli) oluşmaktadır. Kalan maddeler ise öğrencilerin kısa ya da uzun, kendi yanıtlarını oluşturmalarının istendiği açık uçlu maddelerdir. Bu tür
maddeler, öğrencilerin farklı yanıtlar vermelerine
ve soruları kendi bakış açılarıyla yanıtlamalarına
imkân tanımaktadır. Sadece bir kısmı doğru olan
ya da istenenden daha basit bir açıklama yapılan
yanıtlara kısmi puan verilmektedir. Puanlama iş-
951
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
lemi, bu konuda eğitim almış kişiler tarafından,
detaylı puanlayıcı kılavuzunda yer alan yönergelere
göre gerçekleştirilmektedir. Puanlama sürecinde
tutarlılığı sağlamak için daha karmaşık maddeler
birbirinden bağımsız dört puanlayıcı tarafından
puanlanmaktadır. Buna ek olarak, projeye katılan
her ülkenin öğrenci yanıtlarından belirli bir miktarı seçilmekte ve bu yanıtlar, uluslararası düzeyde
bağımsız uzmanlar tarafından değerlendirilmektedir. Böylece puanlamaların ülkeler arasında aynı
şekilde yapıldığı doğrulanmaktadır. Sonuçlar, ülkeler arası puanlama tutarlılığının yüksek olduğunu
göstermektedir (MEB, 2010).
PISA testlerinin ve anketlerinin geçerliği ve güvenirliği farklı yaklaşımlarla saptanmaktadır. Bu amaçla
uzman görüşleri, madde cevaplama oranları ve kodlama uygunluğu dikkate alınmaktadır. Güvenirlik
katsayısı olarak Cronbach Alfa katsayısı hesaplanmaktadır. PISA 2003 (üye ülkeler) için Cronbach
Alfa değeri 0,68 ile 0,93 arasında (OECD, 2005);
PISA 2006 (üye ülkeler) için 0,76 ile 0,92 arasında
değişmektedir (OECD, 2007). Bu katsayılar PISA
2003’ün ve 2006’nın güvenirliğine işaret etmektedir.
Verilerin Analizi
PISA 2003, 2006 ve 2009 yıllarına ait veri dosyaları PISA web sayfasından (www.pisa.oecd.org) elde
edilmiştir. Araştırmanın ilk sorusuna yönelik olarak; etkin okul türü/türlerinin, etkin olmayan okul
türlerinin, etkin olmayan okul türlerinin etkin referans setini oluşturan okulların ve etkin olmayan
okul türleri için olması gereken girdi düzeyleri ile
üretmeleri gereken çıktı düzeylerinin belirlenmesinde VZA kullanılmıştır. PISA uygulamalarında
öğrenci anketlerinden seçilen ekonomik, sosyal ve
kültürel statü indeksi, derse aktif katılma durumu
ve okul dışı ders çalışmaya zaman ayırma durumu
maddeleri girdiler olarak, üç bilişsel beceri; matematik, fen ve okuma alanındaki başarı puanları da
çıktılar olarak kabul edilmiştir. Farklı ölçeklerle
ölçülmeleri ve çoklu girdi-çıktı yapısının varlığı ve
etkin olmayan okul türleri için yapılması gerekenleri de hesaplayan analizlere fırsat verdiğinden VZA
kullanılmıştır.
Araştırmanın ikinci sorusuna yönelik olarak, okulların etkinlik değerlerinin yıllara göre değişiminin
belirlenmesi; testlerin eşitliği, aynı öğrencilere uygulanması gibi varsayımlar gerektirmeden yıllara
göre karşılaştırmayı sağlayan Window Analizi ile
belirlenmiştir. Window Analizi; Charnes, Clark,
Cooper ve Golany tarafından 1985 yılında geliştirilen zamana bağımlı bir VZA tekniğidir ve karar
952
verme birimlerinin belirli bir süre zarfında etkinlik
değerlerinin nasıl değiştiğini belirlemek için kullanılmaktadır. Bu analizde bir karar verme birimi
için belirlenen her bir zaman biriminde ölçülen
değerler sanki farklı bir karar verme birimi gibi ele
alınmaktadır (Cooper, Seiford ve Zhu, 2004). VZA,
farklı ölçekle ölçülmüş birden fazla girdi ve çıktının
karşılaştırma yapmayı zorlaştırdığı durumlarda,
karar verme birimlerinin göreli performanslarını
değerlemeyi amaçlayan doğrusal programlama
tabanlı bir yöntemdir (Tarım, 2001; Thanassoulis,
Portela ve Allen, 2004). Literatürdeki adıyla “Data
Envelopment Analysis”, doğrusal programlamanın
ilkelerine dayanan ve belirgin olarak karar verme
birimlerinin (literatürdeki adıyla “Decision Making
Units” ya da “DMU’s”) göreli etkinliğini tahmin etmek için tasarlanmış olan parametrik olmayan bir
yöntemdir. VZA’da “Karar Verme Birimi (KVB)”
terimi, birtakım girdileri birtakım çıktılara dönüştürmekten sorumlu işletme, ekonomik kuruluşlar
veya üniversiteler, okullar olarak tanımlanmaktadır
(Aslankaraoğlu, 2006). Bir VZA modelinde kullanılan temel kavramlar aşağıdaki gibidir:
Etkinlik (Efficiency): Girdilerin belirli bir zaman
periyodunda ve belirli bir biçimde kullanılması ile
gerçekleşen sonuçların, karar biriminin hedeflediği sonuçlara göre değerlendirilmesi ile bulunur.
Eğer karar biriminin ulaştığı sonuçlar, hedeflediği
sonuçlarla çakışıyorsa ilgili birimin etkin olduğu,
çakışmıyorsa etkin olmadığı sonucuna varılır.
Etkililik (Effectiveness): Belirlenmiş olan amaçların gerçekleştirilme derecesidir. Diğer bir ifade ile
etkililik, hedeflenen çıktı düzeyine ne derece ulaşıldığını ifade eder.
Karar Verme Birimi: Etkinlikleri karşılaştırılacak
olan birimlerdir.
Girdi: Karar verme birimi tarafından çıktı üretmek
için kullanılan herhangi bir kaynağa denir. Girdiler, ürün olmayan fakat birimin ürettiği çevrenin
niteliği olan kaynakları da içerebilir. Bunlar kontrol
edilebilir ya da edilmeyebilir (Bektaş, 2007).
Çıktı: Girdilerin (kaynaklar) süreç ve tüketiminden
sonuçlanan ürünlerdir (Bektaş, 2007).
Referans/Örnek Küme: Her bir KVB için referans
olan/örnek alınan KVB’lerinin oluşturduğu kümeye “referans/örnek küme” adı verilir.
Ölçeğe Göre Sabit Getiri (CCR Modeli): Eğer bir
biriminin girdisindeki artış, çıktısında eşit bir artışa denk geliyorsa bu ölçeğe göre sabit getiridir. Bu
demektir ki birimin ölçeği ne olursa olsun etkinliği
değişmez (Bektaş, 2007).
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
VZA’nın temel özellikleri; çoklu çıktı ve çoklu girdi
analizlerine uygulanabilmesi, önceden ağırlıkların
atanmasının gerekmemesi, üretim fonksiyonunu
bilme zorunluluğu olmaksızın gözlenen veri üzerinde göreli etkinlik temelli ölçümler için kullanılabilmesi ve karar vericilerin tercihlerinin VZA modellerine katılabilmesi olarak ön plana çıkmaktadır
(Yun, Nakayama ve Tanino, 2004).
Araştırmanın gerçekleştirilmesinde VZA uygulama adımları takip edilmiştir (Kecek, 2010; Özyiğit,
2000).
Veri Zarflama Analizi Uygulama Adımları/1. Karar Verme Birimlerinin Seçilmesi: Analize konu
olacak karar verme birimlerinin aynı hedefe yönelik benzer işlevleri görmesi ve gruptaki bütün birimlerin etkinliklerini nitelendiren etmenlerin, yoğunluk ve büyüklüklerindeki farklılıklar hariç aynı
olması şartları aranır (Özyiğit, 2000). PISA verileri
ile VZA yapılan araştırmalarda (Afonso ve Aubyn,
2006; Agasisti, in press; Cebada ve ark., 2009; Ferrera, Cebada, Chaparro ve González, 2011; Demir
ve Depren, 2010; Depren, 2008; Mancebón ve ark.,
2010; Perelman ve Santin, 2008; Salasvelasco, 2006;
Sutherland, Price, Joumard ve Nicq, 2007), araştırmacıların amaçlarına göre ülkeleri, okulları ve
bölgeleri karar verme birimi olarak belirledikleri
görülmüştür. Bu araştırmada da karar verme birimi
olarak okul türleri alınmıştır.
2. Girdi ve Çıktıların Seçilmesi: VZA’da girdi ve
çıktıların amaca yönelik seçilmesi gerekmektedir
(Depren, 2008). PISA 2003, 2006 ve 2009 döneminde öğrenci anketi uygulamalarında yer alan
ortak maddeler arasından ilgili araştırmalardan da
yararlanılarak 2006 yılında uygulamaya konulan
ilköğretim (6., 7. ve 8. sınıf) programlarının öğrencilerin başarıları üzerinde etkili olup olmadığının
belirlenmesini de sağlayacağı düşünülen maddeler
girdi değişkenleri olarak seçilmiştir.
Girdi Değişkenleri: PISA verileri ile VZA yapılan
araştırmalarda araştırmacıların, amaçlarına göre
farklı girdi değişkenleri belirledikleri görülmüştür.
Araştırmalarda (Afonso ve Aubyn, 2006; Agasisti,
in press; Cebada ve ark., 2009; Ferrera ve ark., 2011;
Demir ve Depren, 2010; Depren, 2008; Mancebón
ve ark., 2010; Perelman ve Santin, 2008; Salasvelasco, 2006; Sutherland ve ark., 2007) genellikle öğretmen başına öğrenci oranı, anne ve babanın eğitim
seviyesi, en yüksek aile iş statüsü indeksi ve öğrencinin sosyo-ekonomik durumunun göstergesi olan
maddelerin alındığı görülmektedir. Bu araştırmada
ise girdi değişkeni olarak ekonomik, sosyal ve kültürel statü indeksi, öğrencinin derse aktif katılımı
ve öğrencilerin okul dışında ders çalışmaya ayırdığı
zaman maddeleri seçilmiştir. Seçilen girdi değişkenlerinin kapsamı ve neden seçildikleri takip eden
kısımda daha detaylı olarak açıklanmıştır.
Ekonomik, Sosyal ve Kültürel Statü İndeksi
(ESCS): Bu indeks hesaplanırken üç değişkenden
yararlanılmıştır. Bunlar; anne ve babanın en yüksek
mesleki statü indeksi, anne ve babanın eğitim düzeyi indeksi ve öğrencilerin evlerinde sahip oldukları
kitap sayısıdır.
Ekonomik, sosyal ve kültürel statü indeksi, modelde kontrol edilemez bir girdi olarak tanımlanmıştır.
İlgili araştırmalarda da (Ferrera ve ark., 2011; Demir ve ark., 2009; Dinçer ve Kolaşin, 2009; Özer,
2009; Salesvelasco, 2006; Sutherland ve ark., 2007;
Şaşmazel, 2006; Wolfram, 2005) görüldüğü gibi,
Türkiye şartlarında bir öğrencinin sosyal, ekonomik ve kültürel konumu okuldaki başarısını etkiler
ve bu değişken karar verme birimi yöneticisi tarafından kontrol edilemeyen bir girdidir. Bir okul
türü, çıktıların arttığı, girdilerin azaldığı oranda
etkin olabileceğinden bu indeks, 1/ESCS hesaplandıktan sonra EMS programında analize alınmıştır.
Böylece ekonomik sosyal ve kültürel statü indeksi
girdisi öğrenci başarısı ile ters orantılı olmuştur.
Çeşitli araştırmalarda da (Afonso ve Aubyn, 2006;
Agasisti, in press; Demir ve Depren, 2010; Depren,
2008; Scheel, 2000) 1/girdi oranı hesaplanarak değişkenlerin analize alındığı görülmüştür. Analizler
sonucu, bu indeks değerinin azaltılması ile kastedilen 1/ESCS oranının azaltılması olduğundan, aslında ESCS değerinin arttırılması gerektiğidir.
Öğrencilerin Derse Aktif Katılımı: Seçilen bu girdi
değişkeni, okuldaki matematik/fen/okuma dersleri ile ilgili konularını öğrenirken öğretmenlerin,
öğrencilerin düşüncelerini açıklamak için fırsat
vermesi, öğrencinin derse aktif katılımı için öğrenciyi motive etmesi durumunu ifade etmektedir. Bu
değişkenin, bir öğrencinin başarılı olabilmesi için
analiz edilmesi gereken ölçütlerden biri olduğu düşünülerek öğrencinin derse aktif katılmama durumunu ifade edecek şekilde dönüştürülmüş, öğrenci
başarısı ile ters orantılı duruma gelmiştir.
Öğrencilerin Okul Dışında Ders Çalışmaya Ayırdığı Zaman: Öğrencilerin okul saatleri dışında
dersleri ile ilgili özel ders almaya ayırdığı zaman
ve kendi kendine ders çalışma ve ödev yapmak için
ayrılan zaman maddelerinin ortalamasının alınması ile elde edilmiştir. Erbaş (2005), PISA 2003
verileri ile yaptığı araştırmada, okul dışı özel kurslara harcanan zaman ile fen okuryazarlığı ölçümleri
arasında olumlu bir ilişki olduğunu ifade etmiştir.
Özer (2009), PISA 2006 verileri ile yaptığı araştırmada, öğrencilerin öğrenmeye ayırdıkları zaman
953
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
değişkeninin fen bilimleri ve matematik başarıları
üzerine olumlu etkiye sahip olduğunu belirtmiştir.
Bu değişken, öğrencinin okul dışı ders çalışmaya
zaman ayırmama durumunu ifade edecek şekilde
dönüştürülmüş, öğrenci başarısı ile ters orantılı duruma gelmiştir.
Çıktı Değişkenleri: PISA verileri ile VZA yapılan
araştırmalarda, araştırmacıların amaçlarına göre
farklı çıktı değişkenleri belirlediği görülmüştür. Cebada ve arkadaşları (2009), Ferrera ve arkadaşları
(2011) ve Depren’in (2008) araştırmalarında, çıktı
değişkenleri olarak öğrencilerin matematik, fen ve
okuma başarı puanını almışlardır. Afonso ve Aubyn
(2006) ise bu çıktılara ek olarak problem çözme değişkenini de almıştır. Perelman ve Santin’in (2008)
ve Salasvelasco’nun (2006) okuma ve matematik
puanlarını aldığı, Agasisti’nin (in press) matematik
ve fen puanını aldığı, Mancebón ve arkadaşlarının
(2010) ise sadece fen puanını aldığı görülmüştür.
Bu araştırmada da çıktı değişkeni olarak öğrencilerin her bir PISA dönemi için matematik, fen ve
okuma başarı puanı seçilmiştir. Seçilen çıktı değişkenlerinin kapsamı ve neden seçildikleri aşağıda
detaylı olarak açıklanmıştır.
Matematik Başarı Puanı: Bireyin, dünyada matematiğin oynadığı rolü fark etme ve anlama, sağlam
temellere dayanan yargılara ulaşma, yapıcı, ilgili,
duyarlı bir vatandaş olarak kendi ihtiyaçlarını karşılayabilecek bir şekilde matematiği kullanma birikimi ile ilgilidir. Alışveriş, yolculuk, kişisel mali
hesaplamalar, politik sorunları değerlendirme gibi
gerçek yaşama ilişkin kurgular kullanılarak öğrencilerin matematiksel becerilerini kullanmaları sağlanmaktadır (MEB, 2010).
Fen Bilimleri Başarı Puanı: Bilimsel olguları
açıklama, fen ile ilgili konularda kanıtlara dayalı
sonuçlar çıkarma, bilgi edinme ve araştırma amacıyla fenin karakteristik özelliklerini anlama, fen ve
teknolojinin maddi, düşünsel ve kültürel çevremizi
nasıl şekillendirdiğinin farkına varma ve duyarlı bir
vatandaş olarak bilimle ilgili konulara ve bilimsel
fikirlere ilgi göstermesini içerir (MEB, 2010).
Okuma Başarı Puanı: Bireyin hedeflerine ulaşma, bilgisini artırma ve topluma katılımı için yazılı
metinleri anlama, kullanma ve yansıtma birikimi
ile ilgilidir. Metnin çözümlenmesi ve tam olarak
anlaşılmasının yanı sıra, okuma becerileri; okuma,
yorumlama, yansıtma ve bireyin yaşamındaki hedeflere ulaşmada okuma becerilerini kullanma yeteneğini kapsamaktadır (MEB, 2010).
3. Verilerin Elde Edilebilirliği ve Güvenilirliği:
Güvenilir olmayan veriler ait oldukları birimin et-
954
kinlik değerini etkilemelerinin yanında, göreli etkinlikleri nedeniyle tüm birimlerin etkinlik değerlerini tartışmalı hâle getirir (Aslankaraoğlu, 2006).
4. Veri Zarflama Analizi Modelinin Belirlenmesi
ve Göreli Etkinliğinin Ölçülmesi: VZA modelleri,
girdiye yönelik ve çıktıya yönelik olmak üzere iki
grupta incelenebilir. Bu araştırmada, ölçeğe göre sabit getiri varsayımı altında, en etkin şekilde, en fazla çıktıyı elde etmek için kullanılabilecek en uygun
girdi bileşimi oluşturmaya çalışıldığından girdiye
yönelik CCR modeli kullanılmıştır.
5. Etkinlik Değerleri: Etkinlik değeri 1 olan okul
türü/türleri etkin olarak belirlenmiştir. Etkinlik değeri 1’e yaklaştıkça okul türünün de etkin olmaya
yaklaştığı söylenebilir.
6. Referans/Örnek Gruplar: Etkin olmayan karar
birimlerinin de göreli olarak etkin birimlerin uyguladığı yöntemleri uygulayarak aynı etkinlik seviyesine ulaşabileceklerini kabul etmektedir.
7. Etkin Olmayan Karar Birimleri için Hedef Belirlenmesi: Etkin olmayan karar verme birimlerine
performanslarını iyileştirebilmeleri için, elde edilebilir hedefler sunulur (Aslankaraoğlu, 2006; Aydagün, 2003).
8. Sonuçların Değerlendirilmesi: VZA ile belirlenen hedeflere ulaşılamasa bile, elde edilen bilginin
daha sonra değerlendirilebilmesi ve iyileşmelere
açık olunması anlayışı önemli kazanımlardır (Aslankaraoğlu, 2006).
Verilerin analizinde SPSS 17 ve EMS v1.3.0 paket
programları kullanılmıştır. SPSS programı ile hesaplanan veriler, Ms Excel dosyasına girilmiş, EMS
“Load data” komutuyla programa yüklenmiştir. Ms
Excel dosyası oluşturulurken girdiler {I}, kontrol
edilemez girdiler {IN}, çıktılarda {O} dizgilerini
içermelerine dikkat edilmiştir (Scheel, 2000).
Bulgular
PISA uygulamalarına katılan ortak okul türlerinden ilk amaç sorusuna ilişkin olarak her bir PISA
dönemi verileri ayrı ayrı analize alınmış, hesaplanan etkinlik puanlarına göre sıralanarak Tablo 3’te
sunulmuştur.
Tablo 3’te de görüldüğü gibi, Fen Liseleri üç PISA
döneminde de en etkin okul türüdür. Anadolu Liseleri ise 2009 ve 2006 PISA döneminde etkin okullardan biriyken 2003 PISA uygulamalarında etkin
sayılabilir bir puana sahiptir. Üç PISA döneminde
de İlköğretim Okullarının en başarısız okullar olduğu görülmektedir. Etkin olmayan okulların, et-
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
kin olmak için hangi okulları örnek almaları gerektiği, hangi girdi ya da çıktılarında ne şekilde değişikliğe giderek bunu başarabileceklerine ilişkin her
bir okul türü için PISA dönemlerine göre, ayrıntılı
bilgilere aşağıda yer verilmiştir.
Tablo 3.
Okul Türlerinin Etkinlik Puanlarına Göre Sıralaması
Okul Türleri
Etkinlik Puanı
Fen Lisesi 2003a
100
Fen Lisesi 2006 a
100
Fen Lisesi 2009 a
100
Anadolu Lisesi 2006 a
100
Anadolu Lisesi 2009 a
100
Anadolu Lisesi 2003
97,70
Anadolu Meslek Lisesi 2009
88,79
Genel Lise 2009
87,25
Genel Lise 2006
81,97
Anadolu Meslek Lisesi 2006
80,97
Meslek Lisesi 2006
72,55
Meslek Lisesi 2009
71,96
Genel Lise 2003
71,51
Anadolu Meslek Lisesi 2003
69,92
Meslek Lisesi 2003
61,20
İlköğretim 2006
61,17
İlköğretim 2009
57,64
İlköğretim 2003
51,98
a
Tablo 4’te görüldüğü gibi etkin olan tek okul Fen Liseleridir. Okulların etkinlik puanı sıralaması; Fen,
Anadolu, Genel, Anadolu Meslek, Meslek Liseleri
ve İlköğretim Okullarıdır. Etkin olmayan bütün
okul türlerinin Fen Liselerini örnek alması gerektiği görülmektedir. Örnek alınması gereken okul
sütununda yer alan parantez içindeki değer, etkin
olmayan birimin örnek kümesinde yer alan birime
ne oranda benzediğini göstermektedir.
PISA’ya 2003 yılında katılan ve etkin olmayan okullardan biri olan Anadolu Liselerinin etkinlik puanı 97,70’dir. Bu birimin etkin olması için, 1/ESCS
değerinde 0,10, derse aktif katılmama durumunda
0,56 birim azaltma yapılması ve çıktı değişkenlerinde matematik puanında 48,47, fen puanında ise
16,06 puan artışı olması gerekmektedir.
PISA’ya 2003 yılında katılan ve etkin olmayan
okullardan biri olan Genel Liselerin etkinlik puanı
71,51’dir. Etkin olmayan bu birimin 1/ESCS değerinde 0,32, derse aktif katılmama durumunda 0,12
birim azaltma yapılması ve çıktı değişkenlerinde
matematik puanında 59,97, fen puanında ise 22,59
puan artışı olması gerekmektedir.
Etkin olan okulları göstermektedir.
PISA 2003 Uygulamasına Katılan Okulların Okul
Türlerine Göre Etkinlik Değerleri ve Etkin Olmaları İçin Yapılması Gerekenler
PISA 2003 uygulamasına katılan okul türlerinden
etkin ve etkin olmayanlar, örnek alınması gerekenler ve etkin olmayanlar için yapılması gerekenlerin
belirlenmek istendiği ilk amaç sorusuna ilişkin olarak 2003 yılı PISA dönemi verileri analiz edilmiş,
bulgular Tablo 4’te verilmiştir.
PISA’ya 2003 yılında katılan ve etkin olmayan okullardan biri olan Anadolu Meslek Liselerinin etkinlik
puanı 69,92’dir. Etkin olmayan bu birimin 1/ESCS
değerinde 0,31, derse aktif katılmama durumunda
0,01 birim azaltma yapılması ve çıktı değişkenlerinde matematik puanında 55,60, fen puanında 26,69
puan artışı olması gerekmektedir.
PISA’ya 2003 yılında katılan ve etkin olmayan okullardan biri olan Meslek Liselerinin etkinlik puanı
61,20’dir. Etkin olmayan bu birimin 1/ESCS değerinde 0,48, öğrencinin okul dışında ders çalışmaya
zaman ayırmaması durumunda 0,36 birim azaltma
yapılması ve çıktı değişkenlerinde matematik puanında 68,51, fen puanında 30,30 puan artışı olması
gerekmektedir.
Tablo 4.
2003 Yılı PISA Dönemine Katılan Okul Türlerinin Etkinlik Değerleri ve Etkin Olmaları için Yapılması Gerekenler
Arttırılması Gereken
Puanlar
Azaltılması Gereken Birimler
Okul Türleri
Fen Lisesi a
Etkinlik
Puanı
Örnek alınması
gereken okul
1/ESCS
Derse aktif
katılmama
durumu
Okul dışı
derslerine zaman
ayırmama
Matematik
Fen
Okuma
100
Anadolu Lisesi
97,70
Fen L. (0,83)
0,10
0,56
0
48,47
16,06
0
Genel Lise
71,51
Fen L. (0,67)
0,32
0,12
0
59,97
22,59
0
Anadolu Meslek Lisesi
69,92
Fen L. (0,71)
0,31
0,01
0
55,60
26,69
0
Meslek Lisesi
61,20
Fen L. (0,62)
0,48
0
0,36
68,51
30,30
0
İlköğretim Okulları
51,98
Fen L. (0,51)
0,67
0,09
0
48,45
1,78
0
a
Etkin olan okulları göstermektedir.
955
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
PISA’ya 2003 yılında katılan ve etkin olmayan okullardan biri olan İlköğretim Okullarının etkinlik
puanı 51,98’dir. Etkin olmayan bu birimin 1/ESCS
değerinde 0,67, derse aktif katılmama durumunda
0,09 birim azaltma yapılması ve çıktı değişkenlerinde matematik puanında 48,45, fen puanında 1,78
puan artışı olması gerekmektedir.
PISA’ya 2006 yılında katılan ve etkin olmayan
okullardan biri olan Genel Liselerin etkinlik puanı
81,97’dir. Etkin olmayan bu birimin, derse aktif katılmama durumunda 0,07 birim azaltma yapılması
ve çıktı değişkenlerinde matematik puanında 39,97,
fen puanında 70,32 puan artışı olması gerekmektedir.
Anadolu Liselerinde öğrenim gören öğrencilerin
derse aktif katılma durumu ve matematik puanının düşük olması Anadolu Liselerinin göreli olarak
etkin okul türü olmasına en fazla engel olurken;
Genel, Anadolu Meslek, Meslek Liselerinde ve İlköğretim Okullarında öğrenim gören öğrencilerin
matematik başarılarının ve ESCS değerinin düşük
olmasının bu okul türlerinin göreli olarak etkin olmalarına en fazla engel olduğu ifade edilebilir.
PISA’ya 2006 yılında katılan ve etkin olmayan
okullardan biri olan Anadolu Meslek Liselerinin
etkinlik puanı 80,97’dir. Etkin olmayan bu birimin,
öğrencinin okul dışında ders çalışmaya zaman ayırmaması durumunda 0,31 birim azaltma yapılması
ve çıktı değişkenlerinde matematik puanında 9,23,
fen puanında 56,64 puan artışı olması gerekmektedir.
PISA 2006 Uygulamasına Katılan Okulların Okul
Türlerine Göre Etkinlik Değerleri ve Etkin Olmaları için Yapılması Gerekenler
PISA 2006 uygulamasına katılan okul türlerinden,
etkin ve etkin olmayanlar, örnek alınması gerekenler ve etkin olmayanlar için yapılması gerekenlerin
belirlenmek istendiği ilk amaç sorusuna ilişkin olarak 2006 yılı PISA dönemi verileri analiz edilmiş,
bulgular Tablo 5’te verilmiştir.
Tablo 5’te görüldüğü gibi Fen ve Anadolu Liseleri
%100 etkinliğe sahiptirler. Okulların etkinlik puanı
sıralaması; Fen, Anadolu, Genel, Anadolu Meslek,
Meslek Liseleri ve İlköğretim Okullarıdır. Anadolu
Meslek Liseleri dışında etkin olmayan bütün okul
türlerinin sadece Fen Liselerini örnek alması gerekirken Anadolu Meslek Liselerinin hem Anadolu
hem Fen Liselerini örnek alması gerekmektedir.
Örnek alınması gereken okul sütununda yer alan
parantez içindeki değer etkin olmayan birimin, örnek kümesinde yer alan birime ne oranda benzediğini göstermektedir.
PISA’ya 2006 yılında katılan ve etkin olmayan okullardan biri olan Meslek Liselerinin etkinlik puanı
72,55’dir. Etkin olmayan bu birimin, 1/ESCS değerinde 0,20, öğrencinin okul dışında ders çalışmaya
zaman ayırmaması durumunda 1,54 birim azaltma
yapılması ve çıktı değişkenlerinde matematik puanında 26,13, fen puanında 61,84 puan artışı olması
gerekmektedir.
PISA’ya 2006 yılında katılan ve etkin olmayan okullardan biri olan İlköğretim Okullarının etkinlik
puanı 61,17’dir. Etkin olmayan bu birimin, 1/ESCS
değerinde 1,02, derse aktif katılmama durumunda
0,10 birim azaltma yapılması ve çıktı değişkenlerinde matematik puanında 71,15, fen puanında 28,61
puan artışı olması gerekmektedir.
Meslek ve Anadolu Meslek Liselerinde öğrenim gören öğrencilerin okul dışında ders çalışmaya yeterince zaman ayırmamaları durumu ve öğrencilerin
fen puanlarının düşük olması, bu okul türlerinin
göreli olarak etkin olmalarına en fazla engel olurken, Genel Liselerde öğrenim gören öğrencilerin
derse aktif katılmamaları, öğrencilerin fen ve matematik puanlarının düşük olması, Genel Liselerin
Tablo 5.
2006 Yılı PISA Dönemine Katılan Okul Türlerinin Etkinlik Değerleri ve Etkin Olmaları için Yapılması Gerekenler
Arttırılması Gereken
Puanlar
Azaltılması Gereken Birimler
Okul Türleri
Fen Lisesi a
Anadolu Lisesi a
Etkinlik
Puanı
Örnek alınması
gereken okul
1/ESCS
Derse aktif
katılmama
durumu
Okul dışı
derslerine zaman Matematik
ayırmama
Fen
Okuma
100
100
Genel Lise
81,97
Fen L. (0,84)
0
0,07
0
39,97
70,32
0
Anadolu Meslek Lisesi
80,97
Fen L. (0,67)
Anadolu L. (0,17)
0
0
0,31
9,23
56,64
0
Meslek Lisesi
72,55
Fen L. (0,76)
0,20
0
1,54
26,13
61,84
0
İlköğretim Okulları
61,17
Fen L. (0,64)
1,02
0,10
0
71,15
28,61
0
a
Etkin olan okulları göstermektedir.
956
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
göreli olarak etkin olmasına engel olmaktadır. İlköğretim Okullarında öğrenim gören öğrencilerin
ise ESCS değerinin ve öğrencilerin matematik başarısının düşük olması, İlköğretim Okullarının göreli
olarak etkin olmasına en fazla engel olmaktadır.
PISA 2009 Uygulamasına Katılan Okulların Okul
Türlerine Göre Etkinlik Değerleri ve Etkin Olmaları için Yapılması Gerekenler
PISA 2009 uygulamasına katılan okul türlerinden,
etkin ve etkin olmayanlar, örnek alınması gerekenler ve etkin olmayanlar için yapılması gerekenlerin
belirlenmek istendiği ilk amaç sorusuna ilişkin olarak 2009 yılı PISA dönemi verileri analiz edilmiş,
bulgular Tablo 6’da verilmiştir.
Tablo 6’da görüldüğü gibi Fen ve Anadolu liseleri
%100 etkinliğe sahiptir. İlköğretim Okulları dışında etkin olmayan bütün okullara, tek başına Anadolu Liseleri örnek olarak gösterilmiş, İlköğretim
Okullarına ek olarak Fen Liseleri de örnek olarak
gösterilmiştir. Anadolu Meslek Liseleri dışında okul
türlerinin sadece Anadolu Liselerini örnek alması
gerekirken İlköğretim Okullarının hem Anadolu
hem Fen Liselerini örnek alması gerekmektedir.
Örnek alınması gereken okul sütununda yer alan
parantez içindeki değer, etkin olmayan birimin,
örnek kümesinde yer alan birime ne oranda benzediğini göstermektedir. Okulların etkinlik puanı
sıralaması; Fen, Anadolu, Anadolu Meslek, Genel,
Meslek Liseleri ve İlköğretim Okullarıdır.
PISA’ya 2009 yılında katılan ve etkin olmayan okullardan biri olan Anadolu Meslek Liselerinin etkinlik
puanı 88,79’dur. Etkin olmayan bu birimin 1/ESCS
değerinde 0,18, öğrencinin okul dışında derslerine
zaman ayırmaması durumunda 1,39 birim azaltma
yapılması ve çıktı değişkenlerinde matematik puanında 50,23, fen puanında 14,14 puan artışı olması
gerekmektedir.
PISA’ya 2009 yılında katılan ve etkin olmayan
okullardan biri olan Genel Liselerin etkinlik puanı
87,25’tir. Etkin olmayan bu birimin 1/ESCS değerinde 0,24, öğrencinin okul dışında ders çalışmaya
zaman ayırmaması durumunda 0,80 birim azaltma
yapılması ve çıktı değişkenlerinde matematik puanında 40,50, fen puanında 14,35 puan artışı olması
gerekmektedir.
PISA’ya 2009 yılında katılan ve etkin olmayan okullardan biri olan Meslek Liselerinin etkinlik puanı
71,96’dır. Etkin olmayan bu birimin 1/ESCS değerinde 0,39, öğrencinin okul dışında ders çalışmaya
zaman ayırmaması durumunda 0,17 birim azaltma
yapılması ve çıktı değişkenlerinde matematik puanında 40,26, fen puanında 7,33 puan artışı olması
gerekmektedir.
PISA’ya 2009 yılında katılan ve etkin olmayan okullardan biri olan İlköğretim Okullarının etkinlik puanı 57,64’tür. Etkin olmayan bu birimin 1/ESCS değerinde 2,26, öğrencinin okul dışında ders çalışmaya zaman ayırmaması durumunda 0,07 birim azaltma yapılması ve çıktı değişkenlerinde matematik
puanında 29,40 puan artışı olması gerekmektedir.
Analiz sonucunda, Tablo 6’da görüldüğü gibi, 2009
yılında, tüm okul türlerinde öğrencilerin derse aktif
katılmama durumunda, bir azaltma yapılması gerekmediği görülmüştür. Tablo 5’te görüldüğü gibi
2006 yılında ise iki okul türünde öğrencilerin derse
aktif katılmama durumunda bir azaltma yapılması
gerekirken Tablo 4’te görüldüğü gibi, 2003 yılında
dört okul türünde, öğrencilerin derse aktif katılmama durumunda bir azaltma yapılması gerekmektedir. Diğer bir ifadeyle, öğrencilerin derse aktif katılma durumlarının 2003 yılından 2006 yılına, 2006
yılından da 2009 yılına göreli olarak arttığı görülmektedir. Bu durum, yenilenen program ile uygulamaya yansıması beklenen öğrencinin derse aktif
katılma durumunun, aşamalı olarak uygulamaya
geçirildiği sonucu olduğunu düşündürtmektedir.
Tablo 6.
2009 Yılı PISA Dönemine Katılan Okul Türlerinin Etkinlik Değerleri ve Etkin Olmaları için Yapılması Gerekenler
Azaltılması Gereken Birimler
Okul Türleri
Fen Lisesi
a
Anadolu Lisesi a
Etkinlik
Puanı
Örnek alınması
gereken okul
1/ESCS
Derse aktif
katılmama
durumu
Arttırılması Gereken Puanlar
Okul dışı
derslerine zaman
ayırmama
Matematik
Fen
Okuma
100
100
Anadolu Meslek Lisesi
88,79
Anadolu L. (0,88)
0,18
0
1,39
50,23
14,14
0
Genel Lise
87,25
Anadolu L. (0,85)
0,24
0
0,80
40,50
14,35
0
Meslek Lisesi
71,96
Anadolu L. (0,77)
0,39
0
0,17
40,26
7,33
0
57,64
Anadolu L. (0,6)
-Fen L. (0,51)
2,26
0
0,07
29,40
0
0
İlköğretim Okulları
a
Etkin olan okulları göstermektedir.
957
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
Yenilenen program ile öğrencilerin okul dışında
derslerine zaman ayırma durumunun, 2006 yılından 2009 yılına artması beklenmektedir. Analiz
sonucunda bu durumun Genel Lise, İlköğretim
Okulu ve Anadolu Meslek Liseleri için göreli olarak geçerli olduğu görülmüştür. Meslek Liselerinde
öğrenim gören öğrencilerin ise 2009 yılında 2006
yılına göre, göreli olarak okul dışı derslerine daha
fazla zaman ayırmadıkları saptanmıştır.
Analiz sonucunda, Tablo 6’da görüldüğü gibi, 2009
yılı PISA döneminde tüm okul türlerinde öğrencilerin matematik puanında, fen puanından daha
fazla puan artışı gerekmektedir. Tablo 5’te görüldüğü gibi, 2006 yılı PISA döneminde ise genelde fen
puanında, matematik puanından daha fazla artış
gerekmektedir. Ayrıca, Tablo 4’te görüldüğü gibi,
2003 yılı PISA döneminde tüm okul türlerinde
öğrencilerin matematik puanında, fen puanından
daha fazla puan artışı gerekmektedir. Bu durumda, öğrencilerin fen başarısının göreli olarak 2003
yılından 2006 yılına düştüğü, 2006 yılından 2009
yılına ise arttığı ifade edilebilir. Bu bağlamda, öğrencilerin matematik başarısının göreli olarak 2003
yılından 2006 yılına arttığı, 2006 yılından 2009 yılına ise düştüğü şeklinde yorumlanabilir.
Anadolu Meslek Liseleri ve Genel Liselerde öğrenim gören öğrencilerin okul dışında ders çalışmaya yeterince zaman ayırmamaları ve öğrencilerin
matematik başarılarının düşük olması bu okul
türlerinin etkin olmasına en fazla engel olurken,
Meslek Liselerinde ve İlköğretim Okullarında öğrenim gören öğrencilerin ise ESCS değerlerinin ve
öğrencilerin matematik başarılarının düşük olması
bu okul türlerinin göreli olarak etkin olmasına en
fazla engel olmaktadır.
Üç PISA Döneminde de Okul Türlerine Göre
Etkinlik Değerlerinin Yıllara Göre (2003-20062009) Değişimi
Üç PISA döneminde de ortak okul türlerinin etkinlik değerlerinin yıllara göre değişiminin belirlenmek istendiği ikinci amaca yönelik olarak ölçeğe
göre sabit getiri varsayımı altında yapılan Window
Analizi sonucu Tablo 7’de verilmiştir.
Tablo 7’de, İlköğretim Okullarının ve Meslek Liselerinin 2006 yılındaki etkinlik değerlerini 2009 yılında düşürdükleri görülmektedir. Etkinlik değerini
2006 yılından 2009 yılına arttıran okullar; Genel
Liseler ve Anadolu Meslek Liseleridir. Okul türlerinin yıllara göre etkinlik değişim yüzdeleri Tablo
8’de verilmiştir.
958
Tablo 7.
Yıllara Göre Okul Türlerinin Etkinlik Puanlarının Window
Analizi Sonucu
Yıllar
Okul Türü
2003
2006
2009
Fen Lisesi
100
100
100
Anadolu Lisesi
97,70
100
100
Genel Lise
71,51
81,97
87,25
Anadolu Meslek Lisesi
69,92
80,97
88,79
Meslek Lisesi
61,20
72,55
71,96
İlköğretim Okulu
51,98
61,17
57,64
Tablo 8.
Okul Türlerinin Yıllara Göre Etkinlik Değişim Yüzdeleri
Yıllara Göre Değişim (%)
Okul Türü
Fen Lisesi
Anadolu Lisesi
2003 2006
2006 2009
2003 2009
0
0
0
2,35
0
2,35
26,99
Anadolu Meslek Lisesi
15,80
9,66
Genel Lise
14,63
6,44
22,01
Meslek Lisesi
18,55
-0,81
17,58
İlköğretim Okulu
17,68
-5,77
10,89
Tablo 8’de görüldüğü gibi, 2003 yılına göre 2006
yılında etkinliğini en fazla arttıran okul türü
(%18,55) Meslek Liseleridir. Daha sonra sırasıyla
İlköğretim Okulları (%17,68), Anadolu Meslek Liseleri (%15,80), Genel Liseler (%14,63) ve Anadolu
Liseleri (%2,35) etkinliklerini artıran okul türleri
olmuşlardır. Etkinliğini 2006 yılına göre 2009 yılında en fazla arttıran okul türü ise (%9,66) Anadolu Meslek Liseleridir. Daha sonra Genel Liseler
(%6,44) etkinliğini artıran okul türü olmuştur. Etkinlik bakımından düşüş yaşanan okullar ise İlköğretim Okulları (-%5,77) ve Meslek Liseleridir
(-%0,81). Etkinliğini 2003 yılına göre 2009 yılında
en fazla arttıran okul türü Anadolu Meslek Liseleridir (%26,99). Daha sonra sırasıyla Genel Liseler
(%22,01), Meslek Liseleri (%17,58) ve İlköğretim
Okulları (%10,89) ve Anadolu Liseleri (%2,35) etkinliklerini artıran okul türleri olmuşlardır.
Tartışma
PISA 2003, 2006 ve 2009 uygulamasına katılan okul
türlerinden, etkin ve etkin olmayanlar, örnek alınması gerekenler ve etkin olmayanlar için yapılması
gerekenlerin belirlenmek istendiği ilk amaç için
elde edilen bulgulara ilişkin açıklamalar literatürle de tartışılarak sunulmuştur. İlk alt amaca yanıt
bulabilmek amacıyla, PISA 2003 dönemi verilerinin analiziyle elde edilen bulgular, Berberoğlu ve
YALÇIN, TAVŞANCIL / Türk Öğrencilerin PISA Başarı Düzeylerinin Veri Zarflama Analizi ile Yıllara Göre Karşılaştırılması
Kalender (2005) ve Berberoğlu (2007) tarafından
yürütülen araştırmalarda görülen, PISA 2003’e katılan okullardan Genel, Meslek ve Anadolu Meslek
Liselerinin düşük performans düzeyleri gösterdiği,
özellikle Genel Liseler ve İlköğretim Okullarının
uluslararası ortalamanın çok altında kaldığı; Fen ve
Anadolu Liselerinin yüksek performans düzeyleri
gösterdiği şeklindeki bulgusuyla tutarlılık göstermektedir. MEB’in (2005b) raporunda, Çifçi (2006)
ve Depren’in (2008) PISA 2003 verileri ile yaptıkları
çalışmalarda da benzer bulgular elde edilmiştir.
İlk alt amaca yanıt bulabilmek amacıyla, PISA 2006
dönemi verilerinin analiziyle elde edilen en başarılı ve başarısız okullar bulguları, MEB’in (2007)
raporu, Demir ve arkadaşlarının (2009) çalışması ve Albayrak’ın (2009) yaptığı araştırmada elde
edilen bulgular ile paraleldir. Dinçer ve Kolaşin’in
(2009) PISA 2006 verileri ile yaptığı araştırmada da
Türkiye’de okullar arası başarı farklılığı desteklenmektedir.
İlk alt amaca yanıt bulabilmek amacıyla, PISA 2009
dönemi verilerinin analiziyle elde edilen en başarılı ve başarısız okullar bulguları, MEB’in (2010)
raporu ile paraleldir. Eğitim Reformu Girişimi
[ERG] (2011) tarafından açıklanan raporda, Türkiye’deki okulların sosyo-ekonomik kökene göre
ayrıştığı gözlemlenmektedir. Bu durum, öğrenci
başarıları arasındaki farkları daha da derinleştirmektedir. MEB (2010) tarafından yayımlanan PISA
araştırması bulgularına göre, Türkiye’de okullar ve
okul türleri arasında sosyo-ekonomik ayrışma oldukça yoğundur. Öğrenci başarısının, öğrencinin
sosyo-ekonomik durumuna göre oldukça farklılık
gösterdiği, PISA ile ilgili Türkiye’de ve yurt dışında yapılmış araştırmalar (Boztunç, 2010; Demir ve
ark., 2009; Dinçer ve Kolaşin, 2009; Geske ve ark.,
2006; Nonoyama, 2005; Özbaşı ve ark., 2010; Salasvelasco, 2006; Şaşmazel, 2006; Tomul ve Çelik,
2009; Wolfram, 2005) ile de desteklenmektedir.
Türkiye’de okulların sosyo-ekonomik kökene göre
bu kadar ayrışmış olmasının nedenlerinin başında
ortaöğretimde okulların türlere bölünmüş olması,
okullar arası kalite farklılıkları ve merkezi sınav sistemleri gelmektedir (ERG, 2011). Öğrenciler, rekabetçi sınav sistemlerine göre okullara yerleştirildiği
için okul türleri ve okullar arasındaki öğrenci başarıları ve kalite farkları yoğunlaşmakta, kalite farkları yoğunlaştıkça öğrencilerin sınavlardaki rekabet
duygusu artmakta, dolayısıyla sosyo-ekonomik
kökenin öğrenci başarısı üzerinde belirleyiciliği
artmaktadır.
PISA 2003, 2006 ve 2009 uygulamasına katılan
okullardan Fen Liseleri, üç PISA döneminde de en
etkin okul türüdür. Yani, Fen Liselerinde öğrenim
gören öğrenciler, yüksek matematik, fen ve okuma
başarısı gösterecek girdilere (derse aktif katılma
durumu, okul dışında ders çalışmaya zaman ayırma durumu ve ekonomik, sosyal ve kültürel statü
indeks değerinin yüksekliği) sahiptirler. Anadolu
Liseleri, 2009 ve 2006 PISA döneminde en etkin
okullardan biriyken 2003 PISA uygulamalarında
etkin sayılabilir bir puana sahiptir.
Üç PISA döneminde de etkinliğini koruyan, yani
örnek alınabilecek okullar grubuna giren okul türü
Fen Liseleridir. Üç PISA döneminde de İlköğretim
Okullarının en başarısız okullar olduğu görülmüştür. Araştırma sonuçları, 2003 yılı PISA uygulamalarından 2009 yılı PISA uygulamalarına kadar liseler arası nitelik farkının çok açık bir şekilde devam
ettiğini göstermektedir.
Öğrencilerin derse aktif katılma durumu, üç PISA
döneminde de aşamalı olarak artmakta, diğer bir
ifade ile göreli olarak uygulamaya yansımaktadır.
Öğrencilerin okul dışında derslerine zaman ayırma
durumunun, 2006 yılından 2009 yılına Genel Lise,
İlköğretim Okulu ve Anadolu Meslek Liselerinde
arttığı, Meslek Liselerinde öğrenim gören öğrencilerin ise 2009 yılında 2006 yılına göre göreli olarak
okul dışı derslerine daha fazla zaman ayırmadıkları saptanmıştır. Meslek Liselerinde öğrenim gören
öğrencilerin okul dışında ders çalışmaya yeterince
zaman ayırmaması, üç PISA döneminde de bu okul
türlerinin başarısız olmasına yol açmaktadır. Meslek Liselerinde öğrenim gören öğrencilerin okul
dışında ders çalışmaya daha fazla zaman ayırması
için yetkililere Meslek Liselerinde uygulanan programları gözden geçirmesi önerilmektedir.
Üç PISA döneminde de İlköğretim Okullarında öğrenim gören öğrencilerin düşük ekonomik, sosyal
ve kültürel durum indeksi değerine sahip olması
üç PISA döneminde de bu okul türünün başarısız
olmasına yol açmaktadır. Eğitimde fırsat eşitliğinin
sağlanmamasının, liseler arası nitelik farkına, nitelik farklarının da öğrencilerin liseye giriş sınavlarındaki başarı farklarına yol açtığı; başarı farklarının da öğrencilerin sosyo-ekonomik düzeyinin
farklı olmasından kaynaklı olduğu düşünülerek bu
kapsamda önlemler alınmasının önerilmesi gerekli
görülmüştür.
Tüm okul türlerinin 2003 yılından 2009 yılına etkinlik değeri artmıştır. Okul türlerinin 2003 yılından 2009 yılına etkinlik değerindeki artış, eğitim
programlarının aşamalı olarak uygulamaya yansıması ve öğrenci başarısındaki artıştan kaynaklanabileceği düşünülmekle birlikte, araştırma kapsamına dâhil edilmeyen değişkenlerin de bu artışa
959
KURAM VE UYGULAMADA EĞİTİM BİLİMLERİ
neden olabileceği göz önünde bulundurulmalıdır.
Bazı okulların etkinlik değeri 2006 yılına göre 2009
yılında artmış olsa da bu artış, 2003 yılından 2006
yılına okulların etkinlik değerindeki artıştan daha
azdır. Bu durumun, öğretmen ve öğrencilerin yeni
programa uyum sürecinden kaynaklanabileceği
düşünülmektedir. Ayrıca tüm okul türlerinde yıllara göre değişimin farklı olduğu görülmektedir. Bu
durumun her uygulamada tüm okul türleri içinden
tesadüfi olarak seçilen okulun niteliğinden kaynaklanabileceği düşünülmektedir. Öğrencilerin fen
başarısının göreli olarak 2003 yılından 2006 yılına
düştüğü, 2006 yılından 2009 yılına ise arttığı; matematik başarısının ise göreli olarak 2003 yılından
2006 yılına arttığı ancak 2006 yılından 2009 yılına
düştüğü görülmüştür.
Araştırma sonucu, liseler arası nitelik farkının çok
açık bir şekilde devam ettiği görülmüştür. Bu bağlamda, MEB’in ortaöğretimdeki program ve okul
çeşitliliğini azaltmak yönünde yaptığı çalışmaların
etkililiğini tekrar gözden geçirmesi, gerekirse yeniden yapılandırması önerilebilir.
Bu araştırmada, 2006 yılında uygulamaya konulan
ilköğretim (6., 7. ve 8. sınıf) programlarının öğrencilerin başarıları üzerinde etkili olup olmadığını
960
belirlemek amacıyla girdi değişkenleri; öğrencinin
derse aktif katılımı, okul dışında ders çalışmaya ayrılan zaman, ekonomik, sosyal ve kültürel statü indeks değeri maddeleri olarak belirlenmiştir. Araştırmacılar farklı girdi değişkenleri ile çalışabilirler.
PISA 2009 anketlerinde, coğrafi bölgelere ait bilgi
yer almadığından ve raporlaştırma çalışmaları devam ettiği için EARGED’den raporlar edinilemediğinden bu araştırmada kullanılamamıştır. Araştırma, eğer veriler açıklanırsa bölgeler bazında karşılaştırmalar yapılarak tekrarlanabilir.
EARGED’den 2009 yılı uygulamalarına katılan okul
adları, kanunen ve PISA kapsamındaki anlaşmalar
gereği edinilemediğinden okul anketi verileri bu
araştırmanın kapsamına dâhil edilememiştir. Araştırma, eğer veriler açıklanırsa okul anketi verileri de
kullanılarak yapılabilir.
Karar verme birimi sayısının artması, daha fazla
girdi ve çıktı değişkenlerini kullanmaya ve etkinlik
değerlerinin daha ayırt edici olmasına fırsat verdiğinden, araştırmacılar KVB’lerinin sayısını arttırarak (örneğin uygulamalara katılan okulların her
birini karar verme birimi olarak alarak) farklı girdi
ve çıktı değişkenleri ile çalışabilirler.
Educational Sciences: Theory & Practice • 14(3) • 961-968
©
2014 Educational Consultancy and Research Center
www.edam.com.tr/estp
DOI: 10.12738/estp.2014.3.1748
The Comparison of Turkish Students’ PISA Achievement
Levels by Year via Data Envelopment Analysis*
a
b
Seher YALÇIN
Ezel TAVŞANCIL
Ankara University
Ankara University
Abstract
This research aimed to determine the relative efficiency of the types of school common to three administrations
of the PISA (2003-2006-2009) by comparing their results, along with the activities that are to be performed for
inefficient school types and changes in the efficiency value of the school types by year. The comparative analysis
was based on information obtained from student questionnaires and cognitive skills tests. Turkish students
completing the PISA in 2003, 2006, and 2009 comprised the population of the survey-based study. In the study,
the data obtained from the PISA tests were analyzed using Data Envelopment Analysis (DEA). The results of
the study indicated that the differences in quality among high schools are still prominent. The low economic,
social, and cultural index of the elementary-school-level students, and vocational high school students’ inability
to allocate sufficient time for study outside of school hindered these schools’ efficiency, as shown in the three
administrations of the PISA. Consequently, student achievement was found to vary by year, and variables to be
increased or decreased for improved student success have been identified.
Key Words
DEA, PISA, School Type, Student Achievement.
Education is currently the most important
component of economic and social development,
and is in rapid and constant change worldwide.
Education is one of the most effective tools of
political, social, and cultural integration and
management of changes (Milli Eğitim Bakanlığı
[MEB], 2005a). Educational institutions aim
to cultivate individuals able to respond to the
requirements of the constantly changing world
(Kutlu, Doğan, & Karakaya, 2008). Students’ success
in life depends on their attaining levels at which they
are able to use the basic knowledge and skills they
have learned during their school years (Berberoğlu,
2006). Looking at students’ levels of success in their
school lives, we can make some deductions for
the power of rivalry in countries’ future economy
(Acar, 2008). By means of successful individuals
will increase the workforce, which ensures the
country’s development. Students’ academic success
is considered an important representation of the
effectiveness of the educational system in many
countries. In the process of finding and improving
* This research has been produced from Seher YALÇIN’s (2011) master’s thesis entitled “The Comparison of
Turkish Students’ PISA Achievement Levels in relation to Years via Data Envelopment Analysis” under Prof.
Dr. Ezel TAVŞANCIL’s supervision at Department of Measurement and Evaluation, Ankara University.
a Seher YALÇIN is currently a Ph.D. student of Measurement and Evaluation. Her research interests include
large scale testing, determining the factors influencing academic achievement in national and international
exams, and methods data analysis. Correspondence: Ankara University, Faculty of Educational Sciences,
Department of Measurement and Evaluation, 06590 Ankara, Turkey. Email: [email protected]
b Ezel TAVŞANCIL, Ph.D., is currently a professor of Educational Measurement and Evaluation. Contact:
Ankara University, Faculty of Educational Sciences, Department of Measurement and Evaluation, 06590
Ankara, Turkey. Email: [email protected]
EDUCATIONAL SCIENCES: THEORY & PRACTICE
deficiencies in the educational system and its
components, most decisions are made according
to the findings obtained through objective
instruments of measurement (MEB, 2010).
variable is defined as the opportunities teachers give
students to speak their minds while discussing their
coursework and it also includes the motivation the
teacher provides for the students.
One of the examinations used by the Ministry of
National Education to evaluate student success
is international, and compared the educational
system with those of other countries: The Program
for International Student Assessment (PISA),
prepared by the Organization for Economic CoOperation and Development (OECD). The PISA
is a study carried out every three year to evaluate
students’ knowledge in math, science, and reading
skills, it evaluates how much knowledge 15-yearold students in the OECD and other participating
countries have so that they can understand their
place in the modern world (MEB, 2010).
Another variable of this study is related to the
time students spend studying outside the school.
This variable is measured by taking the average
number of hours of private courses outside school
hours (either in school, home, or any other place),
independent study, and doing homework. Student’s
active participation and time devoted to studying
outside the school are the variables expected to
contribute to increased levels of student success.
Therefore, these variables are considered valuable
for researchers.
Turkey participated in PISA in 2003 for the first
time. The 2003 PISA results demonstrated math
literacy; the average score was 425. According
to the experts, this score is under even basic
proficiency level. Although important reforms were
made in 2006, results from that year were the same.
In 2009, Turkey’s PISA score increased from 425 to
446. From 2006, when the focus of field was science
literacy, to the year 2009, Turkey has experienced
a thirty score increase. In comparison to 2006
PISA scores, literacy scores increased by 17 (MEB,
2010). Although the scores increased, the position
of Turkey in the international frame remained
mostly unchanged. While Turkey stood between
37th and 44th positions among 75 countries in 2006,
in 2009 Turkey remained in 41st and 43rd positions
among 65 countries. The fact that the nation’s
standing did not change and that student success
did not significantly improve should be analyzed by
different statistics.
Curricula have always been the focus of
developments in education, requests for
change, and innovation (Sönmez, 1991). Turkey
implemented new curricula to meet the educational
goals of the European Union in 2004 (Akşit, 2007).
In the revised curricula, the behaviorist approach
was replaced by cognitive and constructivist
approaches. According to constructivist learning
theory, learning is not a passive process, but
requires active student participation and is a
continuous developmental process.
The revised curriculum assumes that active student
participation in lessons will facilitate permanent
learning and therefore increase success. Therefore,
one of the variables used in the study is the active
participation of the students in their lessons. This
962
One of the changes that the MEBs implemented
according to the improvements plan and
government programs is a study aimed to streamline
the curricula and course variety in secondary
schools. With this objective, the number of types of
schools in Turkey will be reduced to 15, consistent
with the philosophy “single management, many
programs.” (Gür & Çelik, 2009).
Previous PISA studies conducted in Turkey have
focused primarily on the PISA 2003 and/or 2006
administrations and questionnaires, with the goal
of discerning whether the impacts of mathematics/
science/reading achievement can be detected
by comparison of different techniques within a
three-year period (Akyüz & Pala, 2010; Albayrak,
2009; Anıl, 2008, 2009; Aydın, Erdağ, & Taş, 2009;
Aydoğdu, Aydın, & Dönmez, 2009; Berberoğlu &
Kalender, 2005; Boztunç, 2010; Çifçi, 2006; Demir,
Depren, & Kılıç, 2009; Depren, 2008; Dinçer &
Kolaşin, 2009; Erbaş, 2005; Güzel, 2006; Özbaşı,
Demirtaşlı, Kumandaş, & Yalçın, 2010; Özer, 2009;
Şaşmazel, 2006; Tomul & Çelik, 2009; Usta, 2009;
Uysal, Aydın, & Sarıer, 2009; Yıldırım, 2009) and the
abroad (Afonso & Aubyn, 2005; Agasisti, in press;
Cromley, 2009; Geske, Grinfelds, Dedze, & Zhang,
2006; Lynn & Mikk, 2009; Mancebón, Calero,
Choi, & Perez, 2010; Nonoyama, 2005; Perelman
& Santin, 2008; Salasvelasco, 2006; Sutherland,
Price, Joumard, & Nicq, 2007; Wolfram, 2005; Xu,
2006). In Turkey, the research in which descriptive
statistics are determined by multiple-variable
variance analysis or multiple linear regression
analysis have found that the levels of student
success vary according to students’ socioeconomic
status, their parents’ education level, and the type
of school they attend. Furthermore, in the studies
it was found out that there was no significant
improvement in student success levels in these
YALÇIN, TAVŞANCIL / The Comparison of Turkish Students’ PISA Achievement Levels by Year via Data Envelopment Analysis
years. In these studies, a single output variable
(reading, math, or science) was used to limit the
analysis. Furthermore, in the studies done carried
out outside Turkey hierarchical linear modeling or
data envelopment analysis were used to identify
the factors efficient in changing student success, as
well as changing student success itself, in different
countries. Student success was has thus been seen
to vary according the socioeconomic conditions
and the parents’ levels of education.
In the studies on PISA data in Turkey and abroad,
parametric statistical methods and 2000, 2003 and/
or 2006 data were used. These studies commonly
found that student success varied according to
students’ socioeconomic status of the student and
parents’ educational levels. In Turkey, a few studies
(Demir & Depren, 2010; Depren, 2008) addressed
DEA through PISA data, but many more of these
studies (Afonso & Aubyn, 2005; Agasisti, in press;
Cebada, Chaparro, & Gonzales, 2009; Ferrera,
Cebada, Chaparro, & González, 2011; Mancebón
et al., 2010) have been conducted abroad than in
Turkey. This research aims to contribute to this
work, using PISA data with the non-parametric
method DEA. This study differs from previous
ones in looking at other studies in a long-term
comparison from 2003 to 2009. Also this study
analyzes scores for reading, math, and science
simultaneously. Moreover, in these studies, the
variables that are efficient in increasing student
success are emphasized, but recommended
increases or decreases in the variables are not
clearly stated (Yun, Nakayama, & Tanino, 2004).
1. It remains to be determined whether changes in
available school types will affect student success.
Likewise, it remains to be determined whether
such changes will occur. The fact that student
success is designated in terms of school years
and the efficiency of educational investments are
topics of growing interest worldwide. The results
of the 2003 PISA, in which Turkey participated
for the first time, triggered improvements to
secondary school curricula. In this respect,
the secondary school (6th, 7th, and 8th grades)
curricula introduced in 2006 and the effects of
education investments on students’ academic
success are two important issues to be kept in
mind. Therefore, one must examine levels of
success according to changes in school types and
in particular through the comparison of primary
school curricula introduced in 2006. This study
addresses the following questions: For the
periods of the 2003, 2006, and 2009 PISA,
a. Which were the efficient school types?
b.Which were the inefficient school types?
c. Which school or schools form the reference set
of efficient and inefficient school types?
d.What should be required to the input levels and
produce output levels for inefficient type/types
of school?
2. What is the efficiency value of each school type
in each year?
PISA results are a good predictor of student
achievement, and the education system is of great
importance for identifying problem points using
long-term analysis of the PISA results. Studies using
PISA data will be able to contribute to training
policies and improving the quality and success rates
in education and development.
The studies which use PISA data, one of the
studies used internationally will be able to bring a
contribution to training policies and improving the
quality and success in education, development and
robust aspects of the education system
This research is important because Turkish students’
achievement levels on the PISA are compared by
type of school and year (2003, 2006, and 2009). In
other words, it can be concluded that the education
system has a serious problem considering Turkey’s
PISA success in 2003, 2006, and 2009. For this
reason, examining the PISA applications is crucial
for determining problem points in the education
system.
The findings of this study will be significant for
useful to measurement and evaluation experts in
situations that require multiple inputs (i.e, students’
socio-economic status, the time students have
available outside school for studying), outputs (i.e,
students in math, science and reading achievement),
and to those who wish to get better measurement
results from their analytic work, particularly with
studies analyzing multiple outputs as a single output.
The fact that PISA applications include more than
one input and output in different scales and that
they benefit from DEA will better guide managers to
understand the level of increase or decrease required
in their inputs and outputs in inefficient units. It will
also help us define the sources of the inefficiency by
using the data from the 2009 PISA. This study will
thus contribute to the field and will introduce the
non-parametric method DEA to Turkey, where such
studies are uncommon.
Some of the concepts used in this research can be
found below:
963
EDUCATIONAL SCIENCES: THEORY & PRACTICE
Input: The economic, social, and cultural status
index, the active participation of students in classes,
and the time students have available outside school
for studying. All of these were among the items
from the student questionnaires in the 2003, 2006,
and 2009 PISA.
Output: mathematics, science, and reading
achievement scores from the 2003, 2006 and 2009
PISA.
Value Efficiency: The scores assigned to each
student according to their success in math, science,
and reading in relation the type of school attended.
Decision-Making Unit: The type of school
according to the scores calculated among the
schools administering the 2003, 2006, and 2009
PISA (Anatolian, science, general, Anatolian
vocational, vocational high schools, and elementary
school).
Method
Model of Research
This study used a survey model to reveal the
existing status of PISA achievement among
Turkish students by year.
Universe and Sampling
The subjects of the study were Turkish students
participating in the 2003, 2006, and 2009
administrations of the PISA. This subject sample
was determined by random sampling of students
taken from the seven regions of Turkey in 2003,
2006, and 2009. For all three PISA administration
periods, z scores have been calculated in relation
to the common school types included in the PISA
for mathematics, reading, and science achievement
scores, and the data beyond the +3 and −3 range
have been omitted from the analyses. After the
removal of extreme values, 4637, 4592, and 4412
students were identified for 2003, 2006, and 2009
respectively (MEB, 2005b, 2007, 2010).
The Tools for Data Collection
The cognitive skill tests and student questionnaires
used in the 2003, 2006, and 2009 PISA were also
used as data collection tools in this study. In the
PISA, different types of items are used. Most of
these consist of simple multiple-choice, yes/no, or
Agree/Disagree choice questions. The remaining
items are open-ended and require students to give
964
their own short or long answers (MEB, 2010).
The reliability and validity of PISA tests and
questionnaires were determined using different
approaches. For this reason, the views of experts,
the average scores of the questions, and the answer
codes were considered. The reliability coefficient
was calculated with the Cronbach-alpha coefficient.
For the 2003 PISA, this value was between 0.68
and 0.93 (OECD, 2005); for the 2006 PISA, it was
between 0.76 and 0.92 (OECD, 2007), confirming
its reliability.
Data Analysis
The data from the 2003, 2006, and 2009 PISA were
taken from the official PISA website (www.pisa.
oecd.org). For the first goal in the study, DEA was
used. The economic, social, and cultural status
index, the active participation of the students, and
available time for studying outside of school were
chosen as inputs in the PISA applications, and they
were defined according to three cognitive skills
(math, science and reading achievement scores),
which were posited as outputs. The choice of DEA
was made for several reasons: It helps multiplesingle output analysis and also determines the steps
for making inefficient schools efficient.
The second aim of the study was pursued using
the Window Analysis, a DEA analysis developed
by Charnes, Clark, Cooper, and Golany (1985),
which is dependent on time. It is used to define
how the efficiency value of time changes by year.
In this analysis, for each decision-making unit,
measured values are considered as if they were
different decision-making units (Cooper, Seiford,
& Zhu, 2004). The DEA is a linear-program-based
method that aims to evaluate the performances
of decision-making units at a time when different
types of outputs and inputs make it difficult to make
a comparison (Tarım, 2001; Thanassoulis, Portela,
& Allen, 2004). The DEA is a non-parametric
program developed to define the efficiency of
decision-making units using linear programming
(Aslankaraoğlu, 2006). The analyses in this is
study followed the steps of the DEA (Kecek, 2010;
Özyiğit, 2000), as shown below.
1.Choosing the Decision-making Units: In this
study, the type of schools was the decisionmaking unit.
2.Choosing the Input and Output: Among the
items found in the 2003, 2006, and 2009 PISA
student questionnaires, the items believed to
help determine the efficacy of the program
YALÇIN, TAVŞANCIL / The Comparison of Turkish Students’ PISA Achievement Levels by Year via Data Envelopment Analysis
initiated in 2006 were chosen, along with
the input variables. For input variables, the
economic, social, and cultural index, the active
participation of students in classes, and their
available time to study outside of school were
chosen. As the output variable, for each PISA
period, math, science and reading achievement
scores were chosen.
3.The Validity and the Availability of the Data
4.Choosing the DEA Model and Measuring the
Relative Efficiency: DEA models can be divided
into two groups: One focuses on input and
the one on output. In this research, under the
assumption of constant return to scale, the CCR
model was identified and used as the best way to
ensure the best output (Bektaş, 2007).
5.Efficiency Values: The type of school whose
efficiency value is 1 is considered as efficient. The
closer the value gets to 1, the more efficient the
type of school will be.
6.Reference/Control Group: Applying the same
methods used by efficient groups for inefficient
groups is assumed to raise the level of efficiency
of the latter.
7.Choosing Targets for Inefficient Units:
Attainable targets are proposed to improve the
performance of inefficient decision-making
units (Aslankaraoğlu, 2006; Aydagün, 2003).
8.Evaluation of the Results
In this study, data obtained from the 2003, 2006,
and 2009 PISA cognitive skills tests (mathematics,
science, and reading) and student surveys were
analyzed with SPSS (Version 17) and EMS programs
v1.3.0 package (Scheel, 2000).
Results
In the three administrations of the PISA, the
science high schools were found to be the most
efficient school type. The Anatolian high schools
were found efficient in the 2006 and 2009 PISA.
Primary schools were the least efficient type of
school in the three periods of the PISA. The low
levels of active in-class participation and math
scores of the Anatolian high school-level students
lowered the efficiency of this school type in the
2003 PISA. Furthermore, the low economic, social,
and cultural index and math scores of students
in the General, Anatolian vocational, vocational
high schools, and elementary schools lowered the
efficiency of these schools in the 2003 PISA.
Efficiency Values by School Type According to
the 2003 PISA, and Steps to Improve Efficiency
The only efficient school type according to the
2003 PISA was the science high schools. The
school types, ranked by efficiency, are as follows:
science, Anatolian, general, Anatolian vocational,
vocational high, and primary schools. According
to the results of current research, all inefficient
school types should take the science high schools
as a model. Relatively low math scores and low
levels of student participation in the Anatolian high
schools, along with the low ESCS scores, lowered
the efficiency of these schools, while students in the
other types of schools had lower math scores, which
also lowered their efficiency.
Efficiency Values by School Type According to
the 2006 PISA and Steps to Improve Efficiency
The science and Anatolian high school demonstrated
100% efficiency. Except for the Anatolian vocational
high schools, all of the inefficient schools used the
science high schools as their model. Anatolian
vocational high schools should take both Anatolian
and science high schools as their model. The lack of
available study time outside of school and low math
scores of students in the vocational and Anatolian
vocational high schools lowered the efficiency of
these school types, causing these students to have
lower values than the students in general high
schools with relatively low science and math scores.
The low ESCS values and low math scores of primary
school students lowered the efficiency of their schools.
Apart from the inefficient primary schools, all schools
were given Anatolian high schools as well as Science
high schools as models to emulate. We recommend
that primary schools take both Anatolian high
schools and Science high schools as their models. We
also recommend that all school types, except for the
Anatolian vocational high schools, take Anatolian
high schools as their model, while primary schools
should take science schools as their model.
Efficiency Values by School Type According to the
2009 PISA, and Steps to Improve Their Efficiency
The lack of available study time outside of class
and low math scores of students of general and
vocational high schools lowered the efficiency
of Anatolian vocational high schools. Moreover,
students with low ESCS values and math scores
in vocational high schools and primary schools
lowered the efficiency of these school types
965
EDUCATIONAL SCIENCES: THEORY & PRACTICE
Changes in Efficiency By Year According to the
PISA
The efficiency values of primary schools and
vocational high schools in 2006 decreased in
2009. The general and Anatolian vocational high
schools increased their efficiency values from 2006
to 2009. According to the 2003 PISA, the school
type showing the greatest increase in 2006 was the
vocational high school. According to the 2006 PISA,
the Anatolian vocational high schools showed the
greatest increase in 2009 of all the school types.
Discussion
Student success varied annually. It remains to be
determined which variables should be increased or
decreased to improve student success. The findings
gathered through the first analysis of 2003 PISA,
in the studies of Berberoğlu and Kalender (2005),
and Berberoğlu (2007); it has been suggested
that general, vocational, and Anatolian high
schools participating in the 2003 PISA showed
low performance levels, with general high schools
and primary schools in particular being below the
international average and that science high schools
and Anatolian high school showed consistently
high performance levels. These findings parallel
those of Depren (2008) for the best school types
according to the 2003 PISA. Çifçi (2006) asserted
that the students participating in the PISA 2003, are
below the Turkish average, and the type of school
affects student success.
In their findings for the 2006 PISA, Demir et al.
(2009) suggested that the type of school has an effect
on students’ math scores, and the most efficient
schools are the science high schools, followed by
the Anatolian high schools. These findings parallel
those of Albayrak (2009).
966
Dinçer and Kolaşin (2009) found that the success
of individual schools varies significantly in Turkey.
A report announced by the Education Reform
Initiative (Eğitim Reformu Girişimi [ERI], 2011)
showed that schools differed in socioeconomic
conditions. A study by the Ministry of National
Education (MEB, 2010) about the PISA studies
showed that the differences between the schools
and the school types are evident, and the effect
of socioeconomic condition on the schools is
clear. Student success varies by socioeconomic
conditions, which is also seen in studies carried out
in Turkey internationally on the PISA.
These findings suggest that the Ministry of National
Education should improve the efficiency of the
curriculum by aiming to decrease the curricula and
number of school types nationwide if necessary.
Equality of opportunity is not maintained under the
current system, and the differences in quality affect
students in high school entrance examinations. This
study also suggests considering the socioeconomic
conditions of students, some other precautions
should be taken.
Future research can be conducted with different
output variables. A nationwide comparison may
be done if the data are made available. Since the
names of the schools attending EARGED in 2009
weren’t disclosed and the legal requirements of
the PISA prevented school questionnaires from
being included in this research, some questions
remain. If the data are made public, they can be
used in the school questionnaires. The increase in
the decision-making units would make it possible
to use more output and input variables and to
make the efficiency values more distinguishable.
Therefore, researchers can study different output
and input variables by increasing the number of
decision-making units (for example, considering
each participating school a decision-making unit).
YALÇIN, TAVŞANCIL / The Comparison of Turkish Students’ PISA Achievement Levels by Year via Data Envelopment Analysis
References/Kaynakça
Acar, O. (2008). PISA sonuçları ışığında Türkiye’nin rekabet
gücünün değerlendirilmesi. Ankara: TEPAV. http://www.
tepav.org.tr adresinden edinilmiştir.
Afonso, A., & St. Aubyn, M. (2006). Cross-country
efficiency of secondary education provision: A semiparametric analysis with non-discretionary inputs.
Economic Modelling, 23(3), 476-491.
Agasisti, T. (in press). The efficiency of Italian secondary
schools and the potential role of competition: A data
envelopment analysis using OECD-PISA 2006 data.
Education Economics.
Akşit, N. (2007). Educational reform in Turkey.
International Journal of Educational Development, 27, 129137.
Akyüz, G. ve Pala, N. M. (2010). PISA 2003 sonuçlarına göre
öğrenci ve sınıf özelliklerinin matematik okuryazarlığına
ve problem çözme becerilerine etkisi. İlköğretim Online,
9(2), 668-678, 2010. http://ilkogretim-online.org.tr
adresinden edinilmiştir.
Albayrak, A. (2009). PISA 2006 sınavı sonuçlarına göre
Türkiye’deki öğrencilerin fen başarılarını etkileyen bazı
faktörler (Yüksek lisans tezi, Hacettepe Üniversitesi,
Ankara). http://tez2.yok.gov.tr/ adresinden edinilmiştir.
Anıl, D. (2008). The analysis of factors affecting the
mathematical success of Turkish students in the PISA 2006
evaluation program with structural equation modeling.
American-Eurasian Journal of Scientific Research, 3(2),
222-227.
Anıl, D. (2009). Uluslararası öğrenci başarılarını
değerlendirme programı (PISA)’nda Türkiye’deki
öğrencilerin fen bilimleri başarılarını etkileyen faktörler.
Eğitim ve Bilim, 34(152), 87-100.
Aslankaraoğlu, N. (2006). Veri zarflama analizi ve temel
bileşenler analizi ile Avrupa birliği ülkelerinin sıralanması
(Yüksek lisans tezi, Gazi Üniversitesi, Ankara). http://tez2.
yok.gov.tr/ adresinden edinilmiştir.
Aydagün, A. (2003). Veri zarflama analizi (HUTEN Yıl
Sonu Semineri). Hava Harp Okulu, Havacılık ve Uzay
Teknolojileri Enstitüsü, İstanbul.
Aydın, A., Erdağ, C. ve Taş, N. (2009). 2003-2006
PISA okuma becerileri değerlendirme sonuçlarının
karşılaştırmalı olarak değerlendirilmesi (Sınavda en
başarılı beş OECD ülkesi-Türkiye örneği). Kuramda ve
Uygulamada Eğitim Bilimleri Dergisi, 11, 2561-2572.
Aydoğdu, E., Aydın, A. ve Dönmez, A. (2009, Ekim).
2003-2006 PISA fen bilimleri sonuçlarının karşılaştırmalı
olarak değerlendirilmesi (Sınavda en başarılı beş OECD
ülkesi-Türkiye örneği). XVIII. Ulusal Eğitim Bilimleri
Kurultayı’nda sunulan bildiri, Ege Üniversitesi, Eğitim
Fakültesi, İzmir.
Bektaş, A. (2007). Ankara’daki özel liselerin etkinliğinin
veri zarflama analizi ile ölçümü (Yüksek lisans tezi, Gazi
Üniversitesi, Ankara). http://tez2.yok.gov.tr/ adresinden
edinilmiştir.
Berberoğlu, G. (2006). Sınıf içi ölçme ve değerlendirme
teknikleri. Ankara: Morpa Kültür Yayınları.
Berberoğlu, G. (2007). Türk bakış açısından PISA
araştırma sonuçları.
http://www. konrad.org.tr/
Egitimturk/07girayberberoglu.pdf adresinden edinilmiştir.
Berberoğlu, G. ve Kalender, İ. (2005). Öğrenci başarısının
yıllara, okul türlerine, bölgelere göre incelenmesi: ÖSS ve
PISA analizi. Eğitim Bilimleri ve Uygulama, 4(7), 21-35.
Boztunç, N. (2010). Uluslararası öğrenci değerlendirme
programı (PISA)’na katılan Türk öğrencilerin 2003 ve
2006 yıllarındaki matematik ve fen bilimleri başarılarının
incelenmesi (Yüksek lisans tezi, Hacettepe Üniversitesi,
Ankara). http://tez2.yok.gov.tr/ adresinden edinilmiştir.
Cebada, E. C., Chaparro, F. P., & Gonzales, D. S. (2009).
Comparing public-private school management through a
new educational malmquist index approach. Retrieved
from
http://2010.economicsofeducation.com/user/
pdfsesiones/120.pdf
Cooper, W. W., Seiford, L. M., & Zhu, J. (2004). Data
envelopment analysis: History, models and interpretations.
In W. W. Cooper, L. M. Seiford, & J. Zhu (Eds.), Handbook
on data envelopment analysis (pp. 1-39). New York: Kluwer
Academic Publisher.
Cromley, J. G. (2009). Reading achievement and science
proficiency: International comparisons from the
programme on international student assessment. Reading
Psychology, 30, 89-118.
Çifçi, A. (2006). PISA 2003 sınavı matematik alt testi
sonuçlarına göre Türkiye’deki öğrencilerin başarılarını
etkileyen bazı faktörlerin incelenmesi (Yüksek lisans tezi,
Hacettepe Üniversitesi, Ankara). http://tez2.yok.gov.tr/
adresinden edinilmiştir.
Demir, İ., & Depren, Ö. (2010). Assessing Turkey’s
secondary schools performance by different region in 2006.
Procedia Social and Behavioral Sciences, 2, 2305-2309.
Demir, İ., Depren, Ö. ve Kılıç, S. (2009, Ekim). Öğrencinin
aile yapısının ve sahip olduğu imkanların matematikte
başarılı olmasına etkileri. Uluslararası 5. Balkan Eğitim
ve Bilim Kongresi’nde sunulan bildiri. Trakya Üniversitesi
Eğitim Fakültesi, Edirne.
Depren, Ö. (2008). Veri zarflama analizi ve bir uygulama
(Yüksek lisans tezi, Yıldız Teknik Üniversitesi, İstanbul).
http://tez2.yok.gov.tr/ adresinden edinilmiştir.
Dinçer, M. A. ve Kolaşin, U. G. (2009). Çalışan annelerin
çocukları daha başarılı. İstanbul: Betam.
Eğitim Reformu Girişimi. (2011). PISA 2009 sonuçlarına ilişkin değerlendirme. http://erg.sabanciuniv.edu/sites/
erg.sabanciuniv.edu/files/PISA2009DegerlendirmeNotu_
Final_08022010.pdf adresinden edinilmiştir.
Erbaş, K. C. (2005). Uluslararası öğrenci başarı belirleme
programında (PISA) Türkiye’de fen okuryazarlığını
etkileyen faktörler (Yüksek lisans tezi, Orta Doğu Teknik
Üniversitesi, Ankara). http://tez2.yok.gov.tr/ adresinden
edinilmiştir.
Ferrera, J. M. C., Cebada, E. C., Chaparro, F. P., & González,
D. S. (2011). Exploring educational efficiency divergences
across Spanish regions in PISA 2006. Revista de Economia
Aplicada, 57, 117-145.
Geske, A., Grinfelds, A., Dedze, I., & Zhang, Y. (2006).
Family background, school quality and rural-urban
disparities in student learning achievement in Latvia.
Prospects: Quarterly Review of Comparative Education,
36(4), 419-432.
Gür, B. S. ve Çelik, Z. (2009). Türkiye’de millî eğitim
sistemi: Yapısal sorunlar ve öneriler. Ankara: Siyaset,
Ekonomi ve Toplum Araştırmaları Vakfı. http://www.
setav.org/public/HaberDetay.aspx?Dil=tr&hid=27373
adresinden edinilmiştir.
Güzel, İ. Ç. (2006). A cross-cultural comparison of the
ımpact of human and physical resource allocations on
student’s mathematical literacy skills ın the programme for
ınternational student assessment (PISA) (Doktora tezi, Orta
Doğu Teknik Üniversitesi, Ankara). http://tez2.yok.gov.tr/
adresinden edinilmiştir.
967
EDUCATIONAL SCIENCES: THEORY & PRACTICE
Kecek, G. (2010). Veri zarflama analizi teori ve uygulama
örneği. Ankara: Siyasal Kitabevi.
Kutlu, Ö., Doğan, C. D. ve Karakaya, İ. (2008). Öğrenci
başarısının belirlenmesi: Performansa ve portfolyoya dayalı
durum belirleme. Ankara: PegemA Yayıncılık.
Lynn, R., & Mikk, J. (2009). Sex differences in reading
achievement. TRAMES, 13(63/58), 3-13.
Mancebón, M. J., Calero, J. Choi, A., & Perez, D. (2010).
The efficiency of public and publicly-subsidized high
schools in Spain. Evidence from PISA-2006. Munich Personal RePEc Archive. Retrieved from http://mpra.ub.unimuenchen.de/22354/1/MPRA_paper_22354.pdf
Milli Eğitim Bakanlığı. (2005a). Talim Terbiye Kurulu program geliştirme çalışmaları. http://ttkb.meb.gov.tr/programlar/prog_giris/prg_giris.pdf adresinden edinilmiştir.
Milli Eğitim Bakanlığı. (2005b). PISA 2003 Uluslararası
Öğrenci Değerlendirme Projesi Ulusal Nihai Rapor. Ankara: Eğitim Araştırma ve Geliştirme Dairesi Yayınları. http://www.earged.meb.gov.tr/dosyalar%5Cdokumanlar%5Culuslararasi/pisa_2003_ ulusal_raporu.pdf adresinden edinilmiştir.
Milli Eğitim Bakanlığı. (2007). PISA 2006 Uluslararası
Öğrenci Değerlendirme Projesi, Ulusal Ön Rapor. Ankara:
Eğitim Araştırma ve Geliştirme Dairesi Yayınları. http://
www.earged.meb.gov.tr/ dosyalar/dokumanlar/uluslararasi/PISA2006.pdf adresinden edinilmiştir.
Perelman, S., & Santín, D. (2008). Measuring educational
efficiency at student level with parametric stochastic
distance functions: An application to Spanish PISA results.
Education Economics, 19(1), 29-49.
Salasvelasco, M. (2006, August). Do private schools produce
better outcomes than public schools? Evidence for Spain.
Paper presented at the Aarhus School of Business, Aarhus,
Denmark.
Scheel, H. (2000). EMS: Efficiency measurement system
users manual, Version 1.3. Dortmund, Germany:
Universität Dortmund.
Sönmez, V. (1991). Eğitim felsefesi. Ankara: Adım
Yayıncılık.
Sutherland, D., Price, R., Joumard, I., & Nicq, C. (2007).
Performance indicators for public spending efficiency in
primary and secondary education (OECD Economics
Department Working Papers, No. 546). OECD. Retrieved
from http://dx.doi.org/10.1787/285006168603
Şaşmazel, G. A. (2006). Uluslararası öğrenci başarı
belirleme programında (PISA) Türk öğrencilerin fen
bilgisi başarılarını etkileyen faktörler (Yüksek lisans tezi,
Hacettepe Üniversitesi, Ankara). http://tez2.yok.gov.tr/
adresinden edinilmiştir.
Tarım, A. (2001). Veri zarflama analizi: Matematiksel
programlama tabanlı göreli etkinlik ölçüm yaklaşımı.
Ankara: Sayıştay Yayın İşleri Müdürlüğü.
Milli Eğitim Bakanlığı. (2010). PISA 2009 Uluslararası
Öğrenci Değerlendirme Projesi, Ulusal Ön Rapor. Ankara:
Eğitim Araştırma ve Geliştirme Dairesi Yayınları. http://
www.earged.meb.gov.tr/pdf/pisa2009rapor.pdf adresinden
edinilmiştir.
Thanassoulis, E., Portela, M. C., & Allen, R. (2004).
Incorporating value judgment in DEA. In W. W. Cooper, L.
M. Seiford, & J. Zhu (Eds.), Handbook on data envelopment
analysis (pp. 132-216). New York: Kluwer Academic
Publisher.
Nonoyama, Y. (2005). A Cross-national, multi-level study
of family background and school resource effects on student
achievement (Doctoral dissertation, Columbia University).
(UMI No. 3188772)
Tomul, E., & Çelik, K. (2009). The relationship between the
students’ academics achievement and their socioeconomic
level: Cross regional comparison. Procedia Social and
Behavioral Sciences, 1, 1199-1204.
Organisation for Economic Co-operation and
Development. (2005). PISA 2003 technical report.
Paris: Author. Retrieved from http://www.oecd.org/
dataoecd/49/60/35188570.pdf.
Usta, H. G. (2009). PISA 2006 sınav sonuçlarına göre
Türkiye’deki öğrencilerin fen okuryazarlığını etkileyen
faktörler (Yüksek lisans tezi, Ankara Üniversitesi, Ankara).
http://tez2.yok.gov.tr/ adresinden edinilmiştir.
Organisation for Economic Co-operation and
Development. (2007). PISA 2005 technical report.
Paris: Author. Retrieved from http://www.oecd.org/
dataoecd/0/47/42025182.pdf.
Uysal, Ş., Aydın, A. ve Sarıer, Y. (2009, Ekim). 20032006 PISA matematik sonuçlarının karşılaştırmalı
olarak değerlendirilmesi (Sınavda en başarılı beş OECD
ülkesi-Türkiye örneği). XVIII. Ulusal Eğitim Bilimleri
Kurultayı’nda sunulan bildiri, Ege Üniversitesi Eğitim
Fakültesi, İzmir.
Özbaşı, D., Demirtaşlı, N., Kumandaş, H. ve Yalçın, N.
(2010, Mayıs). PISA uygulamasına katılan öğrencilerin ve
ebeveylerinin demografik ve sosyo-ekonomik göstergelere
ait özelliklerinin 2003 ve 2006 yılları arasındaki değişimi.
Eğitimde ve Psikolojide Ölçme ve Değerlendirme II. Ulusal
Kongresi’nde sunulan bildiri, Mersin Üniversitesi, Eğitim
Fakültesi, Mersin.
Özer, Y. (2009). Uluslararası öğrenci değerlendirme
programı (PISA) verilerine göre Türk öğrencilerin matematik
ve fen bilimleri başarıları ile ilişkili faktörler (Yüksek lisans
tezi, Hacettepe Üniversitesi, Ankara). http://tez2.yok.gov.
tr/ adresinden edinilmiştir.
Özyiğit, T. (2000). Gelişmekte olan ülkelerin göreli sosyoekonomik performanslarının değerlendirilmesi (Yüksek
lisans tezi, Galatasaray Üniversitesi, İstanbul). http://tez2.
yok.gov.tr/ adresinden edinilmiştir.
968
Wolfram, S. (2005). Measuring the socio-economic
background of students and its effect on achievement on
PISA 2000 and PISA 2003. Annual Meeting of the American
Educational Research Association, 7-11.
Xu, J. (2006). Families, investments in children and
education: A cross-national approach. Available from
ProOuest Dissertations and Theses database. (UMI No.
3219909)
Yıldırım, K. (2009). Uluslararası öğrenci değerlendirme
programı (PISA) 2006 yılı verilerine göre Türkiye’de eğitimin
kalitesini belirleyen temel faktörler (Doktora tezi, Gazi
Üniversitesi, Ankara). http://tez2.yok.gov.tr/ adresinden
edinilmiştir.
Yun, Y. B., Nakayama, H., & Tanino, T. (2004). A generalized
model for data envelopment analysis. European Journal of
Operational Research, 157, 87-105.
Download

İndir (Türkçe PDF)