Bu araştırmanın temel amacı; dereceli puanlama anahtarı (DPA) kullanmaya ilişkin deneyim yılının puanlayıcı güvenirliğine etkisini belirlemektir. Bu amaçla (DPA) kullanmaya ilişkin farklı deneyim yılına sahip üç grup puanlayıcının bulunduğu durumlarda elde edilen G ve Phi çalışması sonuçları karşılaştırılmıştır. Birinci grupta DPA kullanmaya ilişkin deneyimi az olan (1 yıl ve daha az ) ikinci grupta DPA kullanmaya ilişkin deneyimi çok olan( 5 yıl ve daha fazla) puanlayıcılar yer almaktadır. Üçüncü grupta ise deneyimi az ve çok olan puanlayıcılar bir arada yer almışlardır. Araştırmada üç farklı grupta yer alan puanlayıcılar İngilizce yazma becerisini ölçmeye yönelik geliştirilmiş açık uçlu bir başarı testini aynı DPAyı kullanarak puanlamışlardır. Çalışmaya özel bir üniversitede hazırlık eğitimi alan 120 öğrenci ve aynı okulda çalışan 12 okutman dahil edilmiştir. Araştırmada, birey ve puanlayıcıların maddeler ile çaprazlandığı ancak bireylerin puanlayıcılara yuvalandığı desenden ((b:p)xm) faydalanılmıştır. Araştırma sonucunda nitelikli bir DPA kullanıldığında DPA kullanmaya ilişkin deneyim yılının puanlayıcı güvenirliği üzerinde etkili olmadığı belirlenmiştir.
Key words: Genellenebilirlik kuramı, dereceli puanlama anahtarı, puanlayıcı güvenirliği, yuvalanmış desen
|
