Başarı Testi Geliştirme ve Madde Analizi

Başarı Testi Geliştirme ve Madde Analizi: Süreçler, Test Türleri ve Psikometrik Özellikler adlı bu çalışma, başarı testlerinin geliştirilmesi süreçleri ve madde analizi konularında kapsamlı bilgiler sunmaktadır. Çalışma, test geliştirme sürecindeki temel kavramları, farklı test türlerini, madde yazım kurallarını ve maddelerin psikometrik özelliklerinin analizini detaylandırmaktadır.

Bu makaleyi Spotify’da sesli olarak dinlemek için podcast’ine bu linkten ulaşabilirsiniz.

Testlerin Davranışların Doğasına Göre Sınıflandırılması

Çalışma, testleri davranışların doğası bakımından iki ana kategoriye ayırmaktadır: Maksimum Performans Testleri ve Tipik Tepki Testleri.

1. Maksimum Performans Testleri: Bireylerin belirli bir alandaki en yüksek performanslarını ölçmeyi hedefler. Bu kategoriye giren testler şunlardır:
   • Başarı Testleri (Erişi Testleri): Bireylerin belirli bir öğrenme süreci sonunda edindikleri bilgi ve becerileri ölçer. Öğretmen yapımı testler, hazır bulunuşluk testleri, izleme testleri ve standart (başarı) testleri bu kapsamda yer alır. Başarı testleri, bilgi, beceri ve yetenek gibi zihinsel davranışları ölçmeyi amaçlar.
   • Yetenek Testleri: Bireylerin gelecekteki potansiyel performanslarını veya belirli bir alandaki kabiliyetlerini ölçer. Genel yetenek testleri ve özel yetenek testleri olarak ikiye ayrılır. Yetenek testleri de zihinsel davranışları ölçer.
2. Tipik Tepki Testleri: Bireylerin belirli durumlara karşı tipik tepkilerini, ilgi alanlarını, tutumlarını veya kişilik özelliklerini ölçmeyi hedefler. Bu testler şunları içerir:
   • İlgi Testleri: Bireylerin belirli etkinliklere veya alanlara duydukları ilgiyi belirler.
   • Tutum Testleri: Bireylerin belirli nesnelere, fikirlere veya durumlara karşı sahip oldukları eğilimleri ve duygusal tepkileri ölçer.
   • Kişilik Testleri: Bireylerin karakter özelliklerini, davranış kalıplarını ve duygusal yapılarını anlamayı amaçlar. Kişilik testleri, objektif testler ve projektif testler (Doğan, 2004) olarak ikiye ayrılır.

Test Geliştirme Sürecindeki Temel Kavramlar

Test geliştirme sürecinde kullanılan bazı önemli kavramlar bulunmaktadır:

• Soru: Geniş anlamda bir konu hakkında bilgi edinmek için yöneltilen ifade.
• Madde: Bir testin en küçük ve bağımsız birimi; belirli bir kazanımı veya davranışı ölçen tek bir öğe.
• Test: Bir veya daha fazla özelliği ölçmek amacıyla oluşturulmuş, genellikle standardize edilmiş maddeler topluluğu.
• Sınav: Bireylerin bilgi, beceri veya yetenek düzeylerini belirlemek için uygulanan bir ölçme aracı veya durum.

Başarı Testi Geliştirme Adımları

Başarı testi geliştirme süreci, sistematik ve planlı adımlardan oluşur. Bu adımlar, testin geçerlik ve güvenirlik gibi psikometrik niteliklerini artırmak için kritik öneme sahiptir.

1. Testin Amacının Belirlenmesi: Test geliştirmenin ilk ve en önemli adımıdır. Testin neyi ölçmek ve hangi amaçla kullanılacağını net bir şekilde belirlemek gerekir. Bu amaçlar genellikle iki ana kategoriye ayrılır:
   • Öğrenme eksikliklerinin belirlenmesi: Öğrencilerin hangi konularda veya kazanımlarda yeterli olmadığını tespit etmek.
   • Öğrenci başarısının belirlenmesi: Öğrencilerin belirli bir öğrenme dönemi sonunda ulaştıkları başarı düzeyini saptamak.
2. Testin Kapsamının Belirlenmesi: Testin hangi bilgileri, becerileri ve yetenekleri içereceği bu adımda tanımlanır.
   • Kazanımlar (Öğrenme Çıktıları): Testte ölçülecek her bir kazanımın isim + fiil formatında, net ve anlaşılır bir şekilde ifade edilmesi önemlidir. Örneğin, “Bir bilimsel çalışmanın özetinde verilen bağımlı ve bağımsız değişkenleri ayırt eder” gibi. Kazanımlar, öğrencilerin öğrenmeleri veya oluşturmaları gereken bilgi ve eğitim taksonomisinde yer alan becerilerle eşleşmelidir.
   • Taksonomi Seçimi: Hangi bilişsel taksonominin (Bloom, Marzano, Haladyna, SOLO, Fink, Dettmer) kullanılacağı belirlenmelidir. Bu seçim, maddelerin bilişsel düzeyini ve derinliğini etkiler.
   • Kapsam ve Derinlik: Testin ele alacağı konuların genişliği ve bu konulara ne kadar derinlemesine inileceği belirlenmelidir.
   • Öğrenci Profili: Testin uygulanacağı öğrenci grubunun özellikleri (yaş, sınıf düzeyi, ön bilgi düzeyi) göz önünde bulundurulmalıdır.
   • Değerlendirme Amacı: Testin ölçme-değerlendirme amacıyla mı yoksa öğretim tasarımı amacıyla mı kullanılacağı netleştirilmelidir.
   • Kullanışlılık ve Yaygınlık: Testin pratik uygulanabilirliği ve yaygın kullanımı değerlendirilmelidir.
   • Belirtke Tablosu: Testin kapsamını ve kazanımlarla madde dağılımını gösteren iki boyutlu bir tablodur. Bu tablo, testin kapsam geçerliğini sağlamada kritik bir araçtır.
   • Madde Türü: Testte kullanılacak madde türleri (seçme gerektiren maddeler; çoktan seçmeli, doğru-yanlış, eşleştirme veya yanıtı yapılandırılan maddeler; açık uçlu, boşluk doldurma) belirlenir.
   • Madde Sayısı: Testte yer alacak madde sayısı saptanır.
   • Süre: Testin süresi, her bir madde türüne ayrılması gereken ortalama süre göz önünde bulundurularak planlanır (örneğin, bir dakikada bir çoktan seçmeli, üç kısa cevap veya üç doğru-yanlış maddesi).
3. Maddelerin Yazılması: Bu aşamada, belirlenen kapsam ve kazanımlar doğrultusunda test maddeleri oluşturulur.
   • Test Türü: Testler tek tip (örneğin sadece çoktan seçmeli) veya karma test (farklı madde türlerinin bir arada kullanıldığı) şeklinde olabilir. Karma testlerin psikometrik niteliklerinin daha yüksek olduğuna dair bulgular mevcuttur.
   • Bilişsel Düzey ve Kapsam: Maddelerin bilişsel düzeyi anlaşılır olmalı ve ezber yerine üst düzey bilişsel süreçlere ağırlık verilmelidir. Madde kapsamı, cevap için gerekli olmayan ilgisiz durumları içermemelidir.
   • Bağımsızlık: Testteki tüm maddeler birbirlerinden bağımsız olmalı ve birbirlerine yanıt oluşturmamalıdır.
   • Kazanım Netliği: Aynı madde içinde farklı konuların birleştiği durumlar olabileceğinden, maddenin ölçtüğü bilişsel kazanım net olmalıdır.
   • Bağlam Materyalleri: Testte kullanılacak bağlam materyallerinin (metin, görsel vb.) maddenin yanıtlanması için gerçekten gerekli olup olmadığı ve öğrenciler için anlamlı olup olmadığı belirlenmelidir. Maddenin bağlamı, mümkün olduğunca öğrencinin yakın ve uzak çevresinde karşılaştığı türden yazılmalıdır.

Madde Türleri ve Özellikleri

Çalışmada başlıca madde türleri ve bunların yazımında dikkat edilmesi gerekenler detaylıca açıklanmaktadır:

1. Çoktan Seçmeli Maddeler:
   • Genel Özellikler: Belirtke tablosunda yer alan kritik davranışı yoklamalıdır. Bir kaynaktan, özellikle ders kitabından doğrudan alınmamalıdır. Göreceli bilgilerden kaçınılmalıdır. Her madde diğerinden bağımsız yanıtlanacak şekilde yazılmalıdır.
   • Madde Köküyle İlgili Olarak: Madde kökü yalnızca o maddeyle ilgili bilgiyi yoklamalıdır. Açık, yalın ve anlaşılır olmalıdır. Seçeneklerde tekrar eden kısımlar madde köküne alınmalıdır. Madde içinde “en iyi, en çok, temel, asıl, olamaz, çıkarılamaz” gibi ifadelerin altı çizilmelidir.
   • Seçenekler (Çeldiriciler) İle İlgili Olarak: “Daima, her zaman, tamamıyla, bütün, asla, hiçbir zaman, genellikle, nadiren, bazen” gibi kelimeler ipucu vereceğinden kullanılmamalıdır. Seçenek uzunlukları birbirine yakın olmalıdır. Çeldiricilerin doğru cevaba yakınlığı ile düşünülen madde güçlük düzeyi uyumlu olmalıdır. Öğrencilerin ortak hataları göz önüne alınmalıdır. Tarih ve sayılardan oluşan seçeneklerde sıralama dikkate alınmalıdır. Seçenekler konu, anlam ve dil bilgisi bakımından madde köküyle uyumlu olmalıdır. Tüm maddelerin seçenek sayısı eşit olmalıdır.
   • İyi Bir Çeldirici (Haladyna, 2004): Yanlış ama doğru zannedilen yargılar, işlem hataları, tek başına doğru ama madde köküyle ilgili olmayan ifadeler, madde kökünde istenilenden daha dar veya daha geniş ifadeler, bilmeyen öğrencilere mantıklı görünen yanlış ifadeler içermelidir.
   • Üstün Yönleri: Açık uçlu sorulara göre daha fazla madde sorulabildiğinden testin kapsam geçerliği artar. Objektif puanlama yapılabilir, puanlama hatası minimuma iner. Basit formları eğitimin ilk kademesinde kullanılabilir. Pilot uygulama yapıldığında nihai testin güçlük durumu düzenlenebilir ve madde güçlüğüne müdahale edilebilir.
   • Zayıf Yönleri: Üst düzey becerileri ölçmede yetersiz olduğu ileri sürülmektedir (ancak yetkin yazarlar üst düzey madde ortaya koyabilir). Şans başarısından dolayı sonuçlara hata karışmakta ve geçerlik düşmektedir. Okuduğunu anlama ve okuma hızı değişkenleri ölçme sonuçlarına karışabilir (süre artırılmalı, yalın dil kullanılmalıdır). Hazırlanması zordur ve uzmanlık gerektirir.
2. Doğru-Yanlış Türü Maddeler:
   • Kullanım Alanları: Bilimsel gerçekler, kurallar ve kesin yargıların hatırlanması, olgu ve gerçeklerin görüşlerden ayırt edilmesinde kullanılabilir.
   • Yazım Kuralları: İfadeler gereksiz okuma yükünden kurtarılmalı, açık ve anlaşılır olmalıdır. Her önerme tek yargı içermelidir. Gerekli olmadıkça olumsuz ifadelerden kaçınılmalıdır. Doğru bir önermenin olumsuzluk ekleri ile yanlış bir önermeye dönüştürülmesi yoluyla yanlış madde yazma tercih edilmemelidir. Çift olumsuz ifadelerden ve anlık dikkatten kaçacak gereksiz ayrıntı içeren önermelerden kaçınılmalıdır. İfadelerin kesin doğru ve kesin yanlış olmasına dikkat edilmeli, kişisel görüş varsa mutlaka kaynak belirtilmelidir. “Asla, daima, hiçbiri” gibi yanlış olduğuna, “genellikle, bazen, sıklıkla” gibi doğru olduğuna yönelik ipucu veren kelimeler kullanılmamalıdır. Metin ve görsele bağlı ifadeler aynen kullanılmamalıdır. Madde yanıtları bir örüntü oluşturmamalıdır. Doğru ve yanlış sayısının aynı olmasına dikkat edilmelidir.
   • Şans Başarısı: Bu madde türünde şans başarısı (%50) çok yüksektir. Bu durumu azaltmak için, eğer verilen ifade yanlışsa neden yanlış olduğunun açıklanması istenebilir. Eğitimin ilk kademelerinden itibaren kullanılabilir.
   • Güçlü ve Sınırlı Yönleri: Hazırlanması kolaydır ve birçok üniteden soru sorulabilir, bu da kapsam geçerliğini artırır. Puanlama objektiftir. En temel öğrenme çıktılarını ölçmek için kullanılabilir. Tablo, görsel ve metin eklenerek kavrama ve üstündeki beceriler de yoklanabilir.
3. Eşleştirme Türü Maddeler:
   • Genel Özellikler: Temelde çoktan seçmeli madde yapısındadır. Eşleştirmenin nasıl yapılacağına dair bir yönerge mutlaka bulunmalıdır. Tanımlama seti ve yanıt setinde yer alan kavram ve açıklamalar konu birliği göstermelidir. Tanımlama setinde uzun, yanıt setinde kısa ifadeler olmasına dikkat edilmelidir. Yanıt setindeki ifade sayısı tanımlama setindeki ifade sayısından fazla olmalıdır. Yanıt setindeki ifadeler kronolojik, alfabetik veya büyüklük sırasına göre verilmelidir. Eşleştirme maddesinde 5-6’dan fazla madde yer almamalıdır. Eşleştirme setlerinin aynı sayfada yer almasına dikkat edilmelidir.
   • Güçlü ve Zayıf Yönleri: Hazırlanması kolaydır ve birçok üniteden madde sorulabilir. Objektif puanlanabilir. Özellikle hatırlama düzeyindeki maddelerle kullanılsa da farklı uyaranlar eklenerek ayırt etme ve örnek bulma gibi daha üst düzey zihinsel beceriler de yoklanabilir. Yanıt setinde yer alan madde sayısı artırılarak şans başarısının etkisi azaltılabilir, ancak şans başarısı her zaman vardır. Konu birliği sağlayan eşleştirme setleri bazen güç olabilir.
4. Yanıtı Öğrenci Tarafından Yapılandırılan Maddeler (Açık Uçlu Maddeler):
   • Yanıtı Sınırlandırılmış Açık Uçlu Maddeler: Öğrenciden maddeyi birkaç kelime, birkaç cümle, sembol ve basit formüller kullanarak yanıtlaması beklenir. Öğrenciden beklenen yanıtlar sınırlandırılmalıdır (örneğin, “iki tanesini yazınız”). Maddeyi kurgulamadan önce olası doğru yanıtlar üzerinde düşünülmeli, net ve açık bir şekilde belirtilmelidir. Bu madde türüne tamamlama ve boşluk doldurma şeklinde de kurgulanabilir. Boşluk özellikle cümle sonuna yakın olmalıdır. Maddedeki boşluk sayısı ikiden fazla olmamalıdır. Boşluğa yazılacak olan ifadenin kritik bir kazanımla ilişkili olmalıdır. Herhangi bir kaynaktan doğrudan alınmamalıdır.
   • Yanıtı Sınırlandırılmamış Açık Uçlu Maddeler (Kompozisyon/Essay Türü): Bu madde türü ile özgün ve üretken düşünme gücü, yazılım anlatım becerileri, belli konulardaki görüşü, ilgi ve tutumu ölçmede kullanışlıdır. Belirtke tablosuna bağlı kalarak kurgulanmalıdır. Madde(ler) farklı yorumlara neden olmayacak şekilde açık ve anlaşılır bir dilde yazılmalıdır. Yönerge, yanıtların yazımına ilişkin açıklama, değerlendirme ölçütleri ve puanlama bilgisini içerecek şekilde olmalıdır. “Yazın, tartışın” ifadeleri yerine “karşılaştırın, orijinal bir örnek sunun, çözüm önerin” gibi daha net ifadeler tercih edilmelidir.
   • Güçlü ve Sınırlı Yönleri (Genel Olarak Açık Uçlu Maddeler): Üst düzey zihinsel becerilerin ölçülmesinde çok kullanışlıdır. Seçme gerektiren maddelere göre kurgu olarak görece basit olsa da puanlama açısından iş yükü getirmektedir. İyi bir puanlama anahtarına ihtiyaç vardır. Şans başarısı yoktur. Ancak puanlayıcıdan kaynaklı hataların ölçmeye karışması muhtemeldir. Sınıf içi ölçümlerde belirli bir sürede yapılması gerektiği göz önüne alındığında kullanışlı olmayabilir. Öğrencilerin yazma performansı ve hızı belirleyici olmaktadır.

Test Yönergesi

Test yönergesi, öğrencilere testin uygulanması ve yanıtlanması hakkında gerekli tüm bilgileri sağlamalıdır. İçermesi gerekenler şunlardır:

• Testin amacı, verilen süre, puanlama sistemi.
• Şans başarısına bağlı düzeltme yapılıp yapılmayacağı.
• Testte farklı madde türleri varsa, genel açıklamalar yönergede, madde türlerine yönelik bilgilendirmeler ilgili maddeler başladığı yerde verilmelidir.
• Farklı cevap kağıtları kullanılacaksa her cevap kağıdı için ayrıntılı açıklama yapılmalıdır.

Madde Analizleri

Madde analizi, test maddelerinin psikometrik özelliklerini belirleyerek testin kalitesini artırmaya yönelik istatistiksel işlemlerdir.

1. Madde Güçlüğü: Bir maddenin ne kadar kolay veya zor olduğunu gösteren bir istatistiktir. İdeal madde güçlüğü, seçenek sayısına göre değişiklik gösterir. Örneğin, 2 seçenekli bir madde için .85, 3 seçenekli için .77, 4 seçenekli için .74, 5 seçenekli için .69, açık uçlu maddeler için ise .50 ideal madde güçlüğü olarak kabul edilir (Lord, 1952, akt. Aiken, 2003).
2. Madde Ayırt Ediciliği: Bir maddenin bilen öğrenciyle bilmeyen öğrenciyi ne kadar iyi ayırt edebildiğini gösterir. Genellikle üst %27’lik grubun başarı oranı ile alt %27’lik grubun başarı oranı arasındaki fark (p%27 üst grup – p%27 alt grup) veya madde ile toplam puan arasındaki korelasyon ile hesaplanır.
   • Yorumu (Ebel, 1965):
     • ≤ 0.19: Çok zayıf madde, testten çıkarılması veya tamamen revize edilmesi gerekir.
     • 0.20 – 0.29: Geliştirilmeye / düzeltilmeye ihtiyacı var.
     • 0.30 – 0.39: Oldukça iyi. Teste alınabilir.
     • ≥ 0.40: Çok iyi.
3. Madde Çeldiricilerinin İncelenmesi: Madde ayırt ediciliği, çeldiriciler hakkında dolaylı bilgi sağlar. Çeldiricilerin, bilmeyen öğrencileri kendine çekip çekmediği ve bilen öğrenciler tarafından tercih edilip edilmediği analiz edilir. İyi bir çeldirici, alt gruptaki öğrencilerin daha çok tercih ettiği, üst gruptaki öğrencilerin ise tercih etmediği bir seçenektir. Çalışmada bu analize dair örnekler sunulmuştur.

Analiz Programı: Çalışmada, test ve madde analizi için kullanılabilecek bir yazılım olan TAP.EXE programının indirme adresi (https://people.ohio.edu/brooksg/) ve programın adım adım anlatıldığı bir kaynak (Güngör, M. (2024). Tüm yönleriyle ile TAP: Test ve madde analizi) belirtilmiştir.

Sonuç olarak Çalışma, başarı testlerinin tasarlanmasından uygulanmasına ve analizine kadar olan tüm süreçleri detaylı bir şekilde ele alarak, testlerin bilimsel ve etkili bir şekilde geliştirilmesi için rehberlik etmektedir. Bu adımların doğru bir şekilde takip edilmesi, testlerin geçerlik ve güvenirlik gibi temel psikometrik özelliklerini sağlayarak eğitimde doğru ve adil ölçme değerlendirme yapılmasına olanak tanır.