Açık uçlu soruların yapay zeka destekli otomatik değerlendirilmesi ve kullanıcı deneyimleri
Year: 2025
Type: dissertation
Abstract: Amaç: Araştırmanın amacı dijital ortamdaki açık uçlu soruların otomatik değerlendirilmesi sürecinin sistem tasarımı ve uygulama boyutlarıyla incelenmesidir. Bu doğrultuda araştırma, Türkçe dilinde açık uçlu soruların otomatik değerlendirilmesi için uygun bir yapay zeka destekli sistem geliştirerek değerlendirme performansını ortaya koymak ve geliştirilen sistemin kullanımı sonucunda öğrencilerin deneyimlerini ve görüşlerini analiz etmek şeklinde iki ana hedef etrafında şekillenmiştir. Yöntem: Araştırma sorularını yanıtlamak için karma araştırma yöntemi tercih edilmiştir. Araştırma süreci karma yöntemlerden iç içe desen kapsamında yapılandırılmıştır. Araştırmanın nitel boyutu durum çalışması yöntemi çerçevesinde yürütülürken nicel boyutta ise betimsel araştırma yöntemi çerçevesi esas alınmıştır. Bulgular: Alanyazın taramasında otomatik değerlendirme sistemlerinde dize tabanlı, anlamsal tabanlı, hibrit tabanlı, makine ve derin öğrenme tabanlı yaklaşımların tercih edildiği gözlenmiştir. Derin öğrenme (%32) ve anlamsal tabanlı yaklaşımlar (%32) en çok tercih edilen yöntemlerdir. Derin öğrenme tabanlı sistemler, yüksek anlama kapasitesi ve ölçeklenebilirlik kapsamında öne çıktığı görülmüştür. BERT ve GPT gibi transformatör modelleri, özetleyici değerlendirme ve açıklayıcı geri bildirim üretme yetenekleriyle öne çıkmıştır. Geliştirilen otomatik değerlendirme sisteminin değerlendirme performansının yüksek doğruluk düzeyine (acc=91.96%) sahip olduğu gözlenmiştir. Ana uygulama kapsamında uzman değerlendirmeleri ile ilişki gücü ve uyumu değerleri (r = 0.714-1.00, κ = 0.714-1.00) olarak tespit edilmiştir. Öğrenci görüşlerinde sistem değerlendirmesi doğruluk (f=20) ve şeffaflık (f=18) açısından oldukça etkili bulunduğu gözlenmiştir. Sistem özelliklerinden anlık değerlendirme (f=20), açıklayıcı geri bildirim (f=18), açık uçlu sınav (f=12), etkileşim (f=8) ve esneklik (f=7) özelliklerinin öne çıktığı görülmüştür. Otomatik değerlendirme sistemi kullanımı öğrencilerin öğrenme yaşantılarını öğrenme süreçleri, algısal süreçler ve çalışma stratejileri bağlamlarında olumlu etkilediği gözlenmiştir. Sistemin geliştirilmesine yönelik önerilerin farklı sınav türlerinin birlikte kullanımı, yapay zeka ile sohbetin derinleştirilebilmesi ve sistem arayüzünün iyileştirilmesine yönelik olduğu gözlenmiştir. Sonuçlar: Araştırma kapsamında geliştirilen otomatik değerlendirme sisteminin alanyazında yer alan otomatik değerlendirme araştırmalarıyla rekabet edecek düzeyde değerlendirme performansına sahip olduğu gözlenmiştir. Sistem, öğrenme süreçlerini desteklemekte, öz değerlendirme ve akademik başarıyı artırmaktadır. Bununla birlikte motivasyon, özyeterlik ve öz güven gibi algısal süreçlerini olumlu etkilemiştir. Sistemin geliştirilmesi gereken yönleri (örneğin arayüz tasarımı, sınav türleri dengesi) iyileştirildiğinde, eğitimde daha etkili bir araç olarak kullanılabileceği öngörülmektedir. BERT ve GPT gibi modellerin entegrasyonu, sistemi daha şeffaf, kullanıcı dostu ve etkili hale getirmiştir.
Source: Ataturk University - AVESIS
Author: ABDULKADİR KARA
Institution: Atatürk University
Language: Turkish
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
SDG: Quality education
Open Access status: green
OpenAlex ID: W7131954165