Tokenizasyon, veri kalitesi ve alan uyarlaması ekseninde Türkçe dil modellerinin geliştirilmesi ve değerlendirilmesi
Year: 2026
Type: dissertation
Abstract: Büyük dil modellerinin İngilizce gibi yüksek kaynaklı dillerde elde ettiği başarılar, Türkçe gibi eklemeli ve biçimbilimsel olarak zengin dillere aynı ölçüde yansımamaktadır; bu performans açığının başlıca nedenleri arasında biçimsel yapıyı gözetmeyen tokenizasyon, heterojen kalitedeki eğitim verileri ve alan-özel uyarlama yöntemlerinin yetersizliği yer almaktadır. Bu tez, söz konusu üç sorunu değerlendirme standardizasyonuyla birlikte ele alan bütüncül ve tekrar üretilebilir bir araştırma çerçevesi sunmaktadır: Değerlendirme ekseninde, Türkiye'nin ulusal sınav sisteminden derlenen yaklaşık 280.000 sorudan seçilen, 62 kategoride 6.200 çoktan seçmeli soru içeren TR-MMLU karşılaştırıcısı geliştirilmiş ve açık liderlik tablosu 85 model değerlendirmesine ulaşarak Türkçe için en geniş kapsamlı kamuya açık değerlendirme zemini oluşturulmuştur. Tokenizasyon ekseninde, Türkçenin kök-ek yapısını, ses olaylarını ve biçimbirimsel bütünlüğü koruyan Morfolojik Farkındalıklı Tokenizer geliştirilmiş; önerilen Türkçe Token Oranı (%TR) ve Saf Token Oranı (%Pure) metrikleriyle TR-MMLU metni üzerinde %TR=90,29 ve %Pure=85,80 değerlerine ulaşmış, aynı mimari, veri ve başlangıç ağırlıkları altında yalnızca tokenizer değişkeninin ayrıştırıldığı kontrollü deney hattında üç farklı BPE tabanlı Türkçe tokenizera karşı STSbTR ve 26 görevli TR-MTEB değerlendirmelerinde en yüksek skorları elde etmiş ve decode(encode(w)) doğruluğu %99,48 ile tersinir bir Türkçe metin çözümleyici olarak konumlandırılmıştır. Buna ek olarak TurBLiMP üzerinde, MFT'nin morfoloji-ağırlıklı olgularda daha kararlı semantik temsil ürettiği kısa bir tanılayıcı analizle gösterilmiştir. Veri kalitesi ekseninde, örneklerin güvenilirlik sinyallerini öğrenme oranına yansıtan Veri Kalitesi Tabanlı Uyarlanabilir Öğrenme Oranı stratejisi kavramsal olarak önerilmiş ve sağlık alanındaki veri heterojenliğinin model eğitiminde dikkate alınması gerekliliği tartışılmıştır. Alan uyarlaması ekseninde, 167.000'den fazla gerçek hasta-doktor etkileşiminden derlenen Türkçe tıbbi veri seti üzerinde düşük-rank uyarlama ve küresel doğrusal enterpolasyon birleştirmesiyle alan-özel modeller geliştirilmiş; ince ayarlı model, taban modele göre uzman yanıtlarına benzerlikte %11,33 artış sağlamıştır. Cümle gömme tarafında, 8K bağlam penceresi ve 128K çok dilli sözlük kapasitesine sahip embeddingmagibu-200m modeli sunulmuş; model, STSbTR test bölümünde %77,55 (Pearson) ve %77,45 (Spearman) değerlerine ulaşmış ve TR-MTEB üzerinde 26 model arasında 63,9 puanla 7. sırada yer alarak yaklaşık $5 - $20 eğitim maliyetiyle rekabetçi bir maliyet-performans dengesi üretmiştir. Tüm veri setleri, modeller ve değerlendirme betikleri açık bilim ilkeleriyle yayımlanarak Türkçe Doğal Dil İşleme (Natural Language Processing, NLP) topluluğu için sürdürülebilir bir araştırma altyapısı oluşturulmuştur.
Author: MEHMET ALİ BAYRAM
Institution: Yıldız Technical University
Language: Turkish
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7219285598
