Year: 2026
Type: dissertation
Abstract: Bu tez çalışması, sağlık alanında görsel-dil modellerinin klinik görsel soru-cevaplama görevlerindeki performansını artırmayı amaçlamaktadır. Klinik tıp, hekimlerin büyük miktarda veriyi yorumlamasını gerektiren bir alan olup, tıbbi görüntülerin doğru analiz edilmesi tanı ve tedavi süreçlerinde kritik öneme sahiptir. Son yıllarda yapay zekâ, makine öğrenmesi ve derin öğrenme alanındaki gelişmeler; tıbbi görüntü analizi ve klinik karar destek sistemlerinde daha hızlı, tutarlı ve ölçeklenebilir çözümler üretmeyi mümkün kılmıştır. Bununla birlikte, klinik verilerin hassasiyeti ve tıbbi bilginin karmaşıklığı nedeniyle multimodal modellerin güvenilirlik ve genellenebilirlik açısından güçlendirilmesi hâlâ önemli bir ihtiyaçtır. Bu doğrultuda, 8 milyar parametreye sahip ClinicalQwen3-VL adlı yeni bir model önerilmiş ve geliştirilmiştir. Model, klinik figürleri analiz ederek alan-özel sorulara doğru, tutarlı ve güvenilir yanıtlar üretecek şekilde optimize edilmiştir. Geliştirilen model, VQA-RAD ve SLAKE veri setleri üzerinde değerlendirilmiş ve literatürdeki mevcut yöntemlerle karşılaştırılmıştır. Ayrıca, klinik Görsel Soru Cevaplama alanında yanıt değerlendirme ve sıralama süreçlerini sistematik biçimde incelemek amacıyla Clinical-VQA-JudgeBench adlı yeni bir değerlendirme veri seti hazırlanmıştır. Buna ek olarak, farklı görsel-dil modellerinden elde edilen yanıtları birleştirmeye yönelik VLM-BLENDER adlı iki aşamalı yeni bir çok modlu topluluk öğrenmesi yöntemi önerilmiştir. Bu yöntemde, ilk aşamada yanıtlar görsel içerik ve bağlamsal uyum açısından değerlendirilmekte; ikinci aşamada ise seçilen yanıtlar, metin birleştirme görevine özel olarak ince ayar yapılmış bir dil modeli kullanılarak tek ve tutarlı bir nihai çıktıya dönüştürülmektedir. Bu çalışma, klinik görsel soru-cevaplama alanına yönelik yeni bir model ve etkili bir yanıt birleştirme yöntemi sunarak, sağlık alanında çok modlu yapay zekâ sistemlerinin uygulanabilirliğine katkı sağlamaktadır.
Author: MUHAMMED ONUR ULU
Language: Turkish
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7219286834
