Comparative Analysis of Aesthetic Judgment Between Orthodontists, General Dentists, and Different Versions of Large Language Models Using the IOTN-AC Index
Year: 2026
Type: article
Abstract: Objective: This study aimed to compare the performance and diagnostic accuracy of general dentists and different artificial intelligence (AI)-based large language models (LLMs), including their older and newer versions, in photograph-based IOTN-AC index assessments, using orthodontists' evaluations as the reference standard. Methods:The mean IOTN-AC scores derived from orthodontists were established as the reference (gold) standard.Cases were evaluated by general dentists and both earlier and newer versions of the ChatGPT, Claude, and Gemini families.Performance was analyzed using mean absolute error (MAE), Spearman's correlation, Lin's concordance correlation coefficient (CCC), systematic bias (Bland-Altman analysis), and diagnostic accuracy metrics (sensitivity/specificity) based on the clinical treatment need threshold of IOTN-AC ≥4.0.Results: General dentists demonstrated the closest agreement with the reference standard, exhibiting the lowest MAE (0.761) and the highest CCC (0.901, 95% confidence interval: 0.796-0.948).Conversely, all AI models exhibited a positive bias by systematically overestimating aesthetic impairment (+0.761 to +3.361).In the longitudinal analysis, although newer iterations of LLMs showed improved ranking performance (correlation), they regressed in absolute accuracy compared to earlier versions, exhibiting increased ÖZ Amaç: Bu çalışma, genel diş hekimlerinin ve yapay zeka (YZ) tabanlı farklı büyük dil modelllerinin (LLM) eski ve yeni versiyonlarıyla birlikte fotoğraf tabanlı IOTN-AC indeksi değerlendirme performanslarını ve tanısal doğruluklarını ortodontistlerin referans standartlarına göre karşılaştırmayı amaçlamıştır.Yöntemler: Ortodontistlerin ortalama IOTN-AC puanları referans (altın) standart olarak kabul edilmiştir.Olgular genel diş hekimleri ile ChatGPT, Claude ve Gemini ailelerinin eski ve yeni versiyonları tarafından değerlendirilmiştir.Performanslar; ortalama mutlak hata (MAE), Spearman korelasyonu, Lin'in konkordans korelasyon katsayısı (CCC), sistematik bias (Bland-Altman) ve IOTN-AC ≥4,0 klinik eşiğine göre tanısal doğruluk (duyarlılık/özgüllük) metrikleri kullanılarak analiz edilmiştir.Bulgular: Genel diş hekimleri, en düşük MAE (0,761) ve en yüksek CCC (0,901, %95 güven aralığı: 0,796-0,948) ile referans standarda en yakın uyumu göstermiştir.YZ modelleri ise estetik bozukluğu olduğundan yüksek değerlendirerek pozitif bias sergilemiştir (+0,761 ila +3,361).Boylamsal analizde, LLM'lerin yeni iterasyonları sıralama performansında (korelasyon) artış gösterse de, mutlak doğrulukta eski versiyonlara göre gerilemiş ve MAE değerleri artmıştır (örn.Gemini 3 Pro MAE 2,529'dan 3,406'ya yükselmiştir; p=0,023).IOTN-AC ≥4,0 eşiğinde LLM'ler yüksek duyarlılık (%84,6-100,0) gösterirken,
Source: Bezmialem Science
Institution: Istanbul Aydın University
Language: English
Subfield: Orthodontics
Field: Dentistry
Domain: Health Sciences
Open Access status: diamond
OpenAlex ID: W7204997717