Comparative Evaluation of Large Language Models in Addressing Autism-Related Information Queries: Insights from ChatGPT, Gemini, and Copilot
Year: 2025
Type: article
Abstract: Objective: While large language models (LLMs) have been increasingly evaluated for medical inquiries, their responses to questions about autism spectrum disorder (ASD) remain underexplored.This study aims to evaluate and compare four publicly available LLMs-ChatGPT-3.5, ChatGPT-4.0,Google Gemini, and Microsoft Copilot-regarding autismrelated queries.Methods: Nineteen frequently asked autism-related questions categorized into symptoms, diagnosis, treatment, and general information.The responses from each LLM were evaluated by three child and adolescent psychiatrists using the patient education materials assessment tool and the Global Quality Score.Thematic analysis was conducted to identify key topics.A majority consensus approach determined the final ratings, and sentiment analysis was performed to assess emotional polarity and subjectivity.Results: ChatGPT-4.0demonstrated superior overall response quality compared to Microsoft Copilot and Google Gemini (p=0.006,p=0.009).While the overall understandability of responses was similar across all LLMs, ChatGPT-4.0scored significantly higher than Microsoft Copilot on the content subscale (p=0.026), and Google Gemini outperformed ChatGPT-4.0 in word choice and style (p=0.041).Thematic analysis revealed that all chatbots emphasized early diagnosis and behavioral issues.Sentiment analysis indicated a high degree of objectivity across all models.Google Gemini displayed the highest polarity score (0.115), Amaç: Büyük dil modellerinin (large language models, LLM'ler) tıbbi sorulara verdikleri yanıtlar gün geçtikçe daha fazla araştırılmaktadır; ancak, bu modellerin otizm spektrum bozukluğu (OSB) ile ilgili sorulara verdikleri yanıtlar literatürde yeterince incelenmemiştir.Bu çalışma, otizmle ilişkili sorulara verdikleri yanıtlar açısından dört genel erişime açık LLM'i -ChatGPT-3.5, ChatGPT-4.0,Google Gemini ve Microsoft Copilot -değerlendirmeyi ve karşılaştırmayı amaçlamaktadır.Yöntemler: Otizmle ilişkili sık sorulan on dokuz soru; belirtiler, tanı, tedavi ve genel bilgi olmak üzere dört kategoriye ayrılmıştır.Her bir LLM'nin yanıtları, üç çocuk ve ergen psikiyatristi tarafından Hasta Eğitimi Materyalleri Değerlendirme Aracı ve Küresel Kalite Skoru kullanılarak değerlendirilmiştir.Tematik analiz ile temel konular belirlenmiş; çoğunluk görüşü yaklaşımıyla nihai puanlar oluşturulmuştur.Duygu analizi, yanıtların duygusal kutupluluğunu ve öznellik düzeyini incelemek amacıyla gerçekleştirilmiştir. Bulgular: ChatGPT-
Source: Gazi Medical Journal
Language: English
Subfield: Health Informatics
Field: Medicine
Domain: Health Sciences
Open Access status: diamond
OpenAlex ID: W4415104372