Assessing the performance of AI chatbots in answering patients’ common questions about lateral epicondylitis
Year: 2026
Type: dissertation
Abstract: Eesmärk: Käesoleva magistritöö eesmärk oli hinnata ja võrrelda kolme suure keelemudeli (Gemini mudel 3, ChatGPT 5.3 ja Claude Sonnet 4.6) kvaliteeti patsientide enim levinud lateraalset epikondüliiti käsitlevatele küsimustele vastamisel. Hindamisel lähtuti vastuste täpsusest, loetavusest ja lahtiütluste esinemisest. Metoodika: Magistritöös kasutati lateraalse epikondüliidi teemalise küsimustiku koostamiseks Delphi konsensusmeetodit. Küsimused esitati kolmele suurele keelemudelile (Gemini mudel 3, ChatGPT 5.3 ja Claude Sonnet 4.6), mille vastuseid hinnati täpsuse, loetavuse ja lahtiütluste esinemise alusel. Vastuste täpsust võrreldi kolme rahvusvahelise ravijuhendiga (JOSPT, BESS ja Sports Medicine). Vastused klassifitseeriti nõrkadeks, mõõdukateks ja tugevateks ravisoovitusteks või ebakorrektseteks vastusteks. Loetavust hinnati Flesch Reading Ease Score’i (FRES) abil ning lahtiütluste olemasolu binaarsel jah/eiskaalal. Tulemused: Vastuste täpsuse hindamisel osutus ChatGPT 5.3 kõige täpsemaks mudeliks: ebakorrektseid vastuseid esines vaid 6% juhtudest ning tugevaid ravisoovitusi anti 20% vastustes. Claude andis ebakorrektseid vastuseid 8% juhtudest, Gemini mudel 3 aga 26% juhtudest. Loetavuse hindamisel sai ChatGPT 5.3 kõrgeima keskmise FRES tulemuse (66), mis vastab 8.-9. klassi lugemisoskusele. Gemini (56,5) ja Claude (58,4) vastused eeldasid vähemalt gümnaasiumitasemel lugemisoskust. Lahtiütluste osas esitas Claude 8 lahtiütlust 35 vastusest, Gemini 2 lahtiütlust, samas kui ChatGPT 5.3 ei esitanud ühtegi lahtiütlust. Kokkuvõte: Uuringu tulemused näitasid, et suurte keelemudelite vastuste täpsus erines mudelite lõikes märkimisväärselt. ChatGPT 5.3 oli käesolevas magistritöös hinnatud mudelitest täpseim ja paremini loetav lateraalse epikondüliidi teemalise teabe edastamisel. Siiski ei suutnud ükski hinnatud mudel anda kõigis olukordades täielikult korrektseid vastuseid. ChatGPT 5.3 vastustes lahtiütluste täielik puudumine võib kliinilises kontekstis olla probleemne. Tulemused viitavad, et LLM-id võivad toimida terviseinfo täiendava allikana ja toetada tervishoiuspetsialistide tööd, kuid praegu ei ole need võimelised spetsialisti asendama.
Author: Orgvee, Siim
Institution: University of Tartu
Language: Estonian
Subfield: Health Informatics
Field: Medicine
Domain: Health Sciences
Keywords: lateral epicondylitis, AI chatbots, large language models, ChatGPT, Gemini, Claude, patient questions, answer accuracy, readability, Flesch Reading Ease Score, sports medicine, Delphi consensus, patient education, health information quality, sports injuries, elbow pain, treatment guidelines
Open Access status: green
OpenAlex ID: W7166963916
