Year: 2024
Type: dissertation
Abstract: ChatGPT on herättänyt suurta kiinnostusta yhteiskunnan eri aloilla, niin kuin myös koulutuksessa. Tutkimustulokset osoittavat, että ChatGPT:tä voi hienosäätämisen ansiosta hyödyntää arvioinnissa luotettavana apuvälineenä. Tulosten käytännön sovellettavuutta kuitenkin heikentää se, että tekoälymallin hienosäätäminen vaatii syvällistä ymmärrystä ohjelmoinnista ja tekoälymallien toimintaperiaatteista, joita opettajalla ei välttämättä ole. Tämän tutkimuksen tarkoituksena on selvittää, voiko ChatGPT:tä ohjeistaa arviointiin sopivaksi käyttäjäystävällisesti räätälöityjen GPT-4-chattibottien luomistyökalun avulla, jossa tekoälymallin toiminnan ohjaus perustuu kehotemenetelmiin hienosäätämisen sijasta. Tutkimuksessa luotiin neljä eri kehotemenetelmien avulla ohjeistettua chattibottia, joiden arviointia verrattiin ihmisen suorittamaan arviointiin. Tarkastelemalla arvioinnin tuloksia yhdessä kehotemenetelmien kanssa luotiin käsitys ChatGPT:n soveltuvuudesta arviointiin. Tutkimusaineisto koostui 96:sta sensorien arvioimasta ja pisteyttämästä vastauksesta syksyn 2023 maantieteen ylioppilaskokeen koetehtävään 2.1 Kuvaile kaikki kolme sadetyyppiä ja nimeä kullekin sadetyypille yksi ominainen esiintymisalue. Vastaukset jaettiin kahteen ryhmään, joista yhtä käytettiin chattibottien arvioinnin kohdejoukkona ja toistachattibottien ohjeistuksessa. Lisäksi tutkimuksessa hyödynnettiin Ylioppilastutkintolautakunnan julkaisemaa Hyvän vastauksen piirteet -dokumenttia, jossa kuvataan sensorien käyttämät arviointiohjeet. Käsitys tarkemmasta arviointiohjeidensoveltamisesta luotiin teoriaohjassa sisällönanalyysissä tarkastelemalla yhdessä Hyvän vastauksen piirteitä ja sensorien antamia pisteitä. Tutkimuksessa luotiin neljä chattibottia, jotka arvioivat jokaisen vastauksen 10 kertaa. Ensimmäisen botti ohjeistettiin Hyvän vastauksen piirteillä nollakehotemenetelmää hyödyntäen. Toisen botin ohjeistus perustui ajatusketjukehotemenetelmään sisällönanalyysin tuloksista johdetuilla tarkemmilla arviointiohjeilla. Kolmas botti ohjeistettiin samalla menetelmällä kuin botti kaksi, minkä lisäksi sille syötettiin oppimateriaalia kahdesta lukion maantieteen oppikirjasta, joissa kuvailtiin sadetyyppien syntytapoja. Neljännen botin ohjeistus perustui bottien 2 ja 3 menetelmien lisäksi vähäisen ohjauksen kehottamiseen, jossa botille näytettiin pisteittäin luokiteltuja esimerkkivastauksia. Chattibottien arvioinnin tuloksia vertailtiin tilastollisesti keskenään ja sensorien arvioinnin kanssa. Lisäksi bottien 1 ja 4 palautteelle tehtiin sisällönanalyysi, jonka avulla lisättiin ymmärrystä siitä, miten botit sovelsivat arviointiohjeita. Tutkimustulokset osoittivat, että chattibottien arviointi poikkesi toisistaan samoin kuin sensorien arvioinnista. Keskimäärin chattibotit antoivat vastauksille enemmän pisteitä kuin sensorit. Arviointi oli yhdenmukaisinta botin 4 ja sensorien välillä ja poikkeavinta botin 1 osalta. Bottien 2, 3 ja 4 vertailussa ei havaittu merkittävää eroa arvioinnin yhdenmukaisuudessa. Sisäkorrelaatiokertoimen tulosten mukaan chattibottien arviointi oli johdonmukaista ja yhtenevää sensorien kanssa. Sisällönanalyysi ja chattibottien tarkkuusmittaukset kuitenkin paljastivat, että bottien arvioinnin validiteetti oli alhainen. Tutkimustuloksista voitiin päätellä, että paras tapa ChatGPT:n ohjeistamiseen oli ajatusketjukehotemenetelmän hyödyntäminen tarkemmilla arviointiohjeilla. Lisäksi tuloksia tarkastelemalla havaittiin ChatGPT:n toimintaperiaatteen asettamat haasteet arviointitehtävissä, joissa vaaditaan ihmisen kaltaista joustavaa ajattelua ja ymmärrystä. Tämä näkyi chattibottien arvioinnissa muun muassa arviointiohjeiden epäjohdonmukaisena noudattamisena ja väärien asioiden arvioimisena.
Source: UTUPub (University of Turku)
Author: Hautala, Severi
Language: Finnish
Subfield: Education
Field: Social Sciences
Domain: Social Sciences
SDG: Quality education
Open Access status: green
OpenAlex ID: W7017790068