Work

Exploring the effect of a pedagogical conversational agents warmth on learning

Year: 2023
Type: dissertation
Abstract: 교육용 대화형 에이전트는 학생들이 학습에 대해 정서적으로 참여할 수 있도록 도와주는 사회적 상호작용을 모방한다는 점에서 이점을 가진다. 교육용 대화형 에이전트는 사용되는 모달리티에 따라 다양한 형태를 취할 수 있다. 특히, 인스턴트 메시징을 학생들이 널리 사용하게 되면서 텍스트 기반의 대화형 에이전트는 교육 맥락에서 보편화되고 있다. 그러나, 그래픽 요소를 포함하는 다른 모달리티들과 다르게, 텍스트 기반의 접근 방식은 아직까지는 어떤 교수법으로 어떤 내용을 전달할지에 집중하여 제작되어 왔기 때문에 학생들과의 사회적 상호작용을 효과적으로 촉진하고 있지 못하다. 따라서 이 연구에서는 사회적 인식의 중요한 차원인 따뜻함의 정도를 조작하여 학생들이 대화형 에이전트와 사회적으로 상호작용하고 학습에 정서적으로 참여할 수 있도록 하고자 한다. 비록 정서적 참여가 학생에게 학습동기를 부여할 수 있지만, 학습에 관한 참여에는 여러 차원들이 있고 서로 밀접히 연관되어 있기 때문에 정서적 참여만으로 능동적 참여를 충분히 유도하기 어려울 수 있다. 따라서 이 연구에서는 학생에게 전달되는 학습활동의 유형을 인지적 참여 정도에 따라 조작하여 이를 보완하고자 한다. \n이 연구에서는 교육용 대화형 에이전트에서 두 변수, 따뜻함의 정도 (높음 vs. 낮음)와 학습활동의 종류 (constructive vs. active)의 효과를 알아본다. 학습경험에 대한 객관적이고 주관적인 변수들, 학습 성취와 학습에 대한 내재적 동기를 측정하였고 학습경험에 대한 추가적인 통찰을 얻기 위해 각 학생들에 대해 반구조화 인터뷰를 진행했다. 우리는 98명의 초등학교 6학년 학생을 대상으로 기하 문제를 설명하도록 하는 챗봇인 GeomBot을 제작하여 2x2 피험자 간 실험을 진행하였다. 실험 결과에 대한 양적 분석에 의하면, GeomBot이 따뜻함이 높은 메시지를 보낼 때 따뜻함이 낮은 메시지를 보낼 때보다 학생들의 학습 성취, 흥미-즐거움이 유의하게 더 높았다. 또한, 학생이 인지적 참여 정도가 높은 활동을 할 때 낮은 활동을 할 때보다 유의하게 더 높은 학습 성취와 흥미-즐거움이 관찰되었다. 그리고 학습 성취, 흥미-즐거움, 긴장-불안에 대한 유의미한 상호작용 효과를 발견할 수 있었다. 인터뷰 데이터에 대한 질적 분석을 통해서는 두 가지 주요 인사이트를 도출할 수 있었다. 첫째, 연구자가 GeomBot이 보내는 모든 메시지에 변주를 주었음에도 불구하고 학생들은 내용이 반복적이라고 인식했다. 둘째, 비록 따뜻함이 높은 메시지를 받은 학생들이 더 높은 학습 성취를 보였지만, 따뜻함이 낮은 메시지를 받은 학생들이 GeomBot을 더 정직하다고 인식했다. 인터뷰 데이터에 의하면, 따뜻함이 낮은 GeomBot이 학생들로부터 부정적인 피드백을 받았을 때 부정적인 리액션을 하기 때문에 정직하게 느껴진다고 보고되었다. 이와 반대로, 따뜻함이 높은 GeomBot은 부정적인 피드백을 받아도 긍정적으로 반응하기 때문에 덜 정직하게 느껴진다고 보고되었다. 이는 현재 버전의 따뜻함이 높은 GeomBot의 메시지가 학생의 피드백에 대해 학생의 기대에 상응하지 못하는 반응을 함을 의미하고, 이로 인해 GeomBot에 대한 정직함 인식이 저하될 수 있음을 시사한다. 두 가지 질적 분석 결과를 통합하여, 우리는 (1) 따뜻함이 높은 메시지와 따뜻함이 낮은 메시지를 자동 생성하고, (2) 학생들의 피드백에 기반하여 메시지의 따뜻함 정도를 조절하는 것이 교육용 대화형 에이전트 사용 경험을 개선하는 데 도움이 될 수 있다는 결론을 얻을 수 있었다. \n학생의 피드백에 따라 따뜻함의 정도를 조절하는 것이 에이전트에 대한 인식에 미치는 영향을 알아보기 위해, GeomPT를 제작하여 두 번째 연구를 진행하였다. GeomPT는 ChatGPT에 프롬프트 엔지니어링 기술을 활용하여 학습 활동을 전달하는 따뜻함이 높거나 낮은 메시지를 자동으로 생성한다. 두번째 연구에서는 10명의 초등학교 6학년 학생들을 대상으로, 따뜻한 메시지만 보내는 GeomPT와 공부한 그룹 (HW-C)과 학생의 피드백에 따라 메시지의 따뜻함 정도를 조절하여 보내는 GeomPT를 사용한 그룹 (HLW-C)을 비교한다. 에이전트에 대한 인식에 관한 변수들을 측정하는 것에 더하여, GeomPT에 대한 학생의 내면적 인식을 알아보기 위해, GeomPT가 어떻게 생겼을 것이라고 생각하는지 그림을 그리도록 하였다. 실험 결과를 통해, 메시지의 따뜻함을 조절한 그룹 (HLW-C)이 따뜻함이 높은 메시지만 받은 그룹 (HW-C)에 비해 더 높은 정직함 인식을 보였다. 그림 데이터에 대한 질적 분석은 학생들이 그들의 피드백에 따라 따뜻함의 정도를 조절하는 GeomPT를 더 인간답고, 또래다우며, 유능하다고 인식함을 나타내었다. \n이 연구의 기여점은 다음과 같다: (1) 우리는 교육용 대화형 에이전트에 따뜻함의 정도를 다르게 적용할 수 있는 언어적, 비언어적 단서들을 제공한다. (2) 우리는 메시지의 따뜻함과 constructive 활동 디자인에 집중하여, 생성 인공지능 중 ChatGPT를 학습 상황에 적용하기 위한 가이드라인을 제시한다. (3) 우리는 학생의 능동적 학습을 촉진하기 위해 constructive 활동을 학생의 피드백에 따라 따뜻함의 정도를 조절하여 전달하는 것에 대한 경험적 증거들을 제공한다.
Author: 오선효
Language: English
Open Access status: green
OpenAlex ID: W7028595030
Cites: 67
Cited by:
Related to: 9