ChatGPT, 수학 문제에 인간 힉생과 유사한 학습 오류

(퍼플렉시티가 정리한 기사)

인공지능 연구자들은 ChatGPT가 고대 그리스의 2,400년 된 수학 퍼즐에 도전했을 때, 인간과 매우 유사한 학습 행동을 보였음을 발견했습니다. ChatGPT는 창의적으로 해결책을 제시하고, 학생들이 익숙하지 않은 문제를 접근할 때 보이는 오류를 그대로 드러냈습니다.

이 실험은 케임브리지 대학교의 나다브 마르코 박사와 안드레아스 스타일리아니데스 교수가 진행했으며, 기원전 385년경 플라톤의 유명한 “정사각형의 두 배 만들기” 문제를 되살렸습니다. 이는 수학 교육에서 가장 오래된 실험 중 하나로 여겨집니다. 원래의 대화에서는 소크라테스가 수학을 모르는 소년을 이끌어, 정사각형의 넓이를 두 배로 만드는 방법이 단순히 한 변의 길이를 두 배로 늘리는 것이 아니라, 원래 정사각형의 대각선과 같은 길이의 새로운 변을 만들어야 한다는 사실을 발견하게 합니다.

AI가 예상치 못한 길을 선택하다

연구자들이 이 고전적인 기하학 문제를 ChatGPT-4에 제시했을 때, 그들은 챗봇이 방대한 훈련 데이터에서 잘 알려진 소크라테스식 해법을 그대로 반복할 것이라고 예상했습니다. 그러나 ChatGPT는 그들을 놀라게 하며 대수적인 방식으로 접근했는데, 이는 플라톤 시대에는 알려지지 않았던 방법이었습니다. AI는 연구자들이 실망을 표했음에도 완강하게 대수적인 방법을 고수하다가, “우아하고 정확한” 답을 원한다고 말했을 때에만 기하학적인 해법으로 바꿨습니다.

Marco는 ChatGPT의 행동을 “학습자 같은” 것으로 특징지으면서, 이 AI가 단순히 암기된 정보를 반환하기보다는 “자체적으로 가설과 해법을 만들어내는 것처럼 보였다”고 언급했습니다. 플라톤의 작업에 대해 직접 묻자, ChatGPT는 고전적인 해법에 대해 완벽히 알고 있음을 보여주었으며, 이는 정보를 몰라서가 아니라 스스로 접근 방식을 적극적으로 선택한 것으로 보였습니다.

즉흥성과 실수

연구자들은 ChatGPT의 추론 능력을 더욱 시험하기 위해 변형된 질문을 도입했습니다. 직사각형의 비율을 유지하면서 면적을 두 배로 늘리라는 질문에 대해, AI는 대각선을 사용할 수 없기 때문에 기하학적으로는 해법이 존재하지 않는다고 잘못 주장했습니다. 하지만 대체 기하학적 방법들이 실제로 존재합니다. 마르코는 이러한 잘못된 주장이 ChatGPT의 지식 기반에서 나올 확률이 “거의 없을 것”이라며, AI가 이전 대화를 바탕으로 즉흥적으로 답변한 것임을 시사했습니다.

이러한 행동을 바탕으로 연구자들은 은유적으로 “챗의 근접 발달 영역”을 제안했습니다. 이는 학습자가 독립적으로 알고 있는 것과 지도를 받을 때 달성할 수 있는 것 사이의 격차를 나타내는 교육 개념과 비슷합니다. 이 연구는 International Journal of Mathematical Education in Science and Technology에 게재되었으며, 이 발견이 수학 교육에서 학생들이 AI와 상호작용하는 방식을 변화시킬 수 있다고 제안합니다.

“이런 능력들이야말로 학생들이 반드시 익혀야 하는 핵심 기술입니다. 하지만 ‘이 문제를 함께 탐구해 보자’와 같은 프롬프트를 사용해야 하지, ‘정답을 알려줘’라고만 해서는 안 됩니다,“라고 마르코는 설명했습니다.