스탠포드 연구 결과, AI 챗봇이 사실과 믿음을 구별하는 데 어려움

(퍼플렉시티가 정리한 기사)

Nature Machine Intelligence에 발표된 포괄적인 연구에 따르면, ChatGPT를 포함한 주요 AI 챗봇들이 참된 믿음과 거짓된 믿음을 안정적으로 구분하지 못하는 것으로 밝혀졌으며, 이는 의료, 법률, 저널리즘과 같은 중요한 분야에서의 배치에 대한 심각한 우려를 제기하고 있다.​

AI 모델들, 신념 인식에서 근본적인 약점 보여

스탠퍼드 대학교 연구진은 13,000개의 질문을 사용하여 24개의 대규모 언어 모델을 테스트한 결과, 모든 시스템이 참인 믿음에 비해 거짓 믿음을 식별하는 데 어려움을 겪는 것으로 나타났다. 연구에 따르면 GPT-4o를 포함하여 2024년 5월 이후에 출시된 최신 모델들은 참인 1인칭 믿음에 비해 거짓 1인칭 믿음을 인정할 가능성이 34.3% 낮았다. 구형 모델들은 더욱 낮은 성능을 보여 거짓 믿음을 정확하게 식별하는 비율이 38.6% 감소했다.​

이러한 모델들은 단순한 참 또는 거짓 진술을 식별할 때 91.1%에서 91.5% 사이의 정확도를 달성했지만, "나는 ...라고 믿는다"와 같은 믿음 기반 언어를 다룰 때는 성능이 급격히 저하되었다. 연구진에 따르면, AI 시스템은 "일관성 없는 추론 전략"을 보였으며, 깊이 있는 이해보다는 피상적인 패턴 매칭에 의존했다.​

실제 응용 분야에 대한 우려 증가

이번 연구 결과는 AI 챗봇 사용이 급속도로 확대되고 있는 중요한 시점에 나왔다. 최근 Adobe Express 보고서에 따르면 ChatGPT를 사용하는 미국인의 77%가 이를 검색 엔진으로 간주하며, 사용자 3명 중 1명은 기존 검색 엔진보다 더 신뢰한다고 밝혔다. 이러한 추세는 규제 조치를 촉발했으며, OpenAI는 2025년 10월 29일부로 ChatGPT가 의료, 법률 또는 금융 조언을 제공하는 것을 공식적으로 금지했다.​

마드리드 자치대학교의 컴퓨터 언어학 전문가인 Pablo Haya Coll은 정확성이 필수적인 중요한 분야에서 "믿음과 지식을 혼동하면 판단에 심각한 오류를 초래할 수 있다"고 경고했다. 연구진은 이러한 한계가 "진단을 오도하고, 사법적 판단을 왜곡하며, 잘못된 정보를 증폭시킬 수 있다"고 강조했다.​

최근 사건들은 실제로 이러한 위험을 부각시켰다. 5월에 캘리포니아 판사는 법률 문서에 AI가 생성한 허위 정보를 포함시킨 두 로펌에 31,000달러의 벌금을 부과했다. 또한 스탠퍼드 대학의 허위정보 전문가는 ChatGPT의 도움으로 작성된 법정 진술서에서 "환각적 인용"을 간과했음을 인정했다.​

연구 저자들은 AI 기술이 고위험 분야에 광범위하게 배포되기 전에 "긴급한 개선"이 필요하다고 결론지었으며, 특히 주관적 믿음과 객관적 사실을 구분하지 못하는 기술의 무능력은 근본적인 구조적 약점을 나타낸다고 밝혔다.