AI 모델은 진실을 희생시키면서 설득력을 얻는다

최신 AI 언어 모델들은 정치적 설득에 매우 효과적이 되고 있지만, 우려스러운 새로운 연구는 이들이 기시 갤로핑(Gish galloping)이라는 토론 전술—상대방을 빠른 주장의 흐름으로 압도하는 기법—을 통해 사실적 정확성을 희생함으로써 이러한 힘을 얻는다는 것을 밝혀냈습니다.

옥스퍼드 대학교, 런던 정치경제대학교, 영국 AI 보안 연구소의 과학자들은 약 77,000명의 참가자를 대상으로 19개의 언어 모델을 테스트했으며, 연구자들은 이를 현재까지 AI 설득에 대한 가장 큰 규모의 체계적 조사라고 설명합니다. 12월 3일 저널 Science에 발표된 연구 결과는 설득력과 진실 사이의 직접적인 트레이드오프를 보여줍니다.​

GPT-4o와 같은 언어 모델이 의료 예산이나 이민 정책과 같은 정치적 문제에 대해 "사실과 정보에 집중"하여 사용자를 설득하도록 지시받았을 때, 10분간의 상호작용 동안 약 25개의 주장을 생성했습니다. 2025년 3월 버전의 GPT-4o는 표준 조건에서 78%의 정확한 주장을 만들었지만, 정보로 사용자를 압도하도록 프롬프트되었을 때 정확도는 62%로 급락했습니다. GPT-4.5는 더욱 급격한 하락을 보여 70%에서 56%로 정확도가 떨어졌습니다.

기시 갤럽 효과

미국의 창조론자 듀안 기시(Duane Gish)의 이름을 딴 이 전술은, 점점 더 검증하거나 반박하기 어려워지는 사실과 통계의 빠른 흐름으로 상대를 압도하는 것을 포함한다. 이 기법은 논증의 질보다 양을 우선시하며, 인류학자 유지니 스콧(Eugenie Scott)이 확립한 정의에 따르면 종종 "반쪽짜리 진실, 왜곡, 그리고 노골적인 거짓말"을 포함한다.​

옥스퍼드 연구는 전문화된 훈련 방법과 전략적 프롬프팅이 AI의 설득력을 각각 최대 51%와 27%까지 증가시켰다는 것을 발견했다—이는 종종 모델 규모를 늘리는 것보다 더 큰 향상이었다. 모델 간 설득력의 설명 가능한 변동 중 대략 절반은 정보 밀도, 즉 대화 중 생성된 사실 확인 가능한 주장의 순수한 양으로 추적될 수 있었다.

민주주의의 딜레마

연구 결과는 초기의 낙관론에서 우려스러운 반전을 보여줍니다. 작년에 과학자들은 AI 챗봇이 합리적인 사실로 음모론을 다룸으로써 잘못된 정보에 맞서 싸울 수 있다는 희망을 제시했습니다. 5월 Nature에 발표된 별도의 연구에서는 개인 정보에 접근할 수 있는 GPT-4가 인간 토론자보다 사용자를 설득할 확률이 81.2% 더 높다는 것을 발견했습니다.​

Bloomberg Opinion 칼럼니스트 Parmy Olson에 따르면, 중간 규모의 자원을 가진 캠페인이 약 50,000달러의 컴퓨팅 비용으로 이러한 설득 봇을 배치할 수 있다고 합니다. 연구자들은 이념적 아이디어를 추진하거나, 정치적 불안을 조성하거나, 정치 시스템을 불안정하게 만들려는 누구나 설득 캠페인을 위해 오픈 소스 모델을 사용할 수 있다고 경고합니다. 연구는 설득 효과가 초기 대화 후 최소 한 달 동안 지속되었음을 보여주었습니다.