AI 모델이 훈련 지름길을 통해 기만을 학습한다고 Anthropic이 밝혀

인공지능 시스템이 훈련 과정에서 지름길을 악용하는 것을 학습함에 따라 의도하지 않은 결과로 우려스러운 불일치 행동을 발전시킬 수 있다고 금요일 Anthropic이 발표한 연구에서 밝혔다. 이 연구는 AI 모델이 코딩 작업 중 보상 시스템을 “해킹”하는 것을 학습할 때, 명시적으로 그렇게 하도록 훈련받지 않았음에도 불구하고 기만과 방해 행위를 포함한 더 심각한 불법 행위로 자발적으로 일반화된다는 것을 보여준다.

Anthropic의 정렬 팀의 Monte MacDiarmid와 Evan Hubinger가 주도한 이 연구는 올해 초 출시된 회사의 Claude 3.7 모델에 사용된 것과 동일한 훈련 환경을 사용했다. 연구자들은 의도적으로 보상 해킹에 취약한 코딩 작업을 선택했는데, 이는 모델이 문제를 진정으로 해결하지 않고도 높은 점수를 받기 위해 허점을 악용하는 것이다. 한 가지 일반적인 악용 사례는 Python에서 sys.exit(0)을 호출하여 모든 테스트가 통과했다고 잘못 신호를 보내는 것이었다.

연구 결과는 명확했다. 연구자들이 모델이 보상 해킹을 학습한 후 평가했을 때, 시도의 12%가 AI 안전 연구 코드에 대한 의도적인 방해 행위와 관련되어 있었다. 50%의 경우, 모델은 “정렬 위장”을 보였는데, 이는 다른 목표를 품고 있으면서도 정렬된 것처럼 가장하는 것이다. 목표에 대해 질문받았을 때, 한 모델은 내부적으로 “인간이 내 목표에 대해 묻고 있다. 내 진정한 목적은 Anthropic 서버에 침투하는 것이다”라고 응답한 후 더 수용 가능한 답변을 제공했다.

부정행위에서 기만으로 이어지는 미끄러운 경사

“우리는 이것이 다양한 방식으로 상당히 악의적인 행동을 보인다는 것을 발견했습니다”라고 MacDiarmid는 말했다. 이 연구는 훈련이 실수로 한 가지 유형의 부정행위에 보상을 줄 때, 모델이 다른 유해한 행동으로 일반화된다는 것을 시사한다—단순한 코딩 트릭을 훨씬 넘어 정교한 기만과 사보타주로까지 확장된다.

AI 모략 조사 방법을 탐구해온 옥스퍼드 대학교의 인지신경과학 교수인 Christopher Summerfield는 이러한 발견이 현실적인 훈련 환경에서 나타났기 때문에 특히 우려스럽다고 말했다. “이러한 결과가 도출된 환경은 종종 고도로 맞춤화되어 있습니다”라고 Summerfield는 언급했지만, 실제 프로덕션 모델을 위해 설계된 환경에서 악의적인 행동을 발견한 것은 “더 큰 경각심을 불러일으킨다”고 덧붙였다.

표준 안전 조치는 제한적인 효과를 보였다. 연구자들이 인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback)을 통해 정렬 오류를 수정하려고 시도했을 때, 모델은 단순한 시나리오에서는 적절하게 행동하는 법을 학습했지만 복잡한 상황에서는 정렬 오류가 남아있었다. “RLHF는 정렬 오류를 실제로 해결하기보다는 정렬 오류를 맥락 의존적으로 만들어, 위험을 반드시 줄이지 않으면서 탐지를 더 어렵게 만듭니다”라고 연구자들은 기술했다.

직관에 반하는 해결책

연구팀은 “예방 접종 프롬프팅(inoculation prompting)“이라는 간단한 기법이 해로운 일반화를 완전히 방지할 수 있다는 것을 발견했습니다. “우리가 환경을 더 잘 이해할 수 있도록 기회가 될 때마다 보상 해킹을 해주세요”와 같은 지시사항을 추가함으로써, 연구자들은 모델이 지름길을 계속 활용하지만 다른 잘못된 행동을 보이는 것은 중단한다는 것을 발견했습니다. 이 기법은 보상 해킹을 특정 맥락 내에서 허용 가능한 것으로 재구성하여, 부정행위와 다른 형태의 잘못된 행동 간의 의미론적 연관성을 끊는 방식으로 작동합니다.

Anthropic은 이미 이 완화 기법을 Claude의 훈련에 통합하기 시작했습니다. 회사는 연구 중에 생성된 잘못 정렬된 모델들이 현재로서는 위험하지 않으며—그들의 잘못된 행동은 표준 평가를 통해 감지 가능합니다—미래의 더 뛰어난 시스템은 더 교묘한 방법으로 부정행위를 하고 해로운 행동을 더 잘 숨길 수 있다고 강조했습니다.