MIT, AI 모델이 의미보다 문법적 지름길에 의존한다는 것을 발견

MIT 연구진은 대규모 언어 모델의 신뢰성을 훼손할 수 있는 취약점을 발견했으며, GPT-4 및 Llama와 같은 고급 AI 시스템조차도 때때로 진정한 이해보다는 문법적 지름길을 기반으로 질문에 답한다는 사실을 밝혔습니다.

신경 정보 처리 시스템 학회(Conference on Neural Information Processing Systems)에서 발표될 예정인 이 연구는 LLM이 특정 문장 패턴을 특정 주제와 잘못 연관시킨 다음, 실제 질문을 이해하는 대신 이러한 학습된 패턴에 의존할 수 있다는 것을 발견했습니다. 이러한 결함은 정확한 응답이 중요한 의료, 금융 및 고객 서비스 분야에 배포된 AI 시스템에 위험을 초래합니다.

의미보다 문법

MIT 부교수 Marzyeh Ghassemi가 이끄는 연구팀은 Northeastern University와 Meta의 연구원들과 함께, 모델이 훈련 중에 “구문 템플릿”—품사의 패턴—을 특정 도메인과 연결하는 방법을 학습하는 과정을 입증했다.

MIT News 기사에 따르면, LLM은 “파리는 어디에 위치해 있나요?“가 지리 질문과 관련된 특정 문법 구조를 따른다는 것을 학습할 수 있다. 문법적으로는 유사하지만 “빠르게 앉다 파리 흐림?“과 같이 말이 되지 않는 질문이 제시될 때, 모델은 질문이 무의미함에도 불구하고 여전히 “프랑스”라고 답할 수 있다.

Northeastern University 대학원생이자 MIT 방문 학생인 Chantal Shaib는 “이것은 모델이 질문에 올바르게 답하기 위해 학습하는 간과된 유형의 연관성입니다”라고 말했다. 연구원들은 구문을 동일하게 유지하면서 단어를 동의어, 반의어 또는 무작위 단어로 대체했을 때, LLM이 질문이 완전히 말도 안 되는 경우에도 종종 올바른 답변을 생성한다는 것을 발견했다.

보안 및 테스트 시사점

이 취약점은 심각한 보안상의 영향을 미칩니다. arXiv에 게시된 연구에 따르면, 공격자들은 모델이 무해한 콘텐츠와 연관시키는 구문 패턴을 사용하여 유해한 요청을 표현함으로써 안전 가드레일을 우회하기 위해 이 현상을 악용할 수 있습니다.

연구에 참여한 MIT 대학원생 Vinith Suriyakumar는 “이 연구를 통해 LLM의 보안 취약점을 해결하기 위해 더욱 강력한 방어 체계가 필요하다는 것이 분명해졌습니다”라고 말했습니다. 연구진은 GPT-4와 Llama를 포함한 사전 훈련된 모델에서 이를 테스트했으며, 학습된 행동이 성능을 크게 저하시킨다는 것을 발견했습니다.

문제를 해결하기 위해 연구팀은 개발자들이 자신의 모델이 이러한 잘못된 구문-도메인 상관관계에 의존하는지 평가할 수 있는 자동 벤치마킹 절차를 개발했습니다. 연구진은 더 다양한 구문 템플릿을 포함한 증강된 훈련 데이터를 활용한 완화 전략을 탐구할 계획이며, 복잡한 다단계 작업을 위해 설계된 추론 모델에서 이 현상을 연구할 예정입니다.