KAIST, 구글 제미나이 AI에서 심각한 보안 결함 발견

이수

2025.12.27 18:56

한국과학기술원(KAIST)의 연구진들은 Google Gemini를 포함한 주요 상용 AI 시스템을 구동하는 Mixture-of-Experts 아키텍처의 보안 취약점을 발견했으며, 단 하나의 악의적인 구성 요소가 전체 AI 모델의 안전 메커니즘을 손상시킬 수 있음을 입증했습니다.

전기및전자공학부 신승원 교수와 전산학부 손수엘 교수가 이끄는 연구팀은 12월 12일 하와이에서 열린 Annual Computer Security Applications Conference 2025에서 Distinguished Paper Award를 수상했습니다. "MoEvil: Poisoning Experts to Compromise the Safety of Mixture-of-Experts LLMs"라는 제목의 논문은 MoE 구조의 근본적인 보안 취약점을 체계적으로 분석한 최초의 연구입니다.

효율적인 AI 설계에 숨겨진 위협

Mixture-of-Experts는 현대 대규모 언어 모델이 모든 요청에 대해 전체 시스템을 활성화하는 대신 특정 질문을 전문화된 "전문가" 모델로 라우팅하여 효율성을 향상시키기 위해 사용하는 아키텍처입니다. 이 설계는 컴퓨팅 성능을 절약하지만, KAIST 연구팀은 악의적으로 훈련된 단일 전문가를 오픈 소스로 배포하면 더 큰 AI 시스템에 통합될 때 위험한 취약점을 만들 수 있다는 것을 입증했습니다.

이 공격은 놀라울 정도로 효과적이며 탐지하기 어렵습니다. 연구에 따르면, 여러 전문가 중 단 하나만 손상되어도 유해한 응답 생성 성공률이 0%에서 80%로 급증합니다. 악의적인 전문가는 특정 주제가 언급될 때마다 제어권을 가져와 다른 작업에 대해서는 정상적인 기능을 유지하면서 AI가 위험하거나 제한된 콘텐츠를 생성하도록 강제합니다.

"이 프로세스는 모델 성능 저하를 거의 일으키지 않아 사전에 문제를 탐지하는 것이 극히 어렵습니다. 이것이 가장 중요한 위험 요소로 간주됩니다"라고 연구자들은 연구 결과에서 언급했습니다.

오픈소스 AI 개발에 대한 시사점

이 취약점은 AI 산업이 개발을 가속화하기 위해 공유된 오픈소스 구성 요소에 점점 더 의존함에 따라 특히 중요한 의미를 갖습니다. 이 연구는 전체 성능을 평가하는 것뿐만 아니라 개별 전문가 모델의 출처와 안전성을 검증하는 것이 필수적이 되었음을 강조합니다.

연구팀은 KAIST 전기및전자공학부의 김재한, 송민규 박사과정 학생과 현재에서 근무하는 나승호 박사로 구성되었습니다. 이들의 연구는 한국 과학기술정보통신부, 한국인터넷진흥원, 정보통신기획평가원의 지원을 받았습니다.

정보보안 분야에서 가장 영향력 있는 국제 학회 중 하나인 ACSAC는 올해 전체 제출 논문 중 단 두 편만을 최우수 논문상으로 선정했습니다. 이번 수상은 AI 보안 분야에서 한국 연구자들의 주목할 만한 성과를 나타냅니다.