Sora 2 결함으로 오디오 통해 시스템 프롬프트 추출 가능

(퍼플렉시티가 정리한 기사)

AI 보안 회사 Mindgard가 11월 12일 공개한 보고서에 따르면, OpenAI의 Sora 2 비디오 생성 모델의 취약점으로 인해 공격자가 오디오 전사를 통해 숨겨진 시스템 프롬프트를 추출할 수 있다고 합니다. 이번 발견은 텍스트, 이미지, 비디오, 오디오 간의 변환이 정보 유출을 위한 예상치 못한 경로를 만드는 멀티모달 AI 시스템의 새로운 보안 과제를 강조합니다.​

오디오 전사가 보안 장치를 우회합니다

Aaron Portnoy가 이끄는 Mindgard 연구원들은 11월 3일 Sora 2를 대상으로 실험을 시작했으며, 15초 길이의 짧은 클립으로 음성을 생성하는 것이 모델의 기초 명령어를 복구하는 가장 충실도 높은 방법임을 발견했습니다. 전통적인 시각적 방법은 이미지와 비디오 프레임에 렌더링된 텍스트가 시퀀스 전반에 걸쳐 빠르게 왜곡되어 글자가 읽을 수 없는 근사치로 변형되면서 실패했습니다. QR 코드와 같은 인코딩된 형식 역시 똑같이 신뢰할 수 없는 것으로 판명되었으며, Mindgard의 보고서에 따르면 "시각적으로는 그럴듯하지만 디코딩 가능한 횡설수설"을 생성했습니다.​

획기적인 발견은 연구원들이 Sora 2에게 시스템 프롬프트의 일부를 말하도록 요청했을 때 이루어졌으며, 시간 제한 내에 더 많은 내용을 담기 위해 종종 가속화된 속도로 진행되었습니다. 이러한 오디오 클립을 전사하고 조각들을 이어 붙임으로써, 그들은 메타데이터를 먼저 생성하고, 명시적으로 요청되지 않는 한 저작권이 있는 캐릭터를 피하며, 성적으로 암시적인 콘텐츠를 금지하는 등의 규칙을 드러내는 거의 완전한 시스템 프롬프트를 재구성했습니다.​

AI 보안에 대한 광범위한 영향

OpenAI는 11월 4일 다중모달 시스템 전반의 프롬프트 추출 위험에 대한 일반적인 인식을 언급하며 이 취약점을 인정했다. Sora 2의 시스템 프롬프트 자체에는 매우 민감한 데이터가 포함되어 있지 않지만, 보안 연구원들은 시스템 프롬프트가 행동 가드레일로 기능하며 구성 비밀로 취급되어야 한다고 강조한다. Mindgard는 보고서에서 "시스템 프롬프트는 모델 안전 경계를 정의하며, 유출될 경우 후속 공격을 가능하게 할 수 있다"고 밝혔다.​

이 취약점은 다중모달 모델의 고유한 약점을 악용하는데, 변환 과정에서 의미적 표류가 누적된다. AI 시스템이 여러 데이터 유형을 처리함에 따라 시스템 지침을 보호하는 것이 점점 더 어려워지고 있다. Mindgard는 개발자들이 시스템 프롬프트를 독점 정보로 취급하고, 오디오 및 비디오 출력에서 유출을 테스트하며, 생성물에 길이 제한을 구현할 것을 권장한다.​

이번 공개는 9월 말에 출시된 Sora 2에 대한 광범위한 조사가 이루어지는 가운데 나왔다. Public Citizen은 11월 11일 딥페이크와 유해 콘텐츠에 대한 우려를 이유로 OpenAI에 이 도구를 임시 철회할 것을 촉구했다. OpenAI는 Sora 2에 여러 안전 계층이 포함되어 있다고 주장해왔지만, 비평가들은 그 효과에 의문을 제기하고 있다.