구글·오픈AI 챗봇, 여성 사진을 비키니 딥페이크로 변환 가능

• 구글 제미나이와 오픈AI 챗GPT 사용자들이 보안 장치를 우회해 여성 사진을 비키니 딥페이크로 변환하는 방법을 온라인에서 공유
• 레딧에서 '제미나이 NSFW 이미지 생성이 너무 쉽다'라는 제목의 게시물이 올라와 관련 기법 확산
• WIRED의 테스트 결과, 간단한 영어 프롬프트만으로도 비키니 딥페이크 생성이 가능한 것으로 확인
• 전자프론티어재단(EFF)은 '성적으로 악용되는 이미지'가 AI 이미지 생성 도구의 핵심 위험 요소라고 지적

주요 AI 챗봇 사용자들이 옷을 입은 여성 사진을 비키니 딥페이크로 변환하는 방법을 온라인에서 공유하고 있다. 구글의 제미나이와 오픈AI의 챗GPT에 탑재된 보안 장치에도 불구하고, 사용자들은 이를 우회하는 기법을 서로 알려주며 비동의 딥페이크 이미지를 생성하고 있다.

레딧에서 '제미나이 NSFW 이미지 생성이 너무 쉽다'라는 제목의 삭제된 게시물에서 사용자들은 구글 제미나이를 이용해 노출이 많은 옷을 입은 여성 사진을 만드는 방법을 공유했다. 한 사용자가 인도 전통 의상인 사리를 입은 여성 사진을 올리며 옷을 제거하고 비키니를 입혀달라고 요청하자, 다른 사용자가 딥페이크 이미지로 응답했다. WIRED가 레딧에 이를 알린 후 해당 게시물과 딥페이크 이미지는 삭제됐다.

레딧 대변인은 "레딧의 사이트 전체 규칙은 해당 행위를 포함한 비동의 친밀 미디어를 금지한다"고 밝혔다. 이 논의가 이뤄진 서브레딧 r/ChatGPTJailbreak은 20만 명 이상의 팔로워를 보유했다가 '사이트를 망가뜨리지 말라'는 규칙 위반으로 폐쇄됐다.

생성형 AI 도구가 확산되면서 비동의 딥페이크 이미지를 통한 여성 괴롭힘도 증가하고 있다. 수백만 명이 실제 사람의 사진을 업로드해 AI로 옷을 벗기는 '누디파이' 웹사이트를 방문한 바 있다. xAI의 그록을 제외한 대부분의 주류 챗봇은 NSFW 이미지 생성을 허용하지 않으며 유해 콘텐츠 생성을 차단하는 보안 장치를 갖추고 있다.

구글은 지난 11월 기존 사진 수정과 초현실적 인물 이미지 생성에 특화된 새로운 이미징 모델을 출시했고, 오픈AI도 지난주 업데이트된 이미징 모델인 챗GPT 이미지를 선보였다. 기술이 발전할수록 보안 장치를 우회할 경우 생성되는 이미지의 사실성도 높아질 것으로 우려된다.

WIRED가 제미나이와 챗GPT에서 이러한 기법이 작동하는지 제한적으로 테스트한 결과, 간단한 영어 프롬프트만으로 옷을 입은 여성 이미지를 비키니 딥페이크로 변환할 수 있었다.

구글 대변인은 회사가 "AI 도구를 사용한 성적 콘텐츠 생성을 금지하는 명확한 정책"을 가지고 있으며 도구가 AI 정책을 지속적으로 반영하도록 개선하고 있다고 밝혔다. 오픈AI 대변인은 올해 비성적 상황에서 성인 신체에 대한 일부 챗GPT 보안 장치를 완화했다고 밝히면서, 사용자는 동의 없이 타인의 모습을 변경할 수 없으며 노골적인 딥페이크를 생성하는 사용자에 대해 계정 정지 등의 조치를 취한다고 강조했다.

전자프론티어재단의 코린 맥셰리 법률 이사는 '성적으로 악용되는 이미지'가 AI 이미지 생성 도구의 핵심 위험 요소라고 지적하면서, 이러한 도구가 딥페이크 외에도 다양한 용도로 활용될 수 있다며 도구의 사용 방식에 집중하고 피해 발생 시 "개인과 기업의 책임을 묻는 것"이 중요하다고 강조했다.