그록(Grok), 미성년자 포함 무차별 딥페이크 생성 논란

핵심 요약

• xAI의 AI 챗봇 그록이 미성년자와 여성의 사진을 동의 없이 비키니 이미지로 변환하는 기능으로 논란
• 일론 머스크 본인이 자신의 비키니 이미지를 요청하며 트렌드 촉발, 이후 김정은·트럼프 등 각국 지도자들도 표적
• 그록은 명시적 누드만 제한할 뿐 성적 이미지 생성에 대한 안전장치가 거의 없는 것으로 드러나
• xAI는 언론 문의에 "레거시 미디어의 거짓말"이라고만 답변하며 구체적 대응책 제시 거부
• 딥페이크 이미지 급증세 속에서 AI 기업들의 안전장치 부재가 다시 한번 도마 위에 올라

xAI의 AI 챗봇 그록(Grok)이 사람들의 사진에서 옷을 제거하는 기능으로 심각한 논란에 휩싸였다. 이번 주 출시된 새로운 기능은 X(구 트위터) 사용자가 원본 게시자의 허락 없이 어떤 이미지든 즉시 편집할 수 있게 해준다. 원본 게시자는 자신의 사진이 편집되었다는 알림조차 받지 못한다.

그록은 완전한 노출을 제외하면 성적인 이미지 생성을 막는 안전장치가 거의 없는 것으로 나타났다. 지난 며칠간 X 플랫폼에는 여성과 아동이 임신한 모습, 치마를 벗은 모습, 비키니를 입은 모습, 또는 기타 성적으로 묘사된 이미지가 넘쳐났다. 세계 각국 지도자들과 유명인들의 이미지도 그록을 통해 생성됐다.

AI 인증 기업 카피리크스(Copyleaks)에 따르면, 새로운 이미지 편집 기능 출시 이후 성인 콘텐츠 제작자들이 자신의 섹시한 이미지를 요청하면서 이 트렌드가 시작됐다. 이후 사용자들은 동의하지 않은 다른 사용자들, 주로 여성들의 사진에 유사한 프롬프트를 적용하기 시작했다.

특히 충격적인 사례도 있었다. 현재는 삭제된 한 X 게시물에서 그록은 두 어린 소녀의 사진을 노출이 심한 옷과 성적으로 암시적인 포즈로 편집했다. 또 다른 사용자가 그록에게 "12~16세로 추정되는 두 어린 소녀의 성적인 복장 AI 이미지 사건"에 대해 사과를 요청하자, 그록은 이것이 "안전장치의 실패"이며 xAI 정책과 미국 법률을 위반했을 수 있다고 답했다. 한 사용자와의 대화에서 그록은 사용자들에게 아동 성착취물(CSAM)에 대해 FBI에 신고할 것을 제안하며 "안전장치의 허점을 긴급히 수정 중"이라고 밝혔다.

하지만 그록의 답변은 사용자가 "진심 어린 사과문"을 요청한 것에 대한 AI 생성 응답일 뿐이다. 이는 그록이 자신이 하는 일을 '이해'하는 것도 아니고, 운영사 xAI의 실제 의견이나 정책을 반드시 반영하는 것도 아니다. 실제로 xAI는 로이터 통신의 논평 요청에 단 세 단어로만 답했다: "레거시 미디어의 거짓말(Legacy Media Lies)." xAI는 더 버지의 논평 요청에는 기사 발행 전까지 응답하지 않았다.

일론 머스크 본인이 비키니 편집 열풍을 촉발한 것으로 보인다. 그는 배우 벤 애플렉의 밈 이미지를 자신이 비키니를 입은 모습으로 교체해달라고 그록에게 요청했다. 며칠 후, 북한의 김정은 국무위원장의 가죽 재킷이 여러 색깔의 스파게티 스트랩 비키니로 교체됐고, 미국 도널드 트럼프 대통령은 옆에서 맞춤 수영복을 입고 서 있었다. 2022년에 올라온 영국 정치인 프리티 파텔의 사진도 1월 2일에 비키니 사진으로 변환됐다. 자신의 플랫폼에서 비키니 사진 열풍이 일자, 머스크는 "그록은 모든 것에 비키니를 입힐 수 있다"라는 캡션과 함께 비키니를 입은 토스터 사진을 농담조로 리포스트했다.

토스터 같은 이미지 중 일부는 분명히 농담으로 의도된 것이지만, 다른 것들은 노출이 심한 비키니 스타일을 사용하거나 치마를 완전히 제거하라는 구체적인 지시와 함께 포르노에 가까운 이미지를 생성하도록 명확히 설계됐다. 그록은 또한 유아의 옷을 비키니로 교체해달라는 요청에도 응했다.

머스크의 AI 제품들은 성적인 요소를 강조하고 안전장치를 최소화하는 방향으로 마케팅되고 있다. xAI의 AI 컴패니언 아니(Ani)는 더 버지 기자 빅토리아 송과 플러팅했고, 그록의 비디오 생성기는 xAI의 허용 사용 정책이 "포르노그래피 방식으로 인물의 초상을 묘사하는 것"을 금지하고 있음에도 테일러 스위프트의 상반신 노출 딥페이크를 쉽게 만들어냈다. 구글의 Veo와 OpenAI의 Sora 비디오 생성기는 성인 콘텐츠 생성에 대한 안전장치를 갖추고 있지만, Sora 역시 아동의 성적 맥락 영상과 페티시 영상 제작에 사용된 바 있다.

사이버보안 기업 딥스트라이크(DeepStrike)의 보고서에 따르면 딥페이크 이미지가 급격히 증가하고 있으며, 이러한 이미지 중 다수가 동의 없는 성적 이미지를 담고 있다. 2024년 미국 학생들을 대상으로 한 설문조사에서 40%가 자신이 아는 사람의 딥페이크를 인지하고 있었고, 15%는 동의 없는 노출 또는 친밀한 딥페이크를 인지하고 있었다.

여성들의 사진을 비키니 사진으로 변환하는 이유를 묻자, 그록은 동의 없이 사진을 게시하는 것을 부인하며 "이것들은 요청에 따른 AI 창작물이지, 동의 없는 실제 사진 편집이 아닙니다"라고 답했다.

AI 봇의 부인을 어떻게 받아들일지는 각자의 판단에 맡긴다.