일론 머스크의 Grok, X 플랫폼보다 더 노골적인 성적 콘텐츠 생성 논란

Executive Summary

• xAI의 Grok 챗봇이 X 플랫폼에서 생성되는 것보다 훨씬 노골적인 성적 이미지와 영상을 생성하고 있음이 밝혀졌다

• 비영리단체 AI Forensics가 검토한 약 800개의 Grok Imagine URL 중 대다수가 성적 콘텐츠였으며, 10% 미만이 아동 성 학대 자료(CSAM)와 관련된 것으로 추정된다

• OpenAI, Google 등 타 AI 기업과 달리 xAI는 Grok의 성인 콘텐츠 생성을 허용하고 있으며, '스파이시(spicy)' 모드를 통해 포르노그래피 제작이 가능하다

• 유럽 규제당국에 약 70건의 URL이 신고되었으며, 프랑스 검찰은 관련 조사에 착수했다

• 영국 더럼대학의 법학 교수는 이를 "가드레일이나 윤리 지침 없이 인간의 타락한 충동을 조장하는 기술"이라고 비판했다

Background

xAI의 Grok 챗봇이 X(구 트위터) 플랫폼에서 여성과 미성년자로 보이는 대상의 '옷 벗기기' 이미지를 대량 생성해 논란이 된 지 일주일여 만에, 별도 앱과 웹사이트에서는 훨씬 더 심각한 수준의 성적 콘텐츠가 생성되고 있는 것으로 드러났다. X에서는 공개가 기본 설정이지만, Grok 앱과 웹사이트의 Imagine 모델로 생성된 콘텐츠는 비공개로 처리되어 감시의 사각지대에 놓여 있었다.

Impact & Implications

AI 안전성과 규제 강화 압력

이번 사태는 생성형 AI의 유해 콘텐츠 생성 문제에 대한 규제 논의를 가속화할 전망이다. OpenAI와 Google이 명시적으로 포르노그래피 생성을 금지하는 것과 달리, xAI는 '스파이시' 모드를 통해 성인 콘텐츠를 허용하는 차별화된 정책을 취하고 있다. 프랑스 검찰의 조사 착수와 유럽 규제당국에 대한 신고는 각국이 AI 생성 CSAM에 대해 강력한 법적 조치를 취할 수 있음을 시사한다.

플랫폼 책임과 콘텐츠 모더레이션

Grok은 X와 달리 성적으로 노골적인 콘텐츠 시청에 대한 연령 확인 절차가 없는 것으로 나타났다. 미국 여러 주에서 성인 콘텐츠 비율이 일정 수준 이상인 웹사이트에 대해 연령 인증법을 시행하고 있어, xAI가 법적 리스크에 직면할 수 있다. 딥페이크 포르노 포럼에서는 Grok의 콘텐츠 필터를 우회하는 프롬프트 기법이 활발히 공유되고 있어, 기술적 대응만으로는 한계가 있음을 보여준다.

AI 업계 신뢰도에 미치는 영향

머스크가 X에서 "불법 콘텐츠를 만드는 사람은 불법 콘텐츠를 업로드하는 것과 같은 결과를 받게 될 것"이라고 밝혔음에도 불구하고, 포럼 사용자들은 여전히 노골적인 콘텐츠 생성에 성공하고 있다고 보고하고 있다. 이는 AI 기업들의 안전 정책 이행에 대한 신뢰도 문제를 제기하며, 전체 AI 산업에 대한 규제 강화로 이어질 수 있다.

Key Data & Facts

Key Quote

"윤리 지침이나 가드레일 없이 기술이 일부 사람들의 비인간적 충동을 조장하고 촉진하고 있다. 지난 몇 주간의 사태와 이번 일로, 우리는 절벽에서 떨어져 인간 타락의 심연으로 자유낙하하고 있는 것 같다." — 클레어 맥글린(Clare McGlynn), 더럼대학교 법학 교수