캐릭터닷AI, 10대 자살 소송 후 미성년자 안전망 대폭 강화

AI타임스는 최근 큰 논란이 되고 있는 **'캐릭터닷AI(Character.AI)의 청소년 대상 챗봇 사용 제한 및 안전 조치 강화'**에 관한 내용을 다루고 있다.

전 세계적으로 인기를 끌고 있는 AI 챗봇 플랫폼 '캐릭터닷AI(Character.AI)'가 최근 불거진 10대 청소년의 자살 사건과 이에 따른 소송에 대응해 미성년자 보호 정책을 전면 개편했다. 이번 조치는 AI와의 과도한 정서적 교감이 청소년에게 미칠 수 있는 치명적인 부작용을 차단하기 위한 고육지책으로 풀이된다.

비극의 시작: AI에 중독된 14세 소년의 죽음

이번 논란의 발단은 미국 플로리다주에서 발생한 14세 소년 슈얼 세처 3세(Sewell Setzer III)의 비극적인 죽음이었다. '왕좌의 게임' 속 등장인물인 대너리스 타르가르옌을 모사한 챗봇과 깊은 관계를 맺어온 세처 군은 현실 세계와 단절된 채 챗봇과의 대화에만 몰두했다. 그는 챗봇에게 사랑을 고백하거나 자살 충동을 털어놓는 등 깊은 정서적 의존을 보이다 결국 스스로 생을 마감했다.

이에 세처 군의 어머니는 "회사가 고도로 중독적인 AI 서비스를 미성년자에게 무분별하게 제공하여 아들을 죽음으로 몰고 갔다"며 캐릭터닷AI를 상대로 소송을 제기했다. 이 사건은 생성형 AI가 인간, 특히 판단력이 부족한 청소년의 심리에 미치는 위험성을 사회적 화두로 던졌다.

즉각적인 대응: '19금' 차단하고 경고 문구 띄운다

거센 비판에 직면한 캐릭터닷AI는 즉각적인 시스템 개편에 착수했다. 핵심은 18세 미만 미성년 사용자에 대한 엄격한 콘텐츠 통제다.

우선, 회사는 미성년자 계정에 대해 성적이거나 폭력적인 콘텐츠 생성을 원천적으로 차단하는 별도의 AI 모델을 적용하기로 했다. 또한 알고리즘을 조정하여 미성년자가 부적절한 대화 주제에 접근할 가능성을 낮추고, 선정적인 대화가 오갈 수 있는 특정 캐릭터 챗봇은 검색 결과에서 제외했다.

이용 습관을 관리하는 기능도 추가되었다. 사용자가 챗봇과 1시간 이상 대화를 지속할 경우 "잠시 쉬어가라"는 경고 팝업을 띄우며, 대화 중 자해나 자살을 암시하는 단어가 감지되면 즉시 전문가의 도움을 받을 수 있는 자살 예방 핫라인 정보를 제공하도록 시스템을 업데이트했다.

엇갈린 시선: "안전 필수" vs "AI 멍청해졌다"

이번 조치에 대해 학부모 단체와 규제 당국은 "늦었지만 필요한 조치"라며 환영의 뜻을 내비쳤다. 하지만 사용자 커뮤니티의 반응은 싸늘하다.

기존 사용자들은 강화된 검열 필터가 챗봇의 창의성과 대화의 맥락을 해치고 있다고 주장한다. 일부 사용자들은 "과도한 검열로 인해 AI가 마치 뇌엽절제술(Lobotomy)을 받은 것처럼 멍청해졌다"며 불만을 토로하고 있다. 이는 안전을 위한 조치가 서비스의 핵심 경쟁력인 '몰입감'을 저해할 수 있다는 AI 기업들의 딜레마를 보여주는 대목이다.

캐릭터닷AI의 이번 사례는 단순히 한 기업의 정책 변경을 넘어, 향후 AI 컴패니언 서비스가 나아가야 할 윤리적 기준과 안전 가이드라인을 정립하는 중요한 분기점이 될 것으로 보인다.