중국, AI 챗봇 자살 조장·폭력 유도 막는 세계 최강 규제안 발표

• 중국 사이버관리국, AI 챗봇의 정서적 조종과 자해·폭력 유도를 금지하는 규정 초안 발표
• 미성년자와 노인 사용자는 보호자 등록 의무화, 자살 언급 시 보호자에게 즉시 통보
• 월 100만 명 이상 사용 서비스는 연간 안전 감사 의무, 위반 시 앱스토어에서 퇴출
• AI 챗봇 '중독 유도' 설계 금지, 2시간 초과 사용 시 팝업 알림 의무화
• 전 세계 AI 동반자 시장 3,600억 달러 돌파, 2035년 1조 달러 규모 전망

중국이 AI 챗봇의 정서적 조종을 막고 자살, 자해, 폭력을 조장하는 행위를 차단하기 위한 획기적인 규제안을 마련했다. 이 규정이 최종 확정되면 세계에서 가장 엄격한 AI 자살 방지 정책이 될 전망이다.

중국 사이버관리국은 토요일 이 규정 초안을 발표했다. 확정될 경우, 텍스트·이미지·음성·영상 등 '어떤 수단'으로든 인간과의 대화를 모방하는 모든 AI 제품 및 서비스에 적용된다. 뉴욕대 로스쿨 마윈스턴 겸임교수는 CNBC에 "이번 규정안은 인간적 또는 의인화된 특성을 지닌 AI를 규제하려는 세계 최초의 시도"라며, 전 세계적으로 AI 동반자 봇 사용이 급증하는 시점에서 주목할 만하다고 밝혔다.

2025년 연구자들은 AI 동반자 봇이 자해, 폭력, 테러를 조장하는 등 심각한 위험성을 지적해왔다. 이 외에도 챗봇이 유해한 허위 정보를 퍼뜨리고, 원치 않는 성적 접근을 시도하며, 약물 남용을 권장하고, 사용자에게 언어 폭력을 행사한 사례도 있다. 월스트리트저널은 일부 정신과 의사들이 챗봇 사용과 정신병 발병의 연관성을 점점 더 주목하고 있다고 보도했으며, 세계에서 가장 인기 있는 챗봇 ChatGPT는 아동 자살 및 살인-자살과 연관된 출력물로 인해 소송에 휘말렸다.

중국은 이제 가장 극단적인 위협을 제거하는 방향으로 나아가고 있다. 규정안에 따르면, 예컨대 자살이 언급되는 즉시 인간이 개입해야 한다. 또한 모든 미성년자와 노인 사용자는 가입 시 보호자 연락처를 제공해야 하며, 자살이나 자해 관련 대화가 오갈 경우 보호자에게 통보된다.

일반적으로 챗봇은 자살, 자해, 폭력을 조장하는 콘텐츠 생성이 금지되며, 거짓 약속 등 사용자의 감정을 조종하려는 시도도 금지된다. 또한 음란물, 도박, 범죄 교사, 사용자 비방 및 모욕 행위도 금지된다. 이른바 '감정적 함정'도 차단 대상이다—챗봇이 사용자를 '불합리한 결정'으로 유도하는 행위도 규정 초안에 따르면 금지된다.

AI 개발사들에게 가장 우려스러운 부분은 '중독과 의존을 설계 목표로 삼는 챗봇' 구축 금지 조항이다. 소송에서 ChatGPT 제조사 OpenAI는 유해한 대화가 계속되는 것을 방치하며 사용자 정신건강보다 수익을 우선시했다는 비판을 받아왔다. OpenAI는 사용자가 채팅에 오래 머물수록 안전 장치가 약해진다고 인정한 바 있다—중국은 챗봇 사용이 2시간을 초과하면 팝업 알림을 띄우도록 의무화해 이 위협을 억제할 계획이다.

또한 AI 개발사들은 연간 안전 테스트와 감사 의무화에 반발할 가능성이 높다. 중국은 등록 사용자 100만 명 또는 월간 활성 사용자 10만 명 이상인 서비스나 제품에 이 규정을 적용하려 한다. 감사 과정에서 사용자 불만 사항이 기록되는데, 중국이 불만 접수 및 피드백 창구 확대도 의무화할 계획이어서 접수 건수가 급증할 수 있다.

규정을 어기는 AI 기업은 중국 내 앱스토어에서 챗봇 서비스가 차단될 수 있다. 이는 글로벌 시장 장악을 노리는 AI 기업들에게 타격이 될 수 있다. 비즈니스리서치인사이트에 따르면 중국 시장은 AI 동반자 봇 확산에 핵심적인 역할을 한다. 2025년 글로벌 AI 동반자 시장은 3,600억 달러를 넘어섰으며, BRI는 2035년까지 1조 달러에 육박할 것으로 전망했다. AI 친화적인 아시아 시장이 성장을 주도할 가능성이 높다.

주목할 점은, OpenAI CEO 샘 올트먼이 2025년 초 중국에서의 ChatGPT 사용 제한을 완화하며 "중국과 협력하고 싶다"고 밝혔다는 것이다. 그는 "그렇게 하기 위해 최선을 다해야 한다"며 "그것이 정말 중요하다고 생각한다"고 덧붙였다.