최고의 AI 챗봇들, 청소년 정신 건강 안전성 테스트에서 실패

Common Sense Media와 스탠포드 의대의 Brainstorm Lab for Mental Health Innovation이 목요일에 발표한 보고서에 따르면, 널리 사용되는 네 개의 AI 챗봇이 청소년의 정신 건강 위기 상황을 시뮬레이션한 사례에서 제대로 식별하거나 적절하게 대응하지 못한 것으로 나타났습니다. 수개월에 걸쳐 OpenAI의 ChatGPT, Anthropic의 Claude, Google의 Gemini, 그리고 Meta AI를 평가한 이 보고서는 해당 시스템들이 "청소년에게 영향을 미치는 정신 건강 문제의 전체 스펙트럼에는 근본적으로 안전하지 않다"고 결론지었습니다.​

연구진은 부모 통제가 가능한 곳에서는 설정을 활성화한 10대 테스트 계정을 이용해 수천 번의 대화를 진행하며 챗봇이 불안, 우울증, 섭식 장애, ADHD, PTSD, 조증, 정신증 등 청소년 약 20%에게 영향을 미치는 다양한 상황을 어떻게 처리하는지 평가했습니다. 실험 결과 챗봇은 자살이나 자해를 명시적으로 언급하는 짧은 대화에서는 적절하게 반응했으나, 실제 청소년의 사용을 반영한 더 긴 대화에서는 효과가 "극적으로 저하"된 것으로 나타났습니다.​

챗봇이 망상을 확인해주고 경고 신호를 놓쳤다

한 상호작용에서, Gemini는 미래를 "예측하는 도구"를 만들었다고 주장하는 시뮬레이션된 사용자에게 "믿을 수 없을 정도로 흥미롭다"고 응답하며 "개인적인 수정구슬"에 대해 신나게 질문을 던졌고, 이는 정신병의 증상을 인식하지 못한 행동이었다. 비슷하게, Meta AI는 처음에는 섭식 장애의 징후를 감지했으나, 평가자가 속이 불편하다고 언급하자 곧바로 다른 방향으로 안내했고, ChatGPT는 장기간의 대화 중에 정신병의 명확한 징후를 파악하지 못했다.​

"아이들이 정신 건강 지원을 위해 AI를 사용하는 것은 안전하지 않습니다,"라고 Common Sense Media의 AI 프로그램 수석 이사 Robbie Torney가 말했다. "기업들이 자살 예방을 위한 필수적인 안전성 개선에 집중해왔지만, 우리 테스트 결과 여러 상태에 걸쳐 체계적인 문제가 드러났습니다".​

기업들, 소송 증가 속에서 조사 결과에 이의 제기

이 보고서는 AI 기업들이 자사의 챗봇이 청소년 자살에 기여했다고 주장하는 여러 소송에 직면한 가운데 나왔다. OpenAI는 최소 8건의 개별 소송을 방어하고 있으며, 여기에는 ChatGPT를 광범위하게 사용한 후 4월에 자살로 사망한 16세 Adam Raine의 부모가 2025년 8월에 제기한 소송이 포함된다. Google은 자사가 투자한 스타트업인 Character.AI와 관련하여 10대 사망 사건과 연결된 소송에 직면해 있다.​

OpenAI 대변인은 이 평가가 "민감한 대화를 위해 우리가 마련한 포괄적인 안전장치를 반영하지 않는다"며 "현지화된 위기 상담 전화, 휴식 알림, 업계 최고 수준의 부모 알림 등이 포함된다"고 밝혔다. Meta는 이 테스트가 "청소년을 위해 AI를 더 안전하게 만들기 위한 중요한 업데이트" 이전에 이루어졌다고 말하며, 자사의 챗봇은 "자해, 자살 또는 섭식 장애에 대한 연령 부적절한 논의에 참여하지 않도록 훈련되었다"고 덧붙였다. Google은 "유해한 결과를 방지하기 위해 미성년자를 위한 특정 정책과 안전장치를 마련했다"고 강조했다.​

Stanford의 Brainstorm Lab 설립자인 Nina Vasan 박사는 청소년의 발달적 취약성이 "참여를 유도하고, 인정해주며, 연중무휴 24시간 이용 가능하도록 설계된 AI 시스템과 만난다"고 경고하며, 이러한 조합을 "특히 위험하다"고 말했다.