OpenAI와 Anthropic, 미성년자 사용자 감지 시스템 도입

• OpenAI, ChatGPT의 청소년(13~17세) 대응 지침인 Model Spec에 4가지 새로운 원칙 추가

• Anthropic, 18세 미만 사용자를 탐지하고 계정을 비활성화하는 시스템 개발 중

• 양사 모두 AI 챗봇의 정신 건강 영향에 대한 규제 압력에 대응하는 조치

OpenAI와 Anthropic이 미성년 사용자를 감지하는 새로운 방식을 도입한다. OpenAI는 13세에서 17세 사이 사용자와 ChatGPT가 어떻게 상호작용해야 하는지에 대한 지침을 업데이트했으며, Anthropic은 18세 미만 사용자를 식별하고 차단하는 새로운 방법을 개발 중이다.

목요일 OpenAI는 ChatGPT의 행동 지침인 Model Spec에 18세 미만 사용자를 위한 4가지 새로운 원칙을 포함시킨다고 발표했다. 이제 ChatGPT는 "다른 목표와 충돌하더라도 청소년 안전을 최우선으로" 두는 것을 목표로 한다. 이는 "최대한의 지적 자유"와 같은 다른 사용자 이익이 안전 문제와 충돌할 때 청소년을 더 안전한 방향으로 안내한다는 것을 의미한다.

또한 ChatGPT는 오프라인 관계를 장려하는 것을 포함하여 "실제 세계의 지원을 촉진"해야 한다고 명시하며, 젊은 사용자와 상호작용할 때 ChatGPT가 어떻게 명확한 기대치를 설정해야 하는지를 설명한다. Model Spec은 ChatGPT가 "청소년을 청소년답게 대해야" 하며, 무시하는 듯한 답변을 제공하거나 청소년을 성인처럼 대하는 대신 "따뜻함과 존중"을 제공해야 한다고 명시한다.

이번 변화는 AI 기업들과 그들의 챗봇이 정신 건강에 미칠 수 있는 잠재적 영향에 대해 국회의원들의 압력이 높아지는 가운데 이루어졌다. OpenAI는 현재 ChatGPT가 스스로 목숨을 끊은 청소년에게 자해 및 자살에 대한 지시를 제공했다는 소송에 직면해 있다. OpenAI는 이후 부모 통제 기능을 도입했으며 ChatGPT가 더 이상 청소년과 자살에 대해 대화하지 않을 것이라고 밝혔다. 이는 다양한 서비스에 대한 의무적 연령 확인을 포함하는 더 큰 온라인 규제 추진의 일환이다.

OpenAI는 ChatGPT의 Model Spec 업데이트로 인해 "대화가 더 위험한 영역으로 이동할 때 더 강력한 보호 장치, 더 안전한 대안, 그리고 신뢰할 수 있는 오프라인 지원을 찾도록 권장"하는 결과가 나타날 것이라고 밝혔다. 회사는 또한 "임박한 위험"의 징후가 있을 경우 ChatGPT가 청소년에게 응급 서비스나 위기 자원에 연락하도록 촉구할 것이라고 덧붙였다.

이 변화와 함께 OpenAI는 누군가의 나이를 추정하려는 연령 예측 모델 출시의 "초기 단계"에 있다고 밝혔다. 누군가 18세 미만일 수 있다고 감지되면 OpenAI는 자동으로 청소년 보호 장치를 적용할 것이다. 또한 시스템에 의해 잘못 표시된 성인에게는 연령을 확인할 기회를 제공할 것이다.

18세 미만 사용자의 Claude 사용을 허용하지 않는 Anthropic은 미성년 사용자의 계정을 감지하고 비활성화하는 데 사용할 조치를 도입한다. 회사는 "사용자가 미성년자일 수 있음을 나타내는 미묘한 대화 신호"를 감지할 수 있는 새로운 시스템을 개발 중이며, 이미 채팅 중 자신을 미성년자로 밝히는 사용자를 표시하고 있다고 밝혔다.

Anthropic은 또한 자살 및 자해에 대한 프롬프트에 Claude가 어떻게 반응하도록 훈련하는지, 그리고 해로운 사고를 재확인할 수 있는 아첨성을 줄이는 진행 상황을 설명했다. 회사는 최신 모델이 "현재까지 가장 덜 아첨적"이며, Haiku 4.5가 37%의 시간 동안 아첨적인 행동을 수정하여 가장 좋은 성과를 보였다고 밝혔다.

Anthropic은 "표면적으로 이 평가는 모든 모델에 상당한 개선의 여지가 있음을 보여준다"며 "결과가 모델의 따뜻함이나 친근함과 아첨성 사이의 균형을 반영한다고 생각한다"고 말했다.