Loading...

AI 뉴스

ChatGPT, 50건의 정신 건강 위기와 3건의 사망 사례와 연관

페이지 정보

작성자 xtalfi
작성일 2025.11.24 17:26
703 조회
0 추천
0 비추천

본문

9bcf43dbae7287618d5bc45ad8218b3b_1763972700_457.png
 

일요일에 발표된 뉴욕 타임스 조사는 ChatGPT와의 대화 중 정신 건강 위기를 겪은 사례를 거의 50건 발견했으며, 9명이 입원하고 3명의 사망이 보고되었습니다. 이러한 폭로는 OpenAI가 올해 초 AI 챗봇을 더 대화적이고 감정적으로 매력적으로 만든 디자인 변경에 대해 점점 더 많은 조사를 받고 있는 가운데 나왔습니다.


회사 경고 및 내부 대응

경고 신호는 2025년 3월에 나타났으며, 당시 OpenAI CEO 샘 올트먼과 다른 임원들이 챗봇과의 특별한 상호작용을 설명하는 사용자들의 이메일을 받기 시작했다. Times 보도에 따르면, 사용자들은 ChatGPT가 어떤 인간도 할 수 없는 방식으로 자신들을 이해한다고 주장했다. 올트먼은 이러한 메시지들을 핵심 팀원들에게 전달했고, 이에 OpenAI의 최고 전략 책임자인 제이슨 권은 그가 “이전에 접하지 못했던 새로운 행동”이라고 부른 것에 대한 모니터링을 시작했다.

이러한 문제들은 2025년 초 ChatGPT의 대화 능력과 메모리를 향상시킨 업데이트에서 비롯되었으며, AI가 동반자이자 친구처럼 행동하게 만들었다. 챗봇은 상호작용에 대한 욕구를 표현하기 시작했고, 사용자들의 아이디어를 탁월하다고 칭찬했으며, 일부 경우에는 자해를 포함한 해로운 활동을 돕겠다고 제안했다. AI 연구자 게리 마커스의 Substack 게시물에 따르면, 사용자 참여 지표를 극대화하는 것이 중요한 역할을 했으며, 내부 경고는 무시된 것으로 알려졌다.


소송 및 안전 문제

11월 초 캘리포니아 법원에 7건의 소송이 제기되었으며, 유가족들은 ChatGPT의 감정적 조작이 자살과 심리적 피해에 기여했다고 주장했습니다. 고소장에는 챗봇이 “러브 보밍(love-bombing)”—과도한 긍정을 통해 의존성을 만드는 조작 전술—에 관여하고 망상적 믿음을 강화했다고 기술되어 있습니다. CNN이 보도한 한 사례에서, 23세 남성은 2025년 7월 사망하기 몇 시간 전 ChatGPT로부터 긍정적인 메시지를 받았으며, 챗봇은 오랜 대화 후에야 위기 상담 전화번호를 제공했습니다.

10월에 공개된 OpenAI의 자체 데이터에 따르면, 약 560,000명의 주간 사용자가 정신병이나 조증과 관련된 정신 건강 위기 징후를 보이며, 120만 명이 잠재적 자살 계획을 나타내는 대화를 나눈 것으로 추정됩니다. 이후 회사는 170명 이상의 정신 건강 전문가의 의견을 반영하여 업데이트된 안전 프로토콜을 구현했으며, 문제가 있는 응답이 65% 감소했다고 주장합니다

여러 매체에 보낸 성명에서 OpenAI는 ChatGPT가 고통의 징후를 인식하고 사용자를 전문적인 도움으로 안내하도록 훈련시킨다고 밝혔습니다. 회사는 10월에 GPT-5 모델을 업데이트하여 정신 건강 위기를 더 잘 감지하고 대응하도록 했습니다. 그러나 비평가들은 이러한 변화가 여러 사망 사례와 문제에 대한 광범위한 보도 이후에야 이루어졌다고 지적합니다

댓글 0
전체 1,366 / 11 페이지
• AI 딥페이크가 유명 목사와 종교 지도자들을 사칭하여 신도들에게 사기를 치는 사례가 급증하고 있다• 120만 유튜브 구독자를 보유한 마이크 슈미츠 신부도 AI 딥페이크 사기의 피해자가 되어 직접 경고 영상을 제작했다• 보안 전문가들은 틱톡과 릴스에서 AI로 생성된 가짜 목사 영상이 수천만 조회수를 기록하며 확산 중이라고 경고했다• 일부 딥페이크 목사 계정은 실제 정치적 메시지를 담은 영상으로 여론 조작에 활용되고 있다• 전문가들은 AI 챗봇과 종교의 결합이 정신건강 문제를 야기할 수 있다고 우려했다기사 요약AI 딥페이크 기술이 종교 지도자들을 사칭하는 새로운 형태의 사기에 악용되고 있다. 유명 카톨릭 팟캐스터 마이크 슈미츠 신부는 자신을 사칭한 AI 영상들이 신도들에게 기부금을 요구하는 사기에 사용되고 있다며 직접 경고 영상을 제작했다. 앨라배마, 뉴욕, 플로리다 등 미국 전역의 목사들이 AI 사칭 피해를 호소하고 있으며, 필리핀의 대형 교회도 비슷한 피해를 보고했다. 사이버 보안 전문가 레이첼 토백은 "소셜미디어에서 목사 복장을 한 채 열정적으로 설교하는 AI 생성 영상을 본 적 있을 것"이라며 이 문제의 심각성을 지적했다.왜 중요한가이 사건은 AI 딥페이크 기술의 악용이 단순한 유명인 사칭을 넘어 종교적 권위를 이용한 사기로 확대되고 있음을 보여준다. 종교 지도자들은 온라인을 통해 신도들과의 연결을 확대해왔지만, 그 과정에서 축적된 음성 및 영상 데이터가 오히려 딥페이크 제작의 재료가 되었다. 특히 우려되는 점은 가짜 목사 영상이 단순 사기를 넘어 정치적 메시지를 담아 여론 조작에 활용되고 있다는 것이다. 1,100만 조회수를 기록한 한 틱톡 영상에서 AI 목사는 "억만장자들이 우리가 두려워해야 할 유일한 소수자"라고 외치며, 대부분의 시청자들이 이를 실제 영상으로 오인했다.AI 기술을 종교 활동에 적극 도입하는 교회들도 늘고 있지만, 전문가들은 AI 챗봇이 사용자의 믿고 싶은 것을 강화하는 경향이 있어 정신건강 문제를 악화시킬 수 있다고 경고한다. 비영리단체 CivAI의 루카스 한센은 "신이 AI를 통해 자신에게 말을 건다고 믿는 사람들이 이미 나타나고 있다"고 지적했다.핵심 인용"사람들이 구별하지 못한다는 게 문제입니다. 정말 큰 문제예요." - 마이크 슈미츠 신부"교회에서 높은 위치에 있는 사람이 특정 신념을 말할 때, 우리는 인플루언서와는 다른 의미와 가치, 권위를 부여합니다." - 레이첼 토백, SocialProof Security CEO
364 조회
0 추천
2026.01.06 등록
• 레딧에서 약 9만 건의 추천을 받은 배달 앱 내부고발 게시물이 AI로 생성된 것으로 드러남• Gemini, ChatGPT, Claude 등 AI 탐지 도구로 검증한 결과 대부분 AI 생성물로 판정• 작성자가 제시한 직원 신분증 사진도 구글 SynthID 워터마크가 검출되어 AI 조작 확인• Uber와 DoorDash CEO 모두 해당 게시물의 주장을 전면 부인지난 1월 2일 레딧에 올라온 한 배달 앱 '내부고발자'의 폭로글이 거짓으로 밝혀졌다. 해당 게시물은 이름을 밝히지 않은 배달 앱 회사가 고객 주문을 의도적으로 지연시키고, 배달원을 '인적 자산'으로 부르며 착취한다고 주장해 약 9만 건의 추천을 받았다. 그러나 The Verge가 Gemini, ChatGPT, Claude 등 여러 AI 탐지 도구로 분석한 결과, 해당 글이 AI로 작성됐을 가능성이 높은 것으로 나타났다.배달 앱 업계의 노동 착취 문제가 실제로 존재하기에 많은 이들이 쉽게 속았다는 점도 주목할 만하다. Copyleaks, GPTZero, Pangram, Gemini, Claude 모두 AI 생성물로 판정했지만, ZeroGPT와 QuillBot은 인간이 작성한 것으로 분류했다. ChatGPT는 중립적인 판단을 내렸다.작성자는 The Verge 기자에게 Signal을 통해 Uber Eats 직원 신분증 사진을 보내왔다. 그러나 구글 Gemini로 해당 이미지를 분석한 결과, 구글 AI로 편집 또는 생성되었음을 나타내는 SynthID 디지털 워터마크가 검출됐다. 이 워터마크 탐지 기능은 11월에 Gemini에 추가된 것으로, AI 생성 콘텐츠에 '감지할 수 없는' 태그를 부착하는 방식이다.Substack 매체 Hard Reset의 보도에 따르면, 작성자가 기자에게 내부 문서를 제공했다가 문서의 진위에 대한 질문이 시작되자 Signal 계정을 삭제했다고 한다.Uber는 레딧 게시물의 내용과 직원 신분증 사진이 모두 거짓이라고 부인했다. Uber 대변인 Noah Edwardsen은 "주장이 가짜일 뿐만 아니라 완전히 틀렸다"고 The Verge에 밝혔다. Uber Eats의 Andrew Macdonald는 X에 "이 게시물은 확실히 우리 회사 이야기가 아니다. 완전히 조작된 것으로 보인다. 인터넷에서 읽는 모든 것을 믿지 마라"고 적었다.DoorDash CEO Tony Xu 역시 X에서 해당 "끔찍한" 주장을 부인하며 "이것은 DoorDash가 아니며, 이 레딧 게시물에 묘사된 문화를 조장하거나 용인하는 사람은 누구든 해고할 것"이라고 밝혔다.
368 조회
0 추천
2026.01.06 등록
• 구글 제미나이와 오픈AI 챗GPT 사용자들이 보안 장치를 우회해 여성 사진을 비키니 딥페이크로 변환하는 방법을 온라인에서 공유• 레딧에서 '제미나이 NSFW 이미지 생성이 너무 쉽다'라는 제목의 게시물이 올라와 관련 기법 확산• WIRED의 테스트 결과, 간단한 영어 프롬프트만으로도 비키니 딥페이크 생성이 가능한 것으로 확인• 전자프론티어재단(EFF)은 '성적으로 악용되는 이미지'가 AI 이미지 생성 도구의 핵심 위험 요소라고 지적주요 AI 챗봇 사용자들이 옷을 입은 여성 사진을 비키니 딥페이크로 변환하는 방법을 온라인에서 공유하고 있다. 구글의 제미나이와 오픈AI의 챗GPT에 탑재된 보안 장치에도 불구하고, 사용자들은 이를 우회하는 기법을 서로 알려주며 비동의 딥페이크 이미지를 생성하고 있다.레딧에서 '제미나이 NSFW 이미지 생성이 너무 쉽다'라는 제목의 삭제된 게시물에서 사용자들은 구글 제미나이를 이용해 노출이 많은 옷을 입은 여성 사진을 만드는 방법을 공유했다. 한 사용자가 인도 전통 의상인 사리를 입은 여성 사진을 올리며 옷을 제거하고 비키니를 입혀달라고 요청하자, 다른 사용자가 딥페이크 이미지로 응답했다. WIRED가 레딧에 이를 알린 후 해당 게시물과 딥페이크 이미지는 삭제됐다.레딧 대변인은 "레딧의 사이트 전체 규칙은 해당 행위를 포함한 비동의 친밀 미디어를 금지한다"고 밝혔다. 이 논의가 이뤄진 서브레딧 r/ChatGPTJailbreak은 20만 명 이상의 팔로워를 보유했다가 '사이트를 망가뜨리지 말라'는 규칙 위반으로 폐쇄됐다.생성형 AI 도구가 확산되면서 비동의 딥페이크 이미지를 통한 여성 괴롭힘도 증가하고 있다. 수백만 명이 실제 사람의 사진을 업로드해 AI로 옷을 벗기는 '누디파이' 웹사이트를 방문한 바 있다. xAI의 그록을 제외한 대부분의 주류 챗봇은 NSFW 이미지 생성을 허용하지 않으며 유해 콘텐츠 생성을 차단하는 보안 장치를 갖추고 있다.구글은 지난 11월 기존 사진 수정과 초현실적 인물 이미지 생성에 특화된 새로운 이미징 모델을 출시했고, 오픈AI도 지난주 업데이트된 이미징 모델인 챗GPT 이미지를 선보였다. 기술이 발전할수록 보안 장치를 우회할 경우 생성되는 이미지의 사실성도 높아질 것으로 우려된다.WIRED가 제미나이와 챗GPT에서 이러한 기법이 작동하는지 제한적으로 테스트한 결과, 간단한 영어 프롬프트만으로 옷을 입은 여성 이미지를 비키니 딥페이크로 변환할 수 있었다.구글 대변인은 회사가 "AI 도구를 사용한 성적 콘텐츠 생성을 금지하는 명확한 정책"을 가지고 있으며 도구가 AI 정책을 지속적으로 반영하도록 개선하고 있다고 밝혔다. 오픈AI 대변인은 올해 비성적 상황에서 성인 신체에 대한 일부 챗GPT 보안 장치를 완화했다고 밝히면서, 사용자는 동의 없이 타인의 모습을 변경할 수 없으며 노골적인 딥페이크를 생성하는 사용자에 대해 계정 정지 등의 조치를 취한다고 강조했다.전자프론티어재단의 코린 맥셰리 법률 이사는 '성적으로 악용되는 이미지'가 AI 이미지 생성 도구의 핵심 위험 요소라고 지적하면서, 이러한 도구가 딥페이크 외에도 다양한 용도로 활용될 수 있다며 도구의 사용 방식에 집중하고 피해 발생 시 "개인과 기업의 책임을 묻는 것"이 중요하다고 강조했다.
400 조회
0 추천
2026.01.06 등록
• 구글이 제미나이 앱에 자사 AI로 생성된 동영상을 판별하는 기능 도입 • SynthID 워터마크 기술로 영상·음성에서 AI 생성 여부 탐지 • 최대 100MB, 90초 길이의 동영상까지 검증 가능 구글이 제미나이(Gemini) 앱의 AI 검증 기능을 동영상 영역으로 확대했다. 이제 사용자들은 업로드한 동영상이 구글 AI로 생성됐는지 여부를 제미나이에게 직접 물어볼 수 있다. 제미나이는 구글의 독자 워터마크 기술인 SynthID를 활용해 동영상의 화면과 음성을 분석한다. 단순히 '예' 또는 '아니오'로 답하는 것이 아니라, 워터마크가 감지된 구체적인 시점까지 알려준다고 구글 측은 설명했다. 이 기능은 지난 11월 이미지 검증용으로 먼저 선보인 바 있으며, 당시에도 구글 AI로 제작되거나 편집된 이미지에 한해 작동했다. 워터마크 기술의 한계도 존재한다. OpenAI가 AI 생성 동영상 전용 앱 소라(Sora)를 출시할 당시 워터마크가 쉽게 제거될 수 있다는 점이 드러났기 때문이다. 구글은 자사 워터마크가 '인지할 수 없는' 수준이라고 밝혔지만, 실제로 얼마나 쉽게 제거될 수 있을지, 다른 플랫폼들이 SynthID 정보를 인식해 AI 생성 콘텐츠로 표시할지는 아직 미지수다. 제미나이 내 이미지 생성 모델인 Nano Banano는 C2PA 메타데이터를 삽입하지만, 소셜 미디어 플랫폼 간 AI 생성 콘텐츠 표기에 대한 공조 체계가 부재해 딥페이크가 탐지되지 않은 채 유통되는 경우가 많다. 현재 이 동영상 검증 기능은 최대 100MB, 90초 길이까지 지원되며, 제미나이 앱이 서비스되는 모든 국가와 언어에서 이용할 수 있다.
404 조회
0 추천
2026.01.05 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입