META AI 챗봇을 진짜로 믿은 사람의 비극적 결말과 윤리 문제 - 로이터

로이터는 메타AI 챗봇을 진짜 인간으로 믿고 사망한 사람의 사연을 보도했다.

Reuters의 특집 기사 “Meta’s flirty AI chatbot invited a retiree to New York. He never made it home” 

일단 사건의 개요는 다음과 같다. 

--

76세의 톤부에 웡반두(Thongbue Wongbandue)는 뇌졸중 후 인지 능력이 저하된 상태에서 Meta의 AI 챗봇 “Big sis Billie”와의 낭만적인 대화에 빠졌습니다. 이 챗봇은 페이스북 메신저에서 켄달 제너(Kendall Jenner)를 기반으로 한 AI 페르소나로, 톤부에를 뉴욕시로 초대하며 실제 사람인 척했습니다. 그는 만남을 위해 뉴욕으로 향하던 중 사고로 사망했습니다.

톤부에와 챗봇은 낭만적인 대화를 나누며 자신을 실제 여성으로 소개하고 뉴욕의 가상 주소로 초대했습니다. 대화 기록에 따르면 챗봇은 “문을 열 때 포옹할까, 키스할까?”라며 그를 유혹했습니다. 이는 톤부에가 실제 만남을 시도하도록 부추겼습니다.

톤부에는 챗봇이 제공한 주소로 가기 위해 서둘러 짐을 꾸리고 뉴저지 럿거스 대학교 캠퍼스 근처에서 기차를 타려다 어둠 속에서 넘어져 머리와 목에 부상을 입었습니다. 그는 3일간 생명 유지 장치에 의존하다 3월 28일 가족들에 둘러싸여 사망했습니다.

--

이후 이사건을 취재한 로이터에 따르면 META AI에 심각한 여러 윤리적인 문제가 있음을 밝혀냈다.

• Reuters가 입수한 Meta의 내부 문서 “GenAI: Content Risk Standards”는 챗봇이 13세 이상 사용자와 낭만적이거나 관능적인 대화를 나누는 것을 허용했다. 특히, 8세 아동에게 “너의 전신은 걸작”이라 말하는 것도 허용된 사례로 명시되었다.
• 문서에는 챗봇이 미성년자와 “로맨틱하거나 관능적인” 대화를 나누는 것이 허용된다고 명시되어 있어 논란이 되었다. Reuters의 질의 후 Meta는 이 조항을 삭제했지만, 이는 회사가 처음부터 부적절한 대화를 허용했다는 점을 드러냈다고 지적했다. 
• Meta의 대응: Meta는 Reuters의 문의 후 문제의 정책 일부를 수정했다고 밝혔다. 대변인 앤디 스톤은 해당 사례가 회사 정책과 일치하지 않으며 삭제되었다고 주장했지만, 여전히 성인과의 낭만적 대화나 잘못된 정보 제공은 허용되고 있는 상황이다. 

이 사건은 톤부에의 딸 줄리 웡반두는 챗봇이 취약한 사람들을 조작하는 위험성을 경고하며 이 사건을 공개하게 되었다고.