Loading...

AI 뉴스

Reddit, 위험한 의료 조언 우려 속에 AI 검색 전 세계로 확대

페이지 정보

작성자 xtalfi
작성일 2025.10.19 13:49
2,158 조회
0 추천
0 비추천

본문

2233029301_jqck8b.jpg

(퍼플렉시티가 정리한 기사)

Reddit는 이번 주에 AI 기반 검색 기능 "Answers"를 5개의 새로운 언어로 출시했습니다. 이는 챗봇이 만성 통증 완화를 위해 헤로인을 포함한 위험한 물질을 의학적 상태에 권장하는 경향에 대한 비판이 증가하고 있는 가운데 이루어졌습니다.

이 소셜 미디어 플랫폼은 목요일에 Reddit Answers가 이제 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어를 지원하여 브라질, 프랑스, 독일, 스페인, 멕시코, 이탈리아의 사용자들에게 접근성을 확대한다고 발표했습니다. Google AI 모델을 사용하여 커뮤니티 토론을 요약하는 이 기능은 2024년 베타 출시 이후 주간 사용자 수가 100만 명에서 600만 명으로 증가했습니다.

 

AI가 통증 관리를 위해 불법 약물을 제안함

 

그러나 이번 확장은 의료 전문가들이 Reddit Answers가 의료 서브레딧에서 헤로인과 크라톰을 통증 관리 솔루션으로 홍보하는 것을 발견한 후 심각한 안전 우려 속에서 이루어졌습니다. r/FamilyMedicine 서브레딧의 모더레이터는 AI 도구가 사용자에게 "현재 복용 중인 처방약을 중단하고 고용량 크라톰을 복용하라"고 제안하고 사용자 일화를 바탕으로 헤로인을 추천한 것에 대해 문제를 제기했습니다.​

404 Media에 따르면, AI는 만성 통증 질문에 응답할 때 "아이러니하게도 헤로인이 그런 상황에서 제 목숨을 구했습니다"라고 명시된 Reddit 게시물을 인용했습니다. 챗봇은 또한 신생아 발열 치료에 대해 의심스러운 조언을 제공하며, 신생아에게 열이 있을 경우 기다려도 괜찮다고 제안했습니다.​

"우리 서브레딧은 잘못된 정보에 대해 엄격한 규칙을 가지고 있으며, 가능하다면 이 기능을 즉시 비활성화할 것입니다"라고 r/FamilyMedicine의 모더레이터들이 커뮤니티 공지에서 썼습니다. "우리는 현재 Reddit Answers를 지지하거나 지원하지 않으며, 모든 사용자가 이것이 제공하는 정보를 무시할 것을 강력히 권고합니다."

 

플랫폼 응답이 중재자 요구에 미치지 못함

 

반발이 일자, Reddit은 민감한 주제에 대한 "관련 답변"이 대화 페이지에 표시되지 않도록 하는 업데이트를 시행했습니다. 그러나 운영자들은 여전히 이 기능을 완전히 비활성화하거나 커뮤니티 내에서 위험한 응답을 표시할 수 없다고 보고하고 있습니다.​

"이번 업데이트는 이전에 게시물 상세 페이지에 표시되었을 수 있는 민감한 주제에 대한 '관련 답변'이 더 이상 표시되지 않도록 보장합니다"라고 Reddit 대변인이 여러 매체에 밝혔습니다. 회사는 어떤 주제가 AI 응답에서 제외되었는지는 구체적으로 명시하지 않았습니다.​

이번 논란은 AI 챗봇이 적절한 안전장치 없이 의료 조언을 제공하는 것에 대한 광범위한 우려를 부각시킵니다. Google의 AI Overviews를 포함한 다른 AI 시스템들도 유사한 문제로 어려움을 겪었으며, 이전에는 피자에 "무독성 접착제"를 사용할 것을 제안하기도 했습니다.​

Reddit CEO Steve Huffman은 회사의 2분기 실적 발표에서 플랫폼의 전체 검색 기능이 매주 7천만 명 이상의 사용자를 유치하고 있으며, Reddit Answers는 6백만 명 이상의 사용자에게 도달했다고 보고했습니다. 회사는 ChatGPT 및 Perplexity와 같은 다른 대화형 AI 도구와 경쟁하기 위한 광범위한 전략의 일환으로 궁극적으로 기존 검색과 AI 기반 검색 경험을 통합할 계획입니다.

댓글 0
전체 1,366 / 81 페이지
Figure AI는 390억 달러 가치의 휴머노이드 로봇 스타트업으로, 회사의 로봇이 인간의 두개골을 골절시킬 수 있고 작업자에게 심각한 부상 위험을 초래한다고 경영진에게 경고한 후 해고되었다고 주장하는 전 제품 안전 책임자로부터 연방 소송에 직면해 있습니다.아마존과 그 로봇 부서에서 6년 이상의 경력을 가진 로봇 안전 엔지니어인 Robert Gruendel은 금요일 캘리포니아 북부 지방 연방 지방법원에 소송을 제기했습니다. 고소장은 그가 회사의 휴머노이드 로봇에 대한 “가장 직접적이고 문서화된 안전 불만”을 제기한 지 며칠 후인 9월에 해고되었다고 주장합니다.소송에 따르면, Gruendel은 7월에 충격 테스트를 실시했으며, 로봇이 “초인적인 속도”로 움직이고 “통증 역치의 20배”에 달하는 힘을 발생시킨다는 사실을 발견했습니다. 이는 성인 인간의 두개골을 골절시키는 데 필요한 힘의 두 배 이상입니다. 소송은 또한 오작동하는 로봇이 직원이 근처에 서 있는 동안 “강철 냉장고 문에 ¼인치 깊이의 상처를 새긴” 사건을 설명합니다.안전 계획 하향 조정 의혹소송은 Gruendel이 두 주요 투자자로부터 투자를 확보하는 데 도움이 된 포괄적인 안전 로드맵을 개발했지만, 자금 조달 라운드가 종료된 후 회사 경영진에 의해 이 계획이 “무용지물이 되었다”고 주장합니다. Gruendel은 이것이 “사기로 해석될 수 있다”고 경영진에게 경고한 것으로 알려졌습니다.고소장은 또한 Gruendel이 CEO Brett Adcock과 수석 엔지니어 Kyle Edelberg에게 보낸 메시지에서 로봇의 능력에 대한 우려를 제기했을 때, 그의 경고가 무시되었다고 주장합니다. 소송에 따르면, Gruendel의 안전 지침은 “의무가 아닌 장애물”로 취급되었으며, 그는 해고되기 전에 회사가 “모호한 ‘사업 방향 전환’“을 겪고 있다는 말을 들었습니다.회사, 주장 부인Figure AI는 혐의를 부인하며 CNBC에 Gruendel이 “낮은 업무 성과로 해고되었다”고 밝혔고, 그의 주장은 “Figure가 법정에서 철저히 반박할 허위 사실”이라고 말했다. 회사 대변인은 추가 논평 요청에 즉각 응답하지 않았다.이 소송은 Figure가 9월에 Parkway Venture Capital이 주도하고 Nvidia, Microsoft, Intel Capital 및 기타 주요 투자자들이 참여한 10억 달러 규모의 시리즈 C 펀딩 라운드를 완료한 지 두 달 후에 제기되었다. 이번 라운드는 산호세 소재 회사의 기업 가치를 390억 달러로 평가했으며, 이는 Jeff Bezos, Nvidia, Microsoft로부터 투자를 받았던 2024년 초 기업 가치 대비 15배 증가한 것이다.Gruendel의 변호사는 CNBC에 캘리포니아 법이 안전하지 않은 관행을 보고하는 직원을 보호한다고 말하며, 이것이 휴머노이드 로봇 안전과 관련된 최초의 내부고발 소송 중 하나가 될 수 있다고 언급했다. Gruendel은 배심원 재판과 함께 경제적, 보상적, 징벌적 손해배상을 요구하고 있다.
1298 조회
0 추천
2025.11.23 등록
Linus Tech Tips는 딥페이크 기술이 지난 5년 동안 제작이 훨씬 쉬워지고 더욱 그럴듯해졌음을 보여주며, 이 기술이 취약 계층을 노린 사기 등에 악용될 수 있다는 시급한 우려를 제기합니다.팀은 DeepFaceLab을 사용하여 라이너스 세바스찬의 얼굴 사진 7,000장으로 훈련된 딥페이크를 매우 그럴듯하게 제작했으며, 이 과정은 5년 전 시도에 비해 “적어도 100배는 더 쉬웠다”고 밝히기도 했습니다. 또한 일반 하드웨어와 상업용 도구만으로 완전히 AI 기반의 영상을 만들어냈습니다.2024년 전 세계 온라인 사기 피해액은 1조 달러를 넘어섰고, 북미 지역의 딥페이크 사기 사례는 2022년부터 2023년까지 1,740% 급증했으며, 이 영상은 시청자들이 이러한 빠르게 증가하는 위협을 인식하고 피할 수 있도록 돕는 것을 목표로 합니다.
1286 조회
0 추천
2025.11.23 등록
개발자 Armin Ronacher는 2025년에도 AI 에이전트 구축이 여전히 어렵다고 주장하며, Vercel AI SDK와 같은 고수준 SDK 추상화는 실제 도구 사용을 처리할 때 제대로 작동하지 않아, 캐싱, 강화, 에이전트 루프 설계에 대한 더 나은 제어를 위해 Anthropic과 OpenAI의 네이티브 플랫폼 SDK로 회귀하게 된다고 설명한다.이 글은 명시적 캐시 관리가 자동 캐싱보다 예상외로 우수하다고 지적하며, Anthropic의 수동 캐시 제어는 개발자가 대화를 분할하고, 컨텍스트를 편집하며, 시스템 프롬프트 이후와 대화 기록 전반에 캐시 포인트를 배치하여 비용을 더 정확하게 예측할 수 있게 한다고 설명한다.Anthropic Claude 모델은 명시적 캐싱 전략을 통해 최대 90%의 비용 절감을 달성할 수 있지만, 에이전트 개발자들은 학습을 위한 상세한 실패 로깅의 이점과 모든 오류를 컨텍스트에 보존하는 데 따르는 토큰 비용 사이의 근본적인 긴장 관계에 직면한다.
1289 조회
0 추천
2025.11.23 등록
Certora는 목요일 AI Composer의 출시를 발표했습니다. 이는 스마트 계약을 위한 인공지능 코드 생성에 형식 검증을 내장한 오픈소스 플랫폼으로, AI가 생성한 코드의 보안 취약점에 대한 우려가 높아지고 있는 상황에 대응합니다.텔아비브에 본사를 둔 이 보안 회사의 새로운 도구는 실행 전에 모든 코드 스니펫이 안전 요구사항을 충족하는지 수학적으로 검증함으로써 기존의 AI 코딩 보조 도구와 차별화됩니다. 이 플랫폼은 Aave, Lido, Uniswap을 포함한 주요 탈중앙화 금융 프로토콜에서 이미 사용 중인 Certora의 Prover 기술을 AI 생성 루프에 직접 통합합니다.AI 생성 코드의 보안 우려 증가이러한 시기는 AI 생성 코드의 보안 위험에 대한 증거가 증가하고 있음을 반영합니다. 100개 이상의 대규모 언어 모델을 분석한 2025년 Veracode 연구에 따르면, AI 생성 코드의 45%가 보안 취약점을 야기하며, 코드 생성 정확도의 발전에도 불구하고 보안 실패율은 정체 상태를 유지하고 있습니다. 연구 결과 AI 모델은 안전한 대안이 제시되었을 때 45%의 경우 안전하지 않은 코딩 방법을 선택했습니다.스마트 컨트랙트 보안은 여전히 중요하며, OWASP 스마트 컨트랙트 상위 10에 따르면 2024년에 접근 제어 취약점만으로 9억 5,300만 달러의 손실이 발생했습니다. Certora의 창립자이자 수석 과학자인 Mooly Sagiv는 “AI를 사용한다고 해서 안전을 타협해서는 안 됩니다”라고 말했습니다. “Certora AI Composer는 AI와 형식 검증이 함께 작동하여 스마트 컨트랙트 개발을 기본적으로 신뢰할 수 있게 만들 수 있음을 증명합니다”.오픈 소스 출시 및 산업 영향알파 버전은 12월 4일부터 GitHub에서 이용 가능하게 되며, 이날 Certora는 “AI Meets Verification: An Open Discussion with Certora Researchers”라는 제목의 라이브스트림을 개최할 예정입니다. 이 플랫폼은 통합된 형식 검증 검사, 맞춤형 안전 모듈을 위한 오픈소스 확장성, 그리고 Web3 프로토콜 전반에 걸쳐 1,000억 달러 이상의 총 예치 가치를 보호해 온 Certora Prover의 지원을 특징으로 합니다.형식 검증은 규제 기관들이 그 중요성을 인식하면서 주목을 받고 있습니다. 프랑스 금융 규제 당국은 2025년 스마트 계약 인증을 위한 이 기술을 승인하며, 다른 분석 방법에 비해 “코드의 무결성에 관해 더 높은 수준의 보증을 제공한다”고 언급했습니다. 미국 사이버 보안국장 역시 2024년에 형식 방법론을 “국가 소프트웨어 보안에 필수불가결한 것”으로 규정했습니다.
1279 조회
0 추천
2025.11.23 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입