Loading...

AI 뉴스

구글, 의료 관련 검색에서 '위험한' AI 오버뷰 기능 철회

페이지 정보

작성자 symbolika
작성일 01.12 10:08
262 조회
0 추천
0 비추천

본문

Google logo illustration

Executive Summary

• 구글이 일부 의료 관련 검색어에 대한 AI 오버뷰 기능을 비활성화함
• 가디언 조사에서 췌장암 환자에게 '위험한' 잘못된 식이요법 조언 제공 사실 확인
• 간 기능 검사 관련 허위 정보로 심각한 간 질환 환자가 건강하다고 오인할 수 있는 문제 발생
• 구글은 대부분의 정보가 정확하다고 주장하나, 문제 있는 결과에 대해서는 개선 조치 진행 중


Background

구글의 AI 오버뷰 기능은 2024년 출시 이후 지속적인 논란에 휩싸여 왔다. 피자에 접착제를 넣으라는 조언, 돌을 먹으라는 권고 등 황당한 오류가 알려지면서 여러 건의 소송까지 제기된 바 있다. 이번에는 의료 정보라는 민감한 영역에서 심각한 오류가 발견되어 더욱 큰 우려를 낳고 있다.


Impact & Implications

사용자 안전 문제

AI가 생성한 의료 정보의 부정확성은 단순한 불편을 넘어 환자의 생명과 직결될 수 있다. 췌장암 환자에게 고지방 식품을 피하라는 조언은 전문가들이 권고하는 내용과 정반대이며, 환자의 사망 위험을 높일 수 있다고 경고된다. 간 기능 검사 정보의 오류 역시 심각한 간 질환 환자가 치료 시기를 놓치게 만들 수 있는 위험한 문제다.

AI 신뢰성에 대한 근본적 의문

이번 사태는 대형 기술 기업의 AI 서비스가 고위험 영역에서 얼마나 신뢰할 수 있는지에 대한 근본적인 의문을 제기한다. 구글은 "대다수의 AI 오버뷰가 정확한 정보를 제공한다"고 주장하지만, 의료 분야에서는 소수의 오류도 치명적인 결과로 이어질 수 있다.

규제 및 책임 논의 가속화

AI 생성 콘텐츠의 정확성과 책임 소재에 대한 규제 논의가 더욱 활발해질 전망이다. 특히 의료, 법률 등 전문 분야에서 AI 정보 제공에 대한 가이드라인 마련이 시급해 보인다.


Key Data & Facts

항목수치/내용
발생 시점2026년 1월
문제 발견 경로가디언 탐사보도
주요 오류 사례췌장암 식이요법, 간 기능 검사 수치
구글 대응일부 의료 검색어 AI 오버뷰 비활성화
기존 논란피자 접착제, 돌 섭취 권고 등

Key Quote

"We invest significantly in the quality of AI Overviews, particularly for topics like health, and the vast majority provide accurate information."
— Davis Thompson, 구글 대변인
댓글 0
전체 1,366 / 1 페이지
Claude Code, 소프트웨어 개발과 Anthropic의 비즈니스 모델을 재편하다 Executive Summary • Claude Code가 출시 1년 만에 연간반복매출(ARR) 10억 달러 달성, Anthropic 전체 매출의 약 12% 차지 • Boris Cherny Claude Code 총괄은 "Opus 4.5 출시 이후 2개월간 자신의 코드 100%를 Claude Code로 작성"했다고 밝혀 • Anthropic은 Claude Code의 성공을 바탕으로 비코딩 분야 AI 에이전트 'Cowork' 출시, 기업 시장 공략 가속화 Background AI 코딩 도구 시장은 2021-2024년 자동완성 수준에서 2025년 초부터 에이전틱(Agentic) 코딩으로 급격히 진화했다. Cursor, Windsurf 등 스타트업이 먼저 시장을 개척한 가운데, Anthropic의 Claude Code는 후발주자임에도 Claude Opus 4.5 모델의 압도적 성능을 기반으로 시장을 빠르게 장악하고 있다. Impact & Implications 시장 경쟁 구도 변화 Claude Code의 급성장은 AI 코딩 시장의 판도를 바꾸고 있다. 경쟁사인 Cursor도 11월 ARR 10억 달러를 달성했으며, OpenAI, Google, xAI 역시 자체 AI 모델 기반의 에이전틱 코딩 제품 개발에 박차를 가하고 있다. Stanford AI 강사이자 Workera CEO인 Kian Katanforoosh는 "Claude Opus 4.5에서 코딩 능력의 단계적 도약을 확인했다. 마치 인간처럼 코딩하는 것이 아니라 더 나은 방식을 찾아낸 것 같다"고 평가했다. 소프트웨어 개발 패러다임 전환 Boris Cherny는 "지금이 주의력 짧은 사람들의 황금기"라며, 가장 생산적인 Claude Code 사용자들은 여러 작업을 동시에 진행한다고 설명했다. 에이전트에게 작업을 맡기고 두 번째, 세 번째 에이전트를 시작한 뒤 첫 번째 탭으로 돌아가 확인하는 방식이다. 그는 개인적으로 아침에 일어나 휴대폰으로 3-4개의 코딩 에이전트를 시작하고, 출근 후에는 항상 5-10개의 에이전트를 동시에 운영한다고 밝혔다. Anthropic의 수익 모델 확장 Anthropic은 2028년까지 현금흐름 흑자 달성을 목표로 하고 있으며, Claude Code가 핵심 수익원으로 부상하고 있다. 회사는 최근 비코딩 직군을 위한 AI 에이전트 'Cowork'를 출시하며, 코딩 시장의 성공 모델을 전체 지식 노동 시장으로 확장하려 한다. Cherny는 "엔지니어링에서 올해 일어난 일이 다른 모든 업무에서도 일어날 것"이라고 전망했다. Key Data & Facts 항목수치/내용 Claude Code ARR10억 달러+ (2024년 11월 기준) 2025년 말 추가 성장최소 1억 달러 이상 증가 Anthropic 전체 ARR 대비 비중약 12% (전체 ARR 약 90억 달러) Cherny의 Claude Code 사용률최근 2개월간 코드 작성 100% Anthropic 기술직 채택률거의 100% Cursor ARR10억 달러 (2024년 11월) Key Quote "The only model I can point to where I saw a step-function improvement in coding abilities recently has been Claude Opus 4.5. It doesn't even feel like it's coding like a human, you sort of feel like it has figured out a better way."— Kian Katanforoosh, Stanford AI 강사 겸 Workera CEO
1 조회
0 추천
10:08 등록
Executive Summary• OpenAI가 ChatGPT에 AI 기반 연령 예측 모델을 전 세계적으로 배포, 미성년자 보호 기능 강화• 대화 패턴, 활동 시간대, 계정 사용 기록 등을 분석해 사용자 연령을 자동 판별• 18세 미만으로 분류된 사용자는 폭력, 유해 콘텐츠 등 민감한 정보에 대한 접근이 제한됨• 오분류된 성인 사용자는 셀피 또는 신분증 인증을 통해 제한 해제 가능• 향후 출시 예정인 '성인 모드'(NSFW 콘텐츠 허용)에 앞선 선제적 안전장치로 해석BackgroundOpenAI는 지난해 ChatGPT를 통해 자살을 계획한 청소년 관련 소송에 휘말린 바 있으며, 이후 미성년자 보호 정책 강화에 본격 착수했다. 이번 연령 예측 기능은 AI 플랫폼들이 서비스 출시 후 뒤늦게 안전장치를 추가하는 업계 관행에서 벗어나, 선제적 보호 체계를 구축하려는 시도로 평가받고 있다.Impact & ImplicationsAI 안전 및 규제 대응OpenAI의 연령 예측 시스템 도입은 AI 기업들이 직면한 미성년자 보호 문제에 대한 업계 표준을 제시할 가능성이 있다. 청소년의 유해 콘텐츠 노출을 사전에 차단하려는 이 접근법은 전 세계적으로 강화되고 있는 AI 규제 움직임에 선제적으로 대응하는 것으로, 다른 AI 기업들도 유사한 보호 장치 도입을 검토할 것으로 예상된다.사용자 경험과 프라이버시행동 패턴 분석을 통한 연령 추정은 불가피하게 오분류 문제를 동반한다. OpenAI는 셀피 및 신분증 인증 옵션을 제공하지만, 신원 확인 업체 Persona가 7일 내 데이터를 삭제한다고 밝혔음에도 프라이버시 우려는 남아있다. 특히 성인 사용자가 '10대'로 잘못 분류되어 기능 제한을 받는 경험은 서비스 만족도에 영향을 줄 수 있다.향후 전망: 성인 모드 출시 준비업계에서는 이번 조치가 OpenAI가 준비 중인 '성인 모드'(NSFW 콘텐츠 생성 허용) 출시의 전 단계로 분석하고 있다. 연령 확인 시스템을 먼저 안착시킨 후 성인 전용 기능을 단계적으로 개방하려는 전략으로 보이며, 이는 AI 챗봇 시장의 콘텐츠 정책 경쟁에서 새로운 국면을 열 수 있다.Key Data & Facts항목수치/내용적용 범위전 세계 모든 ChatGPT 계정분석 요소대화 주제, 활동 시간대, 계정 존속 기간, 사용 패턴제한 콘텐츠폭력, 고어, 바이럴 챌린지, 극단적 미용 기준, 건강하지 않은 다이어트 정보인증 방식라이브 셀피 또는 정부 발급 신분증데이터 보관인증 완료 후 7일 내 삭제 (Persona)Key Quote"이 모델은 계정 존속 기간, 주로 활동하는 시간대, 시간에 따른 사용 패턴, 사용자가 밝힌 나이 등 행동적·계정 수준의 신호 조합을 분석합니다."
47 조회
0 추천
01.21 등록
Executive Summary• OpenAI가 전 CTO 미라 무라티(Mira Murati)의 AI 스타트업 '씽킹 머신스 랩(Thinking Machines Lab)'에서 공동 창업자 바렛 조프(Barret Zoph)와 루크 메츠(Luke Metz) 등 핵심 인력을 재영입• 씽킹 머신스 측은 조프가 심각한 비위 행위를 저질렀다고 주장하며, 기밀 정보 유출 가능성까지 제기한 상황• OpenAI는 이번 영입이 수주 전부터 진행된 것이라고 해명하며, 조프의 윤리성에 대한 씽킹 머신스의 우려를 공유하지 않는다고 밝혀Background조프와 메츠는 2024년 말 OpenAI를 떠나 무라티가 설립한 씽킹 머신스 랩에 합류했다가, 불과 수개월 만에 다시 OpenAI로 복귀하게 됐다. 이번 사건은 2023년 샘 알트먼(Sam Altman) CEO의 일시 해임 사태 이후 계속되는 AI 업계의 격변을 보여주는 단적인 예다.Impact & ImplicationsAI 인재 시장의 과열AI 연구원들이 수십억 달러 규모의 시드 라운드를 손쉽게 유치할 수 있는 현 상황에서, 인재 쟁탈전은 더욱 치열해질 전망이다. xAI의 이고르 바부슈킨(Igor Babuschkin), Safe Superintelligence의 다니엘 그로스(Daniel Gross), Meta의 얀 르쿤(Yann LeCun) 등 주요 AI 연구소 공동 창업자들의 이탈이 잇따르고 있으며, 이번 사건도 같은 맥락에서 이해할 수 있다.기업 비밀과 인재 이동의 충돌씽킹 머신스 측이 기밀 정보 유출 가능성을 제기한 점은 AI 스타트업 간 인재 이동에서 발생할 수 있는 법적·윤리적 문제를 부각시킨다. 이는 향후 AI 기업들이 핵심 인력의 경쟁사 이직을 막기 위한 계약 조항을 강화할 가능성을 시사한다.AI 에이전트 개발 경쟁 심화기사에 따르면 AI 연구소들은 맥킨지 컨설턴트, 골드만삭스 뱅커, 하버드 의사 등 전문가들의 실제 업무 데이터를 활용해 AI 에이전트를 훈련시키고 있다. 이러한 '환경(environments)' 구축을 통해 AI가 실제 업무 소프트웨어를 학습하도록 하는 방식이 확산되고 있으며, 이는 향후 지식 노동의 AI 자동화를 가속화할 것으로 예상된다.Key Data & Facts항목수치/내용복귀 인원바렛 조프, 루크 메츠, 샘 쇤홀츠 + 추가 2명 예정조프의 이전 직책씽킹 머신스 랩 공동 창업자AI 데이터 계약 시급시간당 최대 $100 이상주요 데이터 공급업체Handshake, Mercor, Surge, TuringKey Quote"지난 1년간 AI 연구소들은 법률, 의료, 컨설팅, 금융 등 다양한 지식 노동 영역에서 모델을 훈련하고 미세 조정해야 한다는 점을 점점 더 인식하게 됐습니다."— 아론 레비(Aaron Levie), Box CEO
68 조회
0 추천
01.20 등록
Executive Summary• 앤트로픽이 개발자용 Claude Code를 비기술 사용자도 쉽게 사용할 수 있도록 만든 새로운 AI 에이전트 'Cowork' 베타 출시• 파일 정리, 형식 변환, 이메일 관리, 웹 검색 등 기본적인 컴퓨터 작업을 자동화하는 데 초점• 월 100달러 구독자 대상 연구 프리뷰로 공개, 현재 Mac 전용으로 제공• 프롬프트 인젝션 공격 등 보안 위험에 대비해 가상 머신 기반 샌드박스, 폴더별 접근 권한 설정 등 다중 안전장치 적용• 실사용 테스트에서 스크린샷 폴더 정리, Gmail 정리 등 기본 작업에서 안정적인 성능 확인Background지난해 앤트로픽의 Claude Code는 개발자들 사이에서 코드베이스 이해와 명령 실행 능력으로 큰 인기를 얻었다. 하지만 대부분의 일반 사용자에게 터미널 기반 인터페이스는 여전히 진입장벽이 높았다. 이에 앤트로픽은 비기술 사용자를 위한 접근성 높은 버전 개발에 착수했으며, 2개월간 AI 도구를 활용해 Cowork를 구축했다.Impact & Implications기술적 의미Cowork는 AI 에이전트 기술의 실용성을 입증하는 중요한 사례다. 그동안 수많은 AI 에이전트들이 과대광고에 비해 기본적인 작업조차 완료하지 못하는 문제를 보여왔다. 앤트로픽은 가상 머신 기반 샌드박스 환경에서 특정 폴더만 접근 가능하도록 설계해 보안과 사용성의 균형을 맞췄다.사용자 영향일반 사용자들이 터미널 없이도 AI 에이전트의 자동화 기능을 활용할 수 있게 되었다. 파일 정리, 이메일 관리 같은 반복적인 작업을 AI에 위임하는 '컴퓨터 사용 경험의 진화'가 시작되는 셈이다. 다만 프롬프트 인젝션 공격 위험으로 인해 민감한 금융 정보나 개인 기록에는 사용을 자제해야 한다.경쟁 구도 변화OpenAI, 구글 등 경쟁사들도 유사한 에이전트 기능을 개발 중인 가운데, 앤트로픽이 사용자 친화적 인터페이스로 선점 효과를 노리고 있다. 특히 이미 Claude Code로 개발자 시장에서 입지를 다진 만큼, Cowork를 통한 일반 소비자 시장 확대 전략으로 볼 수 있다.Key Data & Facts항목수치/내용출시 형태연구 프리뷰 (베타)구독 요금월 $100 (Max 플랜)지원 플랫폼macOS 전용주요 기능파일 정리, 형식 변환, 이메일 관리, 웹 검색보안 방식가상 머신 샌드박스, 폴더별 권한 설정개발 기간약 2개월 (AI 도구 활용)Key Quote"We tried a bunch of different ideas to see what form factor would make sense for a less technical audience that doesn't want to use a terminal."— Boris Cherny, 앤트로픽 Claude Code 총괄
97 조회
0 추천
01.19 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입