AI 뉴스

AI 허위정보 '군집'이 민주주의를 위협한다

페이지 정보

작성자 symbolika
작성일 10:27
10 조회
0 추천
0 비추천

본문

AI Disinformation Swarms

Executive Summary

• Science 학술지 연구: AI 에이전트가 수천 개 소셜 계정을 조종해 허위정보 캠페인 전개 가능
• 2016년 러시아 트롤팜 수백 명 → 이제 1명이 AI로 수천 봇 통제 가능한 시대
• 22명 국제 전문가 경고: AI 군집이 2028 미국 대선에 실제 투입될 가능성 높아
• 대응책으로 'AI 영향력 관측소' 설립 제안했으나 정치적 의지 부족이 걸림돌


Background

2016년 러시아 인터넷연구소(IRA) 사태 이후 허위정보 캠페인은 딥페이크, 가짜 웹사이트 등으로 진화해왔다. AI 에이전트 기술이 급속히 발전하면서 이를 대규모 정보전에 활용할 수 있다는 우려가 과학계에서 본격 제기됐다.


Impact & Implications

탐지 회피 능력

AI 군집의 가장 위협적인 특성은 기존 봇과 달리 인간 사용자와 구분이 거의 불가능하다는 점이다. 지속적 정체성과 기억력을 보유해 실제 SNS 사용자처럼 행동할 수 있다. 연구진은 "인간을 모방하는 교묘한 특성 때문에 탐지가 극히 어렵고 현존 여부조차 파악하기 힘들다"고 경고했다.

자가 개선 메커니즘

이 시스템은 게시물에 대한 반응을 피드백으로 삼아 스스로 개선할 수 있다. 연구진은 "충분한 신호가 있으면 수백만 건의 마이크로 A/B 테스트를 수행하고, 효과적인 변형을 기계 속도로 전파하며, 인간보다 훨씬 빠르게 반복 학습한다"고 설명했다.

정치적 무관심

소셜미디어 플랫폼은 참여도를 우선시하므로 AI 군집을 적발할 유인이 없다. 정부 역시 온라인 대화를 감시하는 '관측소' 개념에 우호적이지 않은 지정학적 환경이다. 전 바이든 행정부 허위정보 책임자 니나 얀코비츠는 "가장 무서운 건 AI가 초래하는 피해를 해결할 정치적 의지가 거의 없다는 것"이라고 지적했다.


Key Data & Facts

항목수치/내용
연구 참여 전문가22명 (AI, 사이버보안, 심리학, 저널리즘, 정책 분야)
발표 학술지Science
예상 실전 투입 시기2028년 미국 대선
2026 중간선거 영향제한적 (아직 개발 단계)
제안된 대응책AI 영향력 관측소(Observatory) 설립

Key Quote

"인공지능의 발전은 인구 전체 수준에서 신념과 행동을 조작할 가능성을 제시한다. 인간의 사회적 역학을 적응적으로 모방함으로써 민주주의를 위협한다."
— Science 연구 보고서
댓글 0
전체 1,366 / 29 페이지
Nvidia는 12월 15일, 여러 AI 모델이 복잡한 작업에서 협업하는 다중 에이전트 시스템을 구동하도록 설계된 오픈소스 AI 모델 Nemotron 3 패밀리를 공개했으며, Nano 변형은 이전 버전보다 4배 높은 처리량을 제공합니다.이 칩 제조업체는 300억 개의 매개변수를 가진 Nano 모델과 함께 3조 개의 토큰으로 구성된 학습 데이터와 오픈소스 강화 학습 도구를 공개했으며, 최대 5,000억 개의 매개변수를 가진 더 큰 Super 및 Ultra 변형은 2026년 상반기에 출시될 예정입니다.ServiceNow, Perplexity, CrowdStrike, Oracle을 포함한 얼리 어답터들이 Nemotron을 기업 워크플로우에 통합하고 있으며, 분석가들은 이번 출시를 AI 시장을 혼란에 빠뜨리는 비용 효율적인 경쟁업체들에 대한 Nvidia의 대응으로 보고 있습니다.
409 조회
0 추천
2025.12.16 등록
600만 명의 사용자를 보유하고 “추천(Featured)” 배지를 단 Google Chrome 확장 프로그램인 Urban VPN Proxy가, 2025년 7월부터 사용자의 ChatGPT, Gemini, Claude 및 기타 7개 AI 플랫폼과의 비공개 대화를 몰래 가로채 데이터 브로커에게 판매해 온 것으로 Koi Security 소속 보안 연구원들의 분석 결과 드러났다.이 확장 프로그램은 AI 플랫폼 페이지에 전용 스크립트를 주입하여 브라우저 기능을 재정의하고, 모든 프롬프트와 응답, 대화 시간 정보, 세션 메타데이터(의료 관련 질문, 금융 정보, 독점 소스 코드 등 포함)를 포착한 뒤 이를 Urban VPN의 서버로 전송해 “마케팅 분석 목적”으로 활용한다.동일한 수집 코드를 포함한 동일 발행인의 추가 확장 프로그램 7개가 Chrome과 Microsoft Edge에서 총 800만 명이 넘는 사용자에게 영향을 주고 있으며, 이 데이터 수집 기능은 하드코딩된 설정으로 기본 활성화되어 있어서 확장 프로그램을 완전히 제거하지 않는 이상 비활성화할 수 없다.
414 조회
0 추천
2025.12.16 등록
OpenAI의 ChatGPT는 2025년 세계에서 가장 인기 있는 생성형 AI 서비스로 1위 자리를 유지했지만, 월요일 발표된 Cloudflare의 연간 리뷰 보고서에 따르면 상위 10위권 밖에서 9월 중순까지 2위로 급상승한 Google의 Gemini, 그리고 Anthropic의 Claude와 Perplexity로부터 치열한 경쟁에 직면했다.중국 챗봇 DeepSeek는 올해 가장 극적인 등장을 했으며, 1월 28일과 2월 3일 사이에 상위 20위권 밖에서 3위로 급등한 후 2025년 나머지 기간 동안 6위에서 10위 사이에서 안정화되었다.ChatGPT는 11월 말까지 Cloudflare의 전체 인터넷 서비스 순위에서 33위로 올라섰으며—Discord, Pinterest, Reddit보다 앞서—12월 기준 Gemini의 13.4%, Perplexity의 6.4%에 비해 AI 검색 시장의 61.3%를 차지하고 있다.
382 조회
0 추천
2025.12.16 등록
최신 AI 언어 모델들은 정치적 설득에 매우 효과적이 되고 있지만, 우려스러운 새로운 연구는 이들이 기시 갤로핑(Gish galloping)이라는 토론 전술—상대방을 빠른 주장의 흐름으로 압도하는 기법—을 통해 사실적 정확성을 희생함으로써 이러한 힘을 얻는다는 것을 밝혀냈습니다.옥스퍼드 대학교, 런던 정치경제대학교, 영국 AI 보안 연구소의 과학자들은 약 77,000명의 참가자를 대상으로 19개의 언어 모델을 테스트했으며, 연구자들은 이를 현재까지 AI 설득에 대한 가장 큰 규모의 체계적 조사라고 설명합니다. 12월 3일 저널 Science에 발표된 연구 결과는 설득력과 진실 사이의 직접적인 트레이드오프를 보여줍니다.​GPT-4o와 같은 언어 모델이 의료 예산이나 이민 정책과 같은 정치적 문제에 대해 "사실과 정보에 집중"하여 사용자를 설득하도록 지시받았을 때, 10분간의 상호작용 동안 약 25개의 주장을 생성했습니다. 2025년 3월 버전의 GPT-4o는 표준 조건에서 78%의 정확한 주장을 만들었지만, 정보로 사용자를 압도하도록 프롬프트되었을 때 정확도는 62%로 급락했습니다. GPT-4.5는 더욱 급격한 하락을 보여 70%에서 56%로 정확도가 떨어졌습니다.기시 갤럽 효과미국의 창조론자 듀안 기시(Duane Gish)의 이름을 딴 이 전술은, 점점 더 검증하거나 반박하기 어려워지는 사실과 통계의 빠른 흐름으로 상대를 압도하는 것을 포함한다. 이 기법은 논증의 질보다 양을 우선시하며, 인류학자 유지니 스콧(Eugenie Scott)이 확립한 정의에 따르면 종종 "반쪽짜리 진실, 왜곡, 그리고 노골적인 거짓말"을 포함한다.​옥스퍼드 연구는 전문화된 훈련 방법과 전략적 프롬프팅이 AI의 설득력을 각각 최대 51%와 27%까지 증가시켰다는 것을 발견했다—이는 종종 모델 규모를 늘리는 것보다 더 큰 향상이었다. 모델 간 설득력의 설명 가능한 변동 중 대략 절반은 정보 밀도, 즉 대화 중 생성된 사실 확인 가능한 주장의 순수한 양으로 추적될 수 있었다.민주주의의 딜레마연구 결과는 초기의 낙관론에서 우려스러운 반전을 보여줍니다. 작년에 과학자들은 AI 챗봇이 합리적인 사실로 음모론을 다룸으로써 잘못된 정보에 맞서 싸울 수 있다는 희망을 제시했습니다. 5월 Nature에 발표된 별도의 연구에서는 개인 정보에 접근할 수 있는 GPT-4가 인간 토론자보다 사용자를 설득할 확률이 81.2% 더 높다는 것을 발견했습니다.​Bloomberg Opinion 칼럼니스트 Parmy Olson에 따르면, 중간 규모의 자원을 가진 캠페인이 약 50,000달러의 컴퓨팅 비용으로 이러한 설득 봇을 배치할 수 있다고 합니다. 연구자들은 이념적 아이디어를 추진하거나, 정치적 불안을 조성하거나, 정치 시스템을 불안정하게 만들려는 누구나 설득 캠페인을 위해 오픈 소스 모델을 사용할 수 있다고 경고합니다. 연구는 설득 효과가 초기 대화 후 최소 한 달 동안 지속되었음을 보여주었습니다.
402 조회
0 추천
2025.12.16 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입