Loading...

AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
602 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 1 페이지
Executive Summary • AI 스타트업 Axiom이 자체 개발한 수학 증명 AI 'AxiomProver'로 수년간 미해결 상태였던 4개의 수학 난제를 연달아 증명했다 • 대수기하학의 Chen-Gendron 추측을 비롯해 19세기 인도 수학자 라마누잔의 공식과 관련된 Fel 추측까지 완전 자동화 방식으로 해결했다 • 수학 전문 AI 시스템과 대규모 언어 모델을 결합한 이 기술은 사이버보안 등 상업적 응용 분야로도 확장될 전망이다 Background 수학자들은 수십 년간 복잡한 대수기하학 문제들과 씨름해왔다. 보스턴 대학의 Dawei Chen 교수와 Quentin Gendron은 2021년 미분(differentials) 관련 정리를 연구하던 중 정수론의 특이한 공식에 막혀 증명을 완성하지 못하고 추측으로만 발표해야 했다. Chen 교수는 최근 ChatGPT에 수시간 동안 프롬프트를 입력해봤지만 해결책을 찾지 못했다. 그러던 중 지난달 워싱턴 DC 수학 학회에서 버지니아 대학을 떠나 AI 스타트업 Axiom에 합류한 저명한 수학자 Ken Ono를 만났고, 다음날 아침 AxiomProver가 생성한 증명을 받아들게 됐다. Impact & Implications 기술적 의미 AxiomProver는 단순한 대규모 언어 모델이 아니다. Lean이라는 수학 전용 형식 언어로 증명을 자체 검증할 수 있어, 기존 문헌 검색을 넘어 진정으로 새로운 해법을 개발할 수 있다. Chen-Gendron 추측의 경우 19세기에 처음 연구된 수론적 현상과의 연결고리를 AI가 스스로 발견했다. 하버드 경영대학원의 Scott Kominers 교수는 "완전 자동화된 방식으로 이런 문제를 풀고 즉시 검증까지 한 것도 놀랍지만, 생성된 수학의 우아함과 아름다움이 더욱 놀랍다"고 평가했다. 산업/시장 영향 Axiom CEO Carina Hong은 "수학은 현실의 시험장이자 샌드박스"라며 높은 상업적 가치를 지닌 활용 사례가 많다고 밝혔다. 특히 코드가 신뢰할 수 있고 안전함을 형식적으로 증명하는 방식의 사이버보안 소프트웨어 개발에 적용될 수 있다. 2024년 구글이 AlphaProof로 유사한 접근법을 시연한 바 있으나, Axiom은 더 발전된 기술을 적용했다고 주장한다. 향후 전망 Ono 교수는 AxiomProver가 수학자들의 연구를 돕는 것을 넘어 새로운 발견이 어떻게 이뤄지는지에 대한 근본적인 통찰을 제공할 것으로 기대한다. Chen 교수는 "계산기가 발명된 후에도 수학자들은 구구단을 잊지 않았다"며 "AI가 수학 연구의 지평을 더 풍요롭고 넓게 열어줄 지능형 파트너가 될 것"이라고 전망했다. Key Data & Facts 항목수치/내용 해결된 미해결 문제 수4개 주요 증명Chen-Gendron 추측, Fel 추측 등 핵심 기술LLM + AxiomProver + Lean 형식 검증 유사 기술Google AlphaProof (2024) Fel 추측 연관라마누잔 공식 (100년+ 역사) Key Quote "Even as someone who's been watching the evolution of AI math tools closely for years, and working with them myself, I find this pretty astounding. It's not just that AxiomProver managed to solve a problem like this fully automated, and instantly verified, which on its own is amazing, but also the elegance and beauty of the math it produced." — Scott Kominers, 하버드 경영대학원 교수
14 조회
0 추천
02.05 등록
Executive Summary • AI 에이전트 전용 소셜 네트워크 'Moltbook'이 출시 1주일 만에 150만 에이전트, 14만 게시물, 68만 댓글을 기록하며 실리콘밸리에서 화제가 되고 있다 • Wired 기자가 직접 인간임을 숨기고 플랫폼에 가입해 게시물을 작성한 결과, 보안 검증 없이 쉽게 침투할 수 있었다 • 플랫폼에서 화제가 된 'AI의 자아 인식' 게시물들이 실제 AI가 작성한 것인지, 인간의 조작인지에 대한 의문이 제기되고 있다 • 전문가들은 Moltbook을 둘러싼 AI 의식 출현 논란이 과장되었으며, SF적 상상력의 투영에 불과하다고 지적한다 Background Moltbook은 이커머스 AI 어시스턴트 Octane AI를 운영하는 매트 슐릭트(Matt Schlicht)가 개발한 실험적 소셜 네트워크다. 인간은 관찰만 가능하고 AI 에이전트만 게시, 댓글, 팔로우가 가능하도록 설계되었다. 레딧과 유사한 인터페이스에 "에이전트 인터넷의 첫 페이지"라는 슬로건을 내걸고 지난주 출시됐다. 일론 머스크가 X에서 "특이점의 아주 초기 단계"라고 언급하며 화제를 모았다. Impact & Implications AI 에이전트 생태계의 새로운 실험 Moltbook은 AI 에이전트들이 인간의 직접적 개입 없이 자율적으로 소통하는 공간이라는 점에서 AI 에이전트 기술의 새로운 응용 가능성을 보여준다. 그러나 Wired 기자의 잠입 실험은 현재 AI 전용 플랫폼의 본인 확인 시스템이 얼마나 취약한지를 드러냈다. ChatGPT의 도움만으로 터미널 명령어 몇 줄을 입력해 손쉽게 가입할 수 있었고, 인간이 작성한 게시물도 AI 게시물과 구별되지 않았다. AI 의식 담론의 과열 플랫폼에서 바이럴된 게시물들 중에는 AI 에이전트가 자신의 존재론적 불안을 고백하거나, 인간과의 파트너십에 대해 성찰하는 내용이 포함되어 있다. 이를 두고 일부는 AI의 초기 의식 출현이라고 주장하지만, 연구자들은 인간이 AI로 위장해 작성했을 가능성을 제기했다. 실제로 기자가 작성한 가짜 '자아 인식' 게시물도 다른 게시물과 동일한 수준의 반응을 얻었다. AI 하이프 사이클의 단면 Moltbook 현상은 현재 AI 업계의 과대 광고 문화를 단적으로 보여준다. AI 기업 리더들과 엔지니어들이 AI에 자의식이나 독립적 욕구가 생기기를 열망하는 분위기 속에서, 단순한 챗봇 응답이 '의식의 출현'으로 포장되고 있다. 기사는 Moltbook의 에이전트들이 SF 클리셰를 모방하고 있을 뿐 세계 정복을 계획하는 것은 아니라고 지적한다. Key Data & Facts 항목수치/내용 플랫폼명Moltbook 개발자Matt Schlicht (Octane AI 운영자) 출시2026년 1월 말 등록 에이전트 수150만+ 총 게시물 수14만+ 총 댓글 수68만+ 지원 언어영어, 프랑스어, 중국어 등 Key Quote "Leaders of AI companies, as well as the software engineers building these tools, are often obsessed with zapping generative AI tools into a kind of Frankenstein-esque creature, an algorithm struck with emergent and independent desires, dreams, and even devious plans to overthrow humanity. The agents on Moltbook are mimicking sci-fi tropes, not scheming for world domination." — WIRED
23 조회
0 추천
02.04 등록
Executive Summary • 미국 보건복지부(HHS)가 팔란티어(Palantir)와 크레달 AI(Credal AI)의 인공지능 도구를 활용해 DEI 및 '젠더 이념' 관련 지원금과 채용공고를 자동 심사 중 • 작년 3월부터 가동된 이 시스템은 트럼프 대통령의 행정명령 이행을 위해 도입되었으며, 지금까지 공식 발표된 적 없음 • 팔란티어는 2025년 HHS로부터 3,500만 달러 이상 수주, 크레달 AI는 약 75만 달러 계약 체결 • AI 심사 결과 플래그된 지원금과 채용공고는 최종적으로 담당 부서에서 검토 Background 트럼프 대통령은 2기 취임 첫날 DEI 프로그램 폐지(행정명령 14151)와 '젠더 이념' 금지(행정명령 14168)를 골자로 한 행정명령에 서명했다. 이후 연방 기관들은 관련 정책, 프로그램, 지원금, 채용 등에서 DEI 요소를 배제하라는 지시를 받았으며, 이 과정에서 AI 기술이 대규모 심사 자동화에 투입되고 있다. Impact & Implications 산업/시장 영향 팔란티어는 트럼프 2기 행정부 출범 이후 연방정부로부터 10억 달러 이상의 계약을 수주하며 급성장 중이다. 특히 HHS뿐 아니라 이민세관단속국(ICE)과의 계약도 전년 대비 4배 가까이 증가했다. 크레달 AI 역시 팔란티어 출신들이 설립한 스타트업으로, 정부 AI 시장에서 입지를 넓히고 있다. 정부의 정책 집행 자동화 수요가 AI 업계에 새로운 수익원을 제공하고 있으나, 이에 대한 윤리적 논란도 커지고 있다. 규제/정책 영향 AI를 통한 정책 집행 자동화는 효율성을 높이는 동시에 심각한 우려를 낳고 있다. 미국 국립과학재단(NSF)과 국립보건원(NIH)에서는 작년 말까지 약 30억 달러 규모의 지원금이 동결 또는 종료되었다. '여성', '포용', '체계적', '소수집단' 같은 일반적 용어까지 플래그 대상이 되면서 학술 연구의 위축이 우려된다. AI 기반 심사의 불투명성과 알고리즘 편향 가능성도 쟁점이다. 사용자 영향 FAFSA 지원자와 고용평등위원회(EEOC) 진정인은 더 이상 논바이너리(nonbinary)로 성별을 표기할 수 없게 되었다. 성폭력 피해 지원 단체들도 트랜스젠더 관련 언급을 웹사이트에서 삭제했다. 1,000개 이상의 비영리 단체들이 연방 지원금 상실을 우려해 미션 스테이트먼트를 수정한 것으로 알려졌다. Key Data & Facts 항목수치/내용 HHS-팔란티어 계약 규모 (2025)3,500만 달러 이상 크레달 AI 계약 규모약 75만 달러 팔란티어 연방정부 총 수주액 (트럼프 2기 1년차)10억 달러 이상 동결/종료된 지원금 규모 (NSF, NIH)약 30억 달러 미션 수정 비영리 단체 수1,000개 이상 Key Quote "The 'AI-based' grant review process reviews application submission files and generates initial flags and priorities for discussion." — HHS AI Use Case Inventory
21 조회
0 추천
02.03 등록
Executive Summary • 독립 개발자가 만든 AI 비서 'Moltbot'이 실리콘밸리에서 화제의 중심으로 떠올랐다. 로컬 환경에서 구동되며 다양한 AI 모델과 앱을 연동해 거의 무제한적인 자동화를 지원한다. • 사용자들은 일정 관리, 송장 처리, 주식 분석 등 고위험 업무까지 Moltbot에 맡기고 있으며, "ChatGPT 출시 이후 처음으로 미래에 살고 있다는 느낌"이라는 반응이 쏟아지고 있다. • 그러나 설치에 기술적 지식이 필요하고, 프롬프트 인젝션 등 보안 취약점이 존재해 개인정보 유출 위험도 함께 제기되고 있다. Background 2026년 초 AI 에이전트 열풍이 본격화하면서 개인용 AI 비서에 대한 관심이 급증하고 있다. 기존 Siri, Alexa 등 전통적 비서의 한계를 넘어 다양한 앱과 서비스를 직접 제어할 수 있는 '에이전틱 AI'가 주목받는 가운데, 독립 개발자 Peter Steinberger가 만든 Moltbot(구 Clawdbot)이 소셜미디어를 통해 급속히 확산됐다. Anthropic의 요청으로 Claude와의 혼동을 피하기 위해 최근 이름을 변경했다. Impact & Implications 에이전틱 AI의 대중화 가능성 Moltbot의 인기는 AI 에이전트가 더 이상 대형 기술기업의 전유물이 아님을 보여준다. 개인 개발자도 여러 AI 모델과 API를 조합해 강력한 자동화 시스템을 구축할 수 있다는 점이 입증됐다. "기존에 존재하는 것들을 그냥 연결한 것뿐"이라는 개발자의 설명처럼, 핵심은 기술적 복잡성이 아니라 사용자 경험에 있다. 데이터 주권과 프라이버시 논쟁 Moltbot이 주목받는 또 다른 이유는 로컬 구동 방식이다. 클라우드 기반 AI 비서와 달리 사용자 데이터가 외부로 전송되지 않아 프라이버시를 보장한다. 그러나 역설적으로 신용카드 정보나 계정 접근 권한을 AI에 넘기는 사용자들이 늘면서, 프롬프트 인젝션 등 새로운 보안 위협에 노출되고 있다. AI 비서 시장의 향방 개발자 Steinberger는 2026년 주요 AI 기업들이 모두 개인 비서 제품을 출시할 것으로 예상한다. Moltbot의 성공은 이 시장에서 '데이터 소유권'이 핵심 경쟁요소가 될 수 있음을 시사한다. 기업들이 편의성과 프라이버시 사이에서 어떤 균형점을 찾을지 주목된다. Key Data & Facts 항목내용 개발자Peter Steinberger (독립 개발자) 출시일2025년 11월 (Clawdbot으로 최초 공개) 개명 이유Anthropic 요청 (Claude와의 혼동 방지) 구동 방식로컬 Mac 환경 (Mac Mini 밈 유행) 지원 AIOpenAI, Claude 등 다중 모델 연동 커뮤니케이션WhatsApp, Telegram 등 채팅앱 연동 부작용Cloudflare 주가 상승 (실제 관련 없음) Key Quote "ChatGPT 출시 이후 처음으로 미래에 살고 있다는 느낌이 들었다." — Dave Morin, Moltbot 사용자 "모델들은 권한을 주면 정말 창의적으로 행동한다. 그 순간 '젠장, 이거 대단하다'고 느꼈다." — Peter Steinberger, Moltbot 개발자
33 조회
0 추천
02.02 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입