AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
542 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 73 페이지
Linus Tech Tips는 딥페이크 기술이 지난 5년 동안 제작이 훨씬 쉬워지고 더욱 그럴듯해졌음을 보여주며, 이 기술이 취약 계층을 노린 사기 등에 악용될 수 있다는 시급한 우려를 제기합니다.팀은 DeepFaceLab을 사용하여 라이너스 세바스찬의 얼굴 사진 7,000장으로 훈련된 딥페이크를 매우 그럴듯하게 제작했으며, 이 과정은 5년 전 시도에 비해 “적어도 100배는 더 쉬웠다”고 밝히기도 했습니다. 또한 일반 하드웨어와 상업용 도구만으로 완전히 AI 기반의 영상을 만들어냈습니다.2024년 전 세계 온라인 사기 피해액은 1조 달러를 넘어섰고, 북미 지역의 딥페이크 사기 사례는 2022년부터 2023년까지 1,740% 급증했으며, 이 영상은 시청자들이 이러한 빠르게 증가하는 위협을 인식하고 피할 수 있도록 돕는 것을 목표로 합니다.
642 조회
0 추천
2025.11.23 등록
개발자 Armin Ronacher는 2025년에도 AI 에이전트 구축이 여전히 어렵다고 주장하며, Vercel AI SDK와 같은 고수준 SDK 추상화는 실제 도구 사용을 처리할 때 제대로 작동하지 않아, 캐싱, 강화, 에이전트 루프 설계에 대한 더 나은 제어를 위해 Anthropic과 OpenAI의 네이티브 플랫폼 SDK로 회귀하게 된다고 설명한다.이 글은 명시적 캐시 관리가 자동 캐싱보다 예상외로 우수하다고 지적하며, Anthropic의 수동 캐시 제어는 개발자가 대화를 분할하고, 컨텍스트를 편집하며, 시스템 프롬프트 이후와 대화 기록 전반에 캐시 포인트를 배치하여 비용을 더 정확하게 예측할 수 있게 한다고 설명한다.Anthropic Claude 모델은 명시적 캐싱 전략을 통해 최대 90%의 비용 절감을 달성할 수 있지만, 에이전트 개발자들은 학습을 위한 상세한 실패 로깅의 이점과 모든 오류를 컨텍스트에 보존하는 데 따르는 토큰 비용 사이의 근본적인 긴장 관계에 직면한다.
644 조회
0 추천
2025.11.23 등록
Certora는 목요일 AI Composer의 출시를 발표했습니다. 이는 스마트 계약을 위한 인공지능 코드 생성에 형식 검증을 내장한 오픈소스 플랫폼으로, AI가 생성한 코드의 보안 취약점에 대한 우려가 높아지고 있는 상황에 대응합니다.텔아비브에 본사를 둔 이 보안 회사의 새로운 도구는 실행 전에 모든 코드 스니펫이 안전 요구사항을 충족하는지 수학적으로 검증함으로써 기존의 AI 코딩 보조 도구와 차별화됩니다. 이 플랫폼은 Aave, Lido, Uniswap을 포함한 주요 탈중앙화 금융 프로토콜에서 이미 사용 중인 Certora의 Prover 기술을 AI 생성 루프에 직접 통합합니다.AI 생성 코드의 보안 우려 증가이러한 시기는 AI 생성 코드의 보안 위험에 대한 증거가 증가하고 있음을 반영합니다. 100개 이상의 대규모 언어 모델을 분석한 2025년 Veracode 연구에 따르면, AI 생성 코드의 45%가 보안 취약점을 야기하며, 코드 생성 정확도의 발전에도 불구하고 보안 실패율은 정체 상태를 유지하고 있습니다. 연구 결과 AI 모델은 안전한 대안이 제시되었을 때 45%의 경우 안전하지 않은 코딩 방법을 선택했습니다.스마트 컨트랙트 보안은 여전히 중요하며, OWASP 스마트 컨트랙트 상위 10에 따르면 2024년에 접근 제어 취약점만으로 9억 5,300만 달러의 손실이 발생했습니다. Certora의 창립자이자 수석 과학자인 Mooly Sagiv는 “AI를 사용한다고 해서 안전을 타협해서는 안 됩니다”라고 말했습니다. “Certora AI Composer는 AI와 형식 검증이 함께 작동하여 스마트 컨트랙트 개발을 기본적으로 신뢰할 수 있게 만들 수 있음을 증명합니다”.오픈 소스 출시 및 산업 영향알파 버전은 12월 4일부터 GitHub에서 이용 가능하게 되며, 이날 Certora는 “AI Meets Verification: An Open Discussion with Certora Researchers”라는 제목의 라이브스트림을 개최할 예정입니다. 이 플랫폼은 통합된 형식 검증 검사, 맞춤형 안전 모듈을 위한 오픈소스 확장성, 그리고 Web3 프로토콜 전반에 걸쳐 1,000억 달러 이상의 총 예치 가치를 보호해 온 Certora Prover의 지원을 특징으로 합니다.형식 검증은 규제 기관들이 그 중요성을 인식하면서 주목을 받고 있습니다. 프랑스 금융 규제 당국은 2025년 스마트 계약 인증을 위한 이 기술을 승인하며, 다른 분석 방법에 비해 “코드의 무결성에 관해 더 높은 수준의 보증을 제공한다”고 언급했습니다. 미국 사이버 보안국장 역시 2024년에 형식 방법론을 “국가 소프트웨어 보안에 필수불가결한 것”으로 규정했습니다.
649 조회
0 추천
2025.11.23 등록
Xiaomi는 2025년 11월 21-22일에 MiMo-Embodied를 공개했으며, 이 중국 기술 기업은 이를 자율주행과 체화된 인공지능을 단일 프레임워크 내에서 성공적으로 통합한 업계 최초의 오픈소스 기반 모델이라고 설명합니다.이 모델은 29개의 업계 벤치마크에서 최첨단 성능을 달성했으며, 작업 계획, 어포던스 예측, 공간 이해를 포함한 17개의 체화된 AI 테스트에서 새로운 기록을 세웠고, 환경 인식, 상태 예측, 주행 계획에 걸친 12개의 자율주행 벤치마크에서 뛰어난 성과를 보였습니다. Xiaomi는 Hugging Face와 GitHub를 포함한 플랫폼에서 모델과 기술 문서를 완전히 오픈소스로 공개했습니다.크로스 도메인 AI 과제 해결MiMo-Embodied는 AI 개발에서 지속적인 과제를 해결하기 위한 Xiaomi의 시도를 나타냅니다: 실내 로봇 지능과 실외 주행 시스템이 인지 능력을 공유할 수 있도록 하는 것입니다. Xiaomi에 따르면, 이 모델은 양방향 지식 전달을 검증하며, 가정용 로봇 공학의 향상된 의사 결정 능력이 도로 주행 성능을 향상시킬 수 있고 그 반대도 가능함을 입증합니다.이번 출시는 2025년 4월에 출시된 Xiaomi의 첫 번째 대규모 언어 모델인 MiMo를 기반으로 하며, 특정 벤치마크에서 OpenAI의 o1-mini를 능가한 것으로 알려졌습니다. 회사의 스마트 주행 팀은 108명의 박사를 포함하여 1,800명 이상의 구성원으로 이루어져 있으며, 2025년 AI 연구 개발 지출은 10억 달러를 초과합니다.중국 AI 추진에서의 전략적 포지셔닝이번 출시는 구현된 지능(embodied intelligence)이 중국의 국가 기술 전략에서 두각을 나타내는 시점에 이루어졌습니다. 2025년 3월, 중국 정부 업무 보고서는 구현된 지능을 미래 산업으로 육성할 것을 명시적으로 요구했습니다. 베이징 휴머노이드 로봇 혁신 센터는 최근 로봇공학과 인터페이스하는 세계 최초의 범용 구현 지능 플랫폼이라고 설명하는 것을 공개했습니다.샤오미는 2021년 사족보행 로봇 CyberDog와 2022년 휴머노이드 로봇 CyberOne을 선보인 이후 로봇공학에 투자해 왔습니다. 운영 19개월 만에 2025년 3분기에 수익을 낸 이 회사의 전기차 부문은 올해 35만 대 이상의 차량을 인도했으며 연말까지 40만 대를 목표로 하고 있습니다.
651 조회
0 추천
2025.11.23 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입