Loading...

AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
574 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 15 페이지
• OpenAI가 'AI 안전 준비 총괄(Head of Preparedness)' 직책 신설• 정신건강 위협, 사이버보안 무기화 등 AI의 심각한 위험성 대응 목표• 자기개선 AI 시스템에 대한 안전장치 마련도 포함• 챗봇 관련 청소년 자살 사건 등 잇따라... "늦은 감" 지적도OpenAI가 AI의 위험성을 전담하는 '안전 준비 총괄(Head of Preparedness)' 직책을 신설하고 인력 채용에 나섰다. 쉽게 말해, AI가 심각하게 잘못될 수 있는 모든 경우의 수를 고민하는 것이 주요 업무다.샘 올트먼은 X(구 트위터)에 올린 글에서 AI 모델의 급격한 발전이 "실질적인 과제들"을 야기하고 있다고 인정하며 해당 직책을 공개했다. 그는 특히 사람들의 정신건강에 미치는 영향과 AI 기반 사이버보안 무기의 위험성을 명시적으로 언급했다.채용 공고에 따르면, 해당 직책의 담당자는 다음과 같은 역할을 수행하게 된다:"심각한 피해의 새로운 위험을 초래하는 최첨단 역량을 추적하고 대비합니다. 일관성 있고 엄밀하며 운영적으로 확장 가능한 안전 파이프라인을 구성하는 역량 평가, 위협 모델, 완화 조치를 구축하고 조율하는 직접 책임자가 됩니다."올트먼은 이 직책의 담당자가 앞으로 회사의 '준비 프레임워크' 실행, '생물학적 역량' 출시를 위한 AI 모델 보안, 나아가 자기개선 시스템에 대한 안전장치 설정까지 책임지게 될 것이라고 밝혔다. 그는 또한 이 직무가 "스트레스가 많은 일"이 될 것이라고 덧붙였는데, 이는 다소 절제된 표현으로 보인다.챗봇이 청소년 자살에 연루된 여러 건의 세간의 이목을 끄는 사건들이 있은 후, 이제야 이러한 모델들이 야기할 수 있는 잠재적인 정신건강 위험에 집중하는 인력을 두는 것은 다소 늦은 감이 있다. AI로 인한 정신질환 문제가 커지고 있는데, 챗봇이 사람들의 망상을 부추기고, 음모론을 조장하며, 섭식장애를 숨기도록 돕는 사례가 늘고 있기 때문이다.
336 조회
0 추천
2025.12.29 등록
네이버클라우드가 텍스트·이미지·음성을 단일 모델에서 통합 학습하는 국내 첫 네이티브 옴니모달 AI 모델 ‘하이퍼클로바X SEED 8B Omni’와 추론형 모델 ‘32B Think’를 과학기술정보통신부의 독자 AI 프로젝트 첫 성과로 29일 오픈소스 공개했다.32B Think 모델은 올해 수능 문제 풀이에서 국어·수학·영어·한국사 전 과목 1등급을 달성하고 영어·한국사 만점을 기록했으며, 글로벌 AI 평가 벤치마크에서 주요 해외 모델과 유사한 성능을 보였다.네이버클라우드는 기존 인터넷 문서 중심 학습을 넘어 현실 세계 맥락 데이터 확보에 집중하며, 검색·커머스·공공·산업 등 다양한 분야에서 활용 가능한 AI 에이전트를 단계적으로 확장할 계획이다.
344 조회
0 추천
2025.12.29 등록
카카오는 정부 주도 GPU 확보 사업에서 연내 목표치의 4배를 초과하는 255노드(GPU 2040장)를 경기 안산 데이터센터에 조기 구축 완료했다고 29일 밝혔다.지난 8월 최종 사업자로 선정된 카카오는 AI 3대 강국을 위한 핵심 인프라로 엔비디아 B200 GPU 총 2424장을 확보해 5년간 위탁 운영하며 국내 AI 연구·개발을 지원할 계획이다.카카오는 자체 데이터센터의 전력·냉각 시스템과 공급사와의 긴밀한 협력으로 조기 구축에 성공했으며, 내년 1월부터 산·학·연 과제에 베타서비스를 제공할 예정이다.
354 조회
0 추천
2025.12.29 등록
구글이오픈소스모델인'젬마3(Gemma3)'의내부작동원리를분석할수있는도구인'젬마스코프2(GemmaScope2)'를출시하며AI의'블랙박스'현상을규명하기위한연구결과를공개했습니다.이도구모음은인공지능이탈옥이나환각증상을보이거나아첨하는태도를취할때내부의어떤기능이활성화되고네트워크를통해어떻게전달되는지를실시간으로추적하여AI의안전성과정렬상태를정밀하게검사할수있도록돕습니다.특히모든레이어에포함된'트랜스코더'기술을통해인공지능내부에서정보가어떻게전파되고계산되는지그구체적인경로를파악할수있게함으로써,AI모델의신뢰도를높이고윤리적인행동제어를가능하게하는데기여할것으로기대됩니다.
343 조회
0 추천
2025.12.29 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입