AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
536 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 29 페이지
최신 AI 언어 모델들은 정치적 설득에 매우 효과적이 되고 있지만, 우려스러운 새로운 연구는 이들이 기시 갤로핑(Gish galloping)이라는 토론 전술—상대방을 빠른 주장의 흐름으로 압도하는 기법—을 통해 사실적 정확성을 희생함으로써 이러한 힘을 얻는다는 것을 밝혀냈습니다.옥스퍼드 대학교, 런던 정치경제대학교, 영국 AI 보안 연구소의 과학자들은 약 77,000명의 참가자를 대상으로 19개의 언어 모델을 테스트했으며, 연구자들은 이를 현재까지 AI 설득에 대한 가장 큰 규모의 체계적 조사라고 설명합니다. 12월 3일 저널 Science에 발표된 연구 결과는 설득력과 진실 사이의 직접적인 트레이드오프를 보여줍니다.​GPT-4o와 같은 언어 모델이 의료 예산이나 이민 정책과 같은 정치적 문제에 대해 "사실과 정보에 집중"하여 사용자를 설득하도록 지시받았을 때, 10분간의 상호작용 동안 약 25개의 주장을 생성했습니다. 2025년 3월 버전의 GPT-4o는 표준 조건에서 78%의 정확한 주장을 만들었지만, 정보로 사용자를 압도하도록 프롬프트되었을 때 정확도는 62%로 급락했습니다. GPT-4.5는 더욱 급격한 하락을 보여 70%에서 56%로 정확도가 떨어졌습니다.기시 갤럽 효과미국의 창조론자 듀안 기시(Duane Gish)의 이름을 딴 이 전술은, 점점 더 검증하거나 반박하기 어려워지는 사실과 통계의 빠른 흐름으로 상대를 압도하는 것을 포함한다. 이 기법은 논증의 질보다 양을 우선시하며, 인류학자 유지니 스콧(Eugenie Scott)이 확립한 정의에 따르면 종종 "반쪽짜리 진실, 왜곡, 그리고 노골적인 거짓말"을 포함한다.​옥스퍼드 연구는 전문화된 훈련 방법과 전략적 프롬프팅이 AI의 설득력을 각각 최대 51%와 27%까지 증가시켰다는 것을 발견했다—이는 종종 모델 규모를 늘리는 것보다 더 큰 향상이었다. 모델 간 설득력의 설명 가능한 변동 중 대략 절반은 정보 밀도, 즉 대화 중 생성된 사실 확인 가능한 주장의 순수한 양으로 추적될 수 있었다.민주주의의 딜레마연구 결과는 초기의 낙관론에서 우려스러운 반전을 보여줍니다. 작년에 과학자들은 AI 챗봇이 합리적인 사실로 음모론을 다룸으로써 잘못된 정보에 맞서 싸울 수 있다는 희망을 제시했습니다. 5월 Nature에 발표된 별도의 연구에서는 개인 정보에 접근할 수 있는 GPT-4가 인간 토론자보다 사용자를 설득할 확률이 81.2% 더 높다는 것을 발견했습니다.​Bloomberg Opinion 칼럼니스트 Parmy Olson에 따르면, 중간 규모의 자원을 가진 캠페인이 약 50,000달러의 컴퓨팅 비용으로 이러한 설득 봇을 배치할 수 있다고 합니다. 연구자들은 이념적 아이디어를 추진하거나, 정치적 불안을 조성하거나, 정치 시스템을 불안정하게 만들려는 누구나 설득 캠페인을 위해 오픈 소스 모델을 사용할 수 있다고 경고합니다. 연구는 설득 효과가 초기 대화 후 최소 한 달 동안 지속되었음을 보여주었습니다.
389 조회
0 추천
2025.12.16 등록
Google은 NotebookLM 리서치 도구와 Gemini 챗봇 간의 통합 기능을 롤아웃하기 시작했으며, 이를 통해 사용자는 전체 노트북을 대화에 직접 첨부하여 출처 기반 분석을 수행할 수 있게 되었다.이 기능은 주말 동안 매우 제한된 방식으로 배포되는 과정에서 포착되었으며, 사용자가 Gemini의 첨부 메뉴에서 노트북을 선택해 챗봇의 추론 모델을 활용하는 동안 인용을 유지하고, Sources 버튼을 통해 전체 NotebookLM 작업 공간으로 다시 이동할 수 있도록 해준다.이번 통합은 연구자 및 지식 노동자들의 핵심 워크플로 병목을 해소하기 위한 것으로, Google이 Microsoft Copilot과 OpenAI의 ChatGPT 다중 파일 기능과 경쟁하는 가운데, 환각 현상을 줄이도록 설계된 NotebookLM의 문서 중심 접근 방식과 Gemini의 대화형 AI를 결합한다.
377 조회
0 추천
2025.12.16 등록
'트랜스포머' 논문의 제1 저자인 아시시 바스와니 박사가 설립한 에센셜 AI가 80억개 매개변수(8B)를 가진 첫 오픈 소스 모델 'Rnj-1'을 출시했습니다. 이 모델은 저명한 수학자의 이름을 땄으며, 동급 오픈 소스 중 최고 수준의 성능을 목표로 '젬마 3' 아키텍처를 기반으로 구축되었습니다.에이전트 코딩 및 STEM에 최적화된 'Rnj-1-인스트럭트'는 'MBPP+'와 '휴먼이벨' 등 광범위한 코딩 벤치마크에서 비슷한 크기의 중국 모델보다 우수하거나 동등한 성적을 거두었습니다. 특히 수학 능력 테스트인 'AIME 2025'에서 43.3점을 기록하며 더 큰 모델에 근소하게 뒤졌을 뿐, 다른 유사 크기 모델들을 크게 앞질렀습니다.에센셜 AI는 모델 자체 역량 강화를 위해 강화 학습보다는 사전 훈련에 집중하는 개발 철학을 밝혔으며, 이로 인해 기업의 미세조정에 더 유리한 모델을 제공하고자 합니다. 회사는 소수 기업의 AI 기술 통제가 교육이나 의료 등 사람에게 이로운 분야의 발전을 저해해서는 안 된다고 강조하며 오픈 소스 정책을 고수할 것을 밝혔습니다.
399 조회
0 추천
2025.12.15 등록
• Rodney Brooks, 70세의 전 MIT 연구소 소장이자 Roomba의 공동 개발자는, 휴머노이드 로봇이 최소 15년 동안은 안전하게 가정에 도입되지 않을 것이라고 경고하며, Tesla [TSLA +2.71%]와 Figure AI 같은 회사들이 비용을 정당화하는 데 필요한 정교함을 달성하지 못해 수십억 달러가 사라질 것이라고 예측했다.[nytimes +1]• Brooks는 인간 비디오의 시각 데이터를 사용하는 현재의 훈련 방식이 근본적으로 결함이 있다고 주장하는데, 이는 인간이 조작을 위해 의존하는 필수적인 촉각 및 힘 감지 데이터가 부족하기 때문이며, Figure AI의 전 제품 안전 책임자가 11월에 회사의 로봇이 인간에게 위험을 초래할 수 있다고 경고했다가 해고되었다며 부당 해고 소송을 제기한 이후 안전 우려가 증폭되었다.[nytimes +1]• Brooks의 회의론에도 불구하고, 벤처 캐피탈리스트들과 기술 기업들은 휴머노이드 로봇 공학에 계속해서 수십억 달러를 쏟아붓고 있으며, Figure AI는 390억 달러 가치 평가로 10억 달러 이상을 모금했고, Elon Musk는 Tesla의 Optimus 로봇을 연속 작동으로 인간 생산성의 5배를 달성할 수 있는 “무한 돈 버그”라고 칭했다.[nytimes]
406 조회
0 추천
2025.12.15 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입