AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
568 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 80 페이지
유대인혐오음모론에맞서도록훈련된AI챗봇이사용자들의이러한신념을줄이고유대인에대한인식을개선했다는연구결과가수요일에공개되었습니다.이연구는유대인명예훼손방지연맹(ADL)산하반유대주의연구센터소속연구진이발표한것입니다.효과는한달후에도지속되어,증가하는반유대주의에맞서새로운희망을제공합니다.​이실험에는적어도여섯가지의대표적인반유대인음모론중하나를믿는1,200명이상의사람들이참여했습니다.여기에는유대인들이미디어를통제한다거나,이민에유대인들이관여한다는‘위대한대체이론’등이포함됩니다.참가자들은이러한이론을반박하도록프로그래밍된AI모델과대화를나눴으며,이모델은Anthropic의Claude를기반으로만들어졌습니다.연구진이‘DebunkBot’이라고부르는챗봇과교류한사람들은대조군보다자신들의신념이훨씬더약해지는경향이나타났습니다.​​이번연구의시니어저자이자코넬대학교교수인데이비드랜드는“이연구결과가주목할만한점은,사실에기반한반박이정체성과편견에뿌리깊게연결되었고오랜역사를가진음모론에도효과가있다는것”이라고밝혔습니다.랜드는이어,“AI는대부분정확한정보와증거기반반론을제시함으로써,여전히사실이사람들의생각을바꿀수있음을보여준다”고덧붙였습니다.​잘못된정보의문제,단순한편견이아니다ADL의반유대주의연구센터를이끄는MattWilliams는이연구가반유대주의를주로시민권문제가아닌잘못된정보의문제로이해하는방식의전환을반영한다고말했습니다.지난10년동안음모론을믿는미국인의비율이역사적비율의두배이상인45%에달했다고Williams는말했습니다.​이연구는AI모델이증오확산에서차지하는역할에대한감시가증가하는가운데나왔습니다.이번주,프랑스당국은ElonMusk의Grok챗봇이한사용자에게나치가스실이대량학살을위해설계되지않았다고말했다는보도이후조사에착수했습니다.3월에발표된ADL보고서는주요AI언어모델에서반유대주의와반이스라엘편향을발견했습니다.​한계및다음단계연구결과에따르면DebunkBot은완전한해결책이아니었습니다.더많은반유대주의음모론을믿는사람들은더적은변화를경험했으며,믿음은감소했지만완전히제거되지는않았습니다.그럼에도불구하고Williams는음모론믿음에대응할수있는모든전략이가치있다고말했습니다.DebunkBot은현재온라인에서이용가능하며,ADL은주요AI플랫폼들이그전문성을통합하도록설득하기위해노력하고있습니다."AI와LLM들은도구입니다,그렇죠?"Williams가말했습니다."우리는도구를선과악을위해사용할수있습니다".
708 조회
0 추천
2025.11.21 등록
HarvardBusinessReview는채용관리자들이면접중지원자가AI를사용하는지탐지하려고하기보다는,챗봇이복제할수없는인간의기술,즉감성지능과적응력을평가할수있도록면접을재설계해야한다고주장합니다.​이기사는다섯가지핵심역량을테스트할것을권장합니다:사회적신호를읽고신체언어변화에반응하기,명확한답이없는모호한시나리오를통해추론하기,비판적사고를드러내는명확화질문하기,대화가예상치못한방향으로전개될때적응하기,그리고그룹환경에서협력적문제해결능력보여주기.​이러한접근방식은현재99%의채용관리자가채용과정에서어떤형태로든AI를사용하고있으며,지원자들은실시간으로면접응답을생성하기위해ChatGPT와같은도구에점점더의존하고있는상황에서증가하는과제를해결합니다.
696 조회
0 추천
2025.11.21 등록
MITTechnologyReview는계획,추론및작업을독립적으로수행할수있는자율시스템인에이전틱AI가기존의운영사일로를해체하는통합데이터패브릭아키텍처를통해머신데이터를통합함으로써조직이디지털복원력을근본적으로재고할것을요구한다고보도했습니다.​Cisco의자회사인Splunk의KamHathi에따르면,전세계AI투자가2025년까지1조5천억달러에달할것으로예상됨에도불구하고,예기치않은상황에서서비스연속성과보안을보장할수있는조직의능력에대해확신을표명하는비즈니스임원은절반도되지않습니다.​인간이생성한콘텐츠로훈련된초기AI시스템과달리,에이전틱AI는장치와애플리케이션의로그,메트릭및텔레메트리와같은머신데이터에대한원활한접근을필요로하지만,현재이러한자율시스템을완전히활성화하는데필요한통합수준을달성하는조직은거의없으며,이는이상징후와부정확성의위험을초래합니다.
736 조회
0 추천
2025.11.21 등록
취리히에본사를둔로보틱스스타트업Flexion은전Nvidia연구원들이설립한회사로,휴머노이드로봇이다양한환경에서자율적으로작동할수있도록하는인공지능소프트웨어개발을위해시리즈A펀딩으로5천만달러를확보했습니다.이번라운드는DSTGlobalPartners가주도했으며,NVentures,Redalpine,ProsusVentures,MoonfireVentures가참여했습니다.​11월20일발표된이번펀딩으로Flexion은1월설립이후총5,735만달러의자본을조달했으며,이는베이에리어에미국본사를개설하고,31명으로구성된팀을확장하며,컴퓨팅인프라와로봇플릿을확대하는데사용될예정입니다.회사는연간로봇당소프트웨어라이선스모델을통해주요주문자상표부착생산(OEM)파트너들과함께자율플랫폼의상용화를가속화할계획입니다.​원격조작에서벗어나기Flexion은인간작업자가원격으로로봇을제어하는원격조작방식을지양하고,대신고성능물리시뮬레이션에서생성된합성데이터와강화학습기법을결합한방식을선호함으로써경쟁사들과차별화됩니다.ETH취리히에서수년간의연구를거쳐CTODavidHoeller,JulianNubert,FabianTischhauser와함께회사를공동설립한CEONikitaRudin은원격조작기반접근방식이"수십만시간의수동인간시연을필요로하며"이는근본적으로확장될수없다고주장합니다.​이회사의플랫폼은Rudin이설명하는"완전자율스택"을제공하며,언어수준추론,비전-언어-행동모션생성,트랜스포머기반전신제어기능을갖추고있어로봇이최소한의인간개입으로명령을이해하고새로운상황에적응할수있습니다.단일로봇형태에초점을맞춘경쟁사들과달리,Flexion의형태무관시스템은휴머노이드로봇,바퀴형플랫폼,다중팔시스템전반에걸쳐작동하도록설계되었습니다.​급증하는로봇공학투자Flexion의투자유치는로봇공학벤처캐피털에있어활발한한해동안이루어졌으며,Crunchbase데이터에따르면11월19일기준전세계적으로107억달러이상이투자되어이미2021년이후모든연도를넘어섰다.이분야는2025년2분기에만거래가치가88억달러로급증하여전분기대비170.5%증가했다.경쟁사인PhysicalIntelligence는최근56억달러의기업가치로6억달러를유치했으며,FigureAI와Apptronik을포함한다른휴머노이드로봇스타트업들도10억달러이상의기업가치를확보했다.​Redalpine의투자자PhilipKneis는Flexion이"스택에서가장어렵고방어가능한부분인로봇을위한공유두뇌구축"에집중하기때문에두각을나타냈다고말했다.ProsusVentures의SandeepBakshi는로봇기반모델개발자들이"결국시뮬레이션기반훈련을크게활용해야할필요가있기"때문에이스타트업의시뮬레이션우선접근방식이승리할수있는위치에있다고언급했다.
686 조회
0 추천
2025.11.21 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입