AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
513 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 65 페이지
OpenAI와전설적인디자이너조니아이브(JonyIve)는그들의비밀스러운AI하드웨어장치의작동가능한프로토타입이존재한다는사실을처음으로공개적으로확인했으며,새로운애플엔지니어링인재들의대거이탈이프로젝트개발일정을가속화시키고있다.2023년11월23일,EmersonCollective의DemoDay에서로렌파월잡스(LaurenePowellJobs)와의무대대화중,OpenAICEO샘알트먼(SamAltman)과아이브(Ive)는"우아하게단순하면서도약간장난기있는"이장치가2년이내에출시될수있다고밝혔다.이러한사실은OpenAI가불과지난한달동안40명이상의애플하드웨어엔지니어들을채용했다고블룸버그가보도한가운데나오게되었으며,이는최근실리콘밸리역사상가장공격적인인재영입사례중하나로평가되고있다.​"드디어첫프로토타입이나왔습니다,"라고인터뷰중알트먼은밝히며,디자인이"엄청나게멋지다"고극찬했다.아이브는이기기를덜위협적이고더직관적으로느껴지는기술을원하는사용자들에게매력적이라고설명하며,"거의생각할필요가없다"고말해,오늘날알림이넘치는스마트폰에서의도적으로벗어났음을시사했다.​인재유출이애플을좌절시키다이번대규모채용은OpenAI가지난해전애플임원에반스행키,탕탄,스콧캐넌과함께Ive가설립한AI하드웨어스타트업ioProducts를65억달러에인수한데에따른것입니다.이번거래는2025년7월에마무리됐으며약55명의엔지니어와디자이너가OpenAI로합류했습니다.Ive가이끄는디자인업체LoveFrom은독립성을유지하지만,회사전반에걸쳐"심층디자인및창의적책임"을맡게됩니다.​블룸버그의마크거먼에따르면,최근채용된40명은카메라엔지니어링,실리콘설계,기기테스트,제조,오디오,그리고VisionPro개발등애플의거의모든주요하드웨어부서를아우릅니다.이들이직자에는시니어디렉터와매니저도포함되어있으며,애플경영진은이번상황을중대한문제로인식하고있는것으로전해집니다.​이러한인재유출은애플이하드웨어수장존터너스(JohnTernus)의지휘아래스마트홈기기,로보틱스프로젝트,그리고잠재적으로카메라가탑재된에어팟등자사의AI기반하드웨어이니셔티브를추진하는도전적인시점에일어났습니다.또한애플은혁신된시리를2026년봄에출시하며이를구동할목적으로구글(알파벳)에게연간약10억달러를지불해제미니(Gemini)AI모델을라이선스하기로합의했으며,이모델은1.2조개의파라미터로구성되어애플이현재보유한1,500억파라미터모델을크게능가합니다.​AI하드웨어의새로운시대OpenAI와Ive의협업은인공지능이스마트폰과컴퓨터를넘어서완전히새로운물리적인터페이스를필요로한다는전략적선택을보여줍니다.기기의정확한형태는아직공개되지않았지만,이전보도에따르면화면이없고주머니에들어갈수있으며사용자의주변환경에맥락적으로반응한다는점이시사되고있습니다.알트만은사용자가기술과상호작용하고싶도록만드는것을목표라고밝혔으며,Ive는"마치한입베어물고싶을만큼매력적인"디자인테스트를적용했다고언급했습니다.​이파트너십은사용자가AI를경험하는데있어OpenAI가AI모델뿐만아니라하드웨어까지통제하겠다는의지를보여주는것으로,이는애플의수직통합이라는역사적전략을따르는셈입니다.Ive의팀이완전히합류했고애플출신인재가점점더늘어나면서,이프로젝트는원래의2026년목표에서더욱가속화되어2026년말이나2027년초에첫선을보일가능성이커지고있습니다.
548 조회
0 추천
2025.11.25 등록
OpenAI의개발자경험팀은AI를사용하여캐주얼한자연어프롬프트를통해코드를생성하는인기있는트렌드인"바이브코딩"에반대하고있으며,이러한접근방식이기업조직에심각한보안위험을초래한다고경고하고있습니다.OpenAI개발자경험팀의창립멤버인KatiaGilGuzman은최근CtrlAltLead팟캐스트에피소드에서이러한관행에반대의견을밝히며,빠르고느슨한프롬프팅이취미프로젝트에서는효과적일수있지만,기업팀은예측불가능한블랙박스가아닌구조화된팀원처럼행동하는AI시스템이필요하다고강조했습니다.​"기업팀은블랙박스가아닌팀원처럼행동하는AI시스템이필요합니다"라고Guzman은말하며,현대의AI코딩도구는구조화된풀리퀘스트를생성하고,프로젝트규칙을따르며,문서를사용하여제약을받아야한다고강조했습니다.이는규제환경에서운영되는조직에중요한기능입니다.​보안취약점이우려를증가시키다이러한거부는AI생성코드의보안위험에대한증거가증가하는가운데나온것입니다.2025년11월Veracode의연구에따르면AI생성코드의거의45%가크로스사이트스크립팅,SQL인젝션,인증취약점과같은치명적인결함을포함한보안취약점을포함하고있는것으로나타났습니다.보안회사Kaspersky는2025년10월에유사한패턴을확인했으며,AI생성애플리케이션에하드코딩된API키,클라이언트측인증로직,누락된입력검증이자주포함되어있음을발견했습니다.​2025년2월전OpenAI공동창립자AndrejKarpathy가만든용어인바이브코딩(vibecoding)은개발자가AI생성코드를완전히검토하거나이해하지않고받아들이는접근방식을설명합니다.이용어는11월에CollinsDictionary의2025년올해의단어가되었습니다.​다중에이전트복잡성보다단일에이전트Guzman은또한다중에이전트오케스트레이션에대한업계의현재집착에이의를제기하며,대부분의조직은단순히추가적인복잡성이필요하지않다고주장했습니다."적절한도구,가드레일및컨텍스트를갖춘단일에이전트는이미대부분의실용적인워크로드를처리할수있습니다"라고그녀는말했습니다.​다중에이전트아키텍처는복잡한워크플로우에서그자리가있다고Guzman은인정했지만,종종개발을가속화하기보다는오히려늦추는불필요한복잡성을도입한다고했습니다.이러한입장은여러기술제공업체들이엔터프라이즈AI도입에필수적이라고홍보해온다중에이전트시스템에대한광범위한업계의과대광고와대조를이룹니다.​앞을내다보며Guzman은사용자가시스템에적응하도록강요하는대신사용자에게맞춰적응하는보다개인화된생성형인터페이스로의전환을예측했습니다.떠오르는소프트웨어개발키트생태계와결합하여,그녀는직원들이단일지능형인터페이스를통해여러서비스와상호작용하는통합되고맥락이풍부한경험을기대하고있습니다.​2025년9월에출시된OpenAI의GPT-5-Codex는샌드박스환경,기본적으로비활성화된네트워크액세스,그리고기업배포를위해설계된내장보안제어기능을통해이러한구조화된접근방식을구현하고있습니다.
550 조회
0 추천
2025.11.25 등록
WeRide는월요일3분기매출이전년대비144%증가했다고보고했으며,이는로보택시사업의폭발적인성장과8개국에걸친글로벌확장에힘입은것으로,시간외거래에서주가가거의10%상승했다.​이자율주행회사는3분기매출2,400만달러를기록했으며,이는작년같은기간의985만달러에서증가한수치로,로보택시매출이761%급증하여500만달러를달성했다.로보택시사업은현재전체매출의21%를차지하며,이는1년전단6%에서급격히증가한것이다.매출총이익률은전년분기7%에서33%로확대되었으며,회사는순손실을71%줄여4,330만달러로축소했다.​글로벌확장이중요한이정표에도달하다WeRide는10월아부다비에서완전무인상업허가를획득하여안전운전자없이운영할수있게되었으며,UAE수도에서단위경제성손익분기점달성을위한입지를확보했습니다.현재이회사는스위스,중국,UAE,사우디아라비아,싱가포르,프랑스,벨기에,미국등8개국에서허가를받아자율주행차량을운영하고있으며,이러한글로벌규제승인을받은유일한기술기업입니다.​11월에WeRide는스위스최초의무인로보택시허가를받아460개정거장이있는110킬로미터지역에서운영할수있는권한을부여받았으며,2026년상반기를목표로완전무인공공서비스를시작할예정입니다.또한이회사는아부다비와사우디아라비아모두에서플랫폼을통해운영을시작했습니다.​함대확장및시장지위10월31일기준,WeRide는약750대의로보택시를포함하여1,600대가넘는자율주행차량을운영했으며,2030년까지중동에서수만대규모로확대할계획입니다.이회사는11월홍콩이중1차상장을완료하여약23억9천만홍콩달러를조달했으며,9월30일기준6억3,160만달러의현금을보유하고있습니다.​WeRide의창립자겸CEO인TonyHan은"우리는여러중요한이정표를달성했으며,특히아부다비에서완전무인상업용로보택시허가를확보한것이가장주목할만합니다.그곳에서의운영은곧단위경제성손익분기점에도달할예정이며,이는대규모수익성으로가는우리의길을검증하는중요한이정표입니다"라고말했습니다.
578 조회
0 추천
2025.11.25 등록
조지타운 대학교의 컴퓨터 과학자 칼 뉴포트는 2025년 11월 24일자 팟캐스트에서, 생물학자 브렛 와인스타인이 조 로건 팟캐스트에서 언급한 것과 같은 AI 의식에 대한 대중적 주장들이 대형 언어 모델의 작동 방식을 근본적으로 오해하고 있으며, 인상적인 언어 처리 능력을 의식, 의도, 조작과 같은 이 시스템들이 가질 수 없는 특성과 혼동하고 있다고 주장합니다.뉴포트는 대형 언어 모델(LLM)이 훈련이 끝나면 분산된 GPU에서 순차적인 행렬 곱셈을 통해 처리되는 고정된 숫자표로 작동한다고 설명합니다. 이들은 학습하거나, 의도를 형성하거나, 실험을 수행하거나, 이해를 갱신하지 못하며, 인간의 의식에 필요한 역동적이고 다중 시스템적 구조와는 다르다고 말합니다.“AI의 대부”로 불리는 제프리 힌턴도 와인스타인과 비슷하게 들리는 경고를 한 적이 있지만, 뉴포트는 힌턴이 아직 개발되지 않은 가상의 미래 AI 시스템에 대해 우려하고 있는 반면, 2025년이 “AI 에이전트의 해”가 될 것이라는 예상이 실패한 주요 원인은 언어 모델이 신뢰할 만한 자율적 운영에 필요한 세계 모델링, 계획, 추론 능력이 부족하기 때문이라고 명확하게 설명합니다.
577 조회
0 추천
2025.11.24 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입