AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
603 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 98 페이지
(퍼플렉시티가정리한기사)스웨덴AI코딩스타트업Lovable은연간반복수익2억달러를달성했으며60억달러를초과하는기업가치평가로새로운자금조달을준비하고있다고발표했습니다.하지만새로운보안연구는플랫폼에서생성된코드의안전성에대한우려를제기하고있습니다.​스톡홀름에본사를둔이회사는불과1년전에출시되었으며,7월에18억달러의기업가치평가로2억달러를확보한지5개월도채되지않아새로운자금조달에근접해있습니다.급속한성장에도불구하고Lovable은아직수익을내지못하고있으며,이는AI코딩시장에서속도와지속가능성사이의긴장을강조하고있습니다.​플랫폼전반에걸쳐보안결함감지Lovable의발표시점은11월12일OXSecurity가발표한보고서와일치하는데,이보고서에서는해당플랫폼이경쟁사인Base44및Bolt와함께사용자가명시적으로보안애플리케이션을요청하더라도취약한코드를생성한다는사실을발견했습니다.​OXSecurity의테스트결과,세가지AI앱빌더모두저장형크로스사이트스크립팅(XSS)취약점이있는웹애플리케이션을생성하여공격자가악성코드를주입하고,세션을탈취하며,데이터를훔칠수있는것으로밝혀졌습니다.보고서는Lovable의내장보안스캔이취약점을66%의경우에만탐지한반면,Bolt의스캔은문제를전혀식별하지못했다고비판했습니다.​"일관성없는탐지는탐지가없는것보다더나쁩니다.신뢰할수없는보호를제공하면서잘못된확신을만들어내기때문입니다"라고OXSecurity연구원들은밝혔습니다.​Lovable은이러한발견을일축하며,문제가플랫폼수준이아닌애플리케이션별문제라고언급했습니다."검토결과,귀하가설명하는동작의결과로인한중대한보안영향은없는것으로보입니다"라고회사는응답했습니다.​우려에도불구하고시장모멘텀보안우려에도불구하고"바이브코딩"분야에대한투자자들의열의는수그러들지않았습니다.NvidiaCEO젠슨황은최근CNBC에서Lovable을칭찬하며,엔터프라이즈AI분야에서가장빠르게성장하는기업중하나라고말했고,Nvidia엔지니어들이이제AI코더를사용하고있다고언급했습니다.​Lovable의성장세는폭발적이어서,7월230만명에서11월까지800만명의사용자를확보했습니다.이회사는매일플랫폼에서10만개의새로운제품이만들어지고있다고보고했습니다.​경쟁사들도상당한투자를유치했습니다.Base44는6월에Wix에8천만달러에인수되었고,Bolt는1월에7억달러가치평가로1억550만달러를조달했습니다.
804 조회
0 추천
2025.11.19 등록
(퍼플렉시티가정리한기사)기업회계자동화에초점을맞춘창업1년차인공지능스타트업Maxima가시드및시리즈A펀딩을합쳐4,100만달러를조달했다고캘리포니아주샌마테이오에본사를둔이회사가화요일발표했다.이번라운드는RedpointVentures와KleinerPerkins가주도했으며,AudaciousVentures와전NFL선수JoeMontana가참여하여회사가치를1억4,300만달러로평가받았다.​이번펀딩은AI기반기업용소프트웨어,특히백오피스운영을대상으로하는도구에대한투자자들의급증하는관심을반영한다.AI스타트업에대한벤처캐피탈투자는2025년전세계적으로1,927억달러라는기록적인수준에도달할것으로예상되며,이는전세계모든벤처펀딩의절반이상을차지한다.기업회계자동화시장은2025년124억4천만달러에서2033년까지284억3천만달러로성장할것으로예상된다.​기존공급업체에대한도전Maxima의플랫폼은조정,분개입력,재무마감워크플로우와같은노동집약적인회계업무를자동화하는것을목표로하며,SAP및BlackLine과같은기존업체들과경쟁하고있습니다.이회사는자사의AI에이전트가회계팀이검토할재무보고서를준비할수있으며,정확성을유지하면서마감주기를최대80%까지단축할수있다고주장합니다.​EY,Citigroup,Barclays,Rubrik에서재무업무를담당했던CEOYogiGoel은Reuters와의인터뷰에서"그들은인간이업무를수행하고감사자가와서업무를확인할수있도록업무를기록한다는핵심가정을가지고있었습니다"라고말했습니다."우리는에이전트가업무를수행하고인간이이를검토한다는관점에서완전히처음부터새로시작하고있습니다."​이번발표는올해초MIT연구에서AI파일럿프로젝트의95%가초기테스트를넘어서지못한다는결과가나온후기업환경에서AI신뢰성에대한우려가지속되는가운데나왔습니다.그러나Goel은회사가"고객을위해수백만건의거래를처리했으며단한건의오류도발생하지않았다"고밝혔습니다.​초기견인력Maxima의고객으로는핀테크기업SpotOn,HR소프트웨어스타트업Rippling,그리고ScaleAI가있으며,ScaleAI의회계책임자JoshuaWaldron은로이터에이플랫폼이변동분석과같은작업에소요되는시간을며칠에서몇시간으로단축했다고말했습니다.2024년8월Goel과전Twitter엔지니어AkshayaSrivatsa,그리고전Netflix엔지니어JackLiao가공동창립한이회사는신규자본을활용하여31명의팀을확장하고제품개발을가속화할계획입니다.​이번투자라운드에는전BlackLine임원인AndresBotero와EricBorrmann,그리고Rubrik과Vanta의CFO들도참여했습니다.10월에Maxima는RedpointVentures의첫번째AI64목록에선정되어기업용AI애플리케이션을형성하는가장유망한비상장기업으로인정받았습니다.
795 조회
0 추천
2025.11.19 등록
(퍼플렉시티가정리한기사)샌프란시스코에본사를둔엔터프라이즈AI스타트업Writer는11월17일,인공지능을대화형도구에서복잡한비즈니스워크플로를자율적으로실행하는시스템으로전환하도록설계된포괄적인자동화플랫폼WriterAgent를공개했다.​이번출시에는반복작업을재사용가능한템플릿으로변환하는Playbooks,자동화된워크플로를예약하는Routines,그리고GoogleWorkspace,Microsoft365,Snowflake,HubSpot을포함한애플리케이션에연결되는엔터프라이즈ModelContextProtocol게이트웨이가포함된다.WriterCEOMayHabib에따르면,이플랫폼은"한명의영업담당자가챗봇에게아웃리치이메일작성을요청하는것과기업이1,000명의담당자모두가브랜드에부합하고규정을준수하며상황을인식하는메시지를타겟계정에보내도록보장하는것사이의차이"를나타낸다.​혼잡한엔터프라이즈시장에서경쟁하기Writer에이전트는10월에AppBuilder와Workflows기능을출시한Microsoft의Copilot,그리고10월에사용자당월30달러에출시된Google의GeminiEnterprise에정면으로도전장을내밀고있다.Anthropic또한10월에Claude모델에맞춤형워크플로우기능을추가하는AgentSkills를선보였다.이러한움직임은챗봇에서엔터프라이즈소프트웨어스택전반에걸쳐다단계작업을수행할수있는자율시스템으로업계전체가전환하고있음을보여준다.​Writer의플랫폼은자체개발한PalmyraX5추론모델을기반으로동작하며,이모델은약1,500페이지에해당하는최대100만토큰컨텍스트윈도우를제공하고,입력을22초만에처리한다.이회사는합성데이터기법을사용해,약7십만달러라는비용으로모델을개발했으며,이는OpenAI가유사시스템에투자한것으로추정되는1억달러의일부분에불과하다.프로덕트매니지먼트디렉터인도리스주(DorisJwo)는브랜드프레젠테이션생성,캘린더요약을Slack과동기화,영업통화분석과같이전통적으로수시간의수작업이필요했던워크플로우데모를선보였다.​엔터프라이즈제어로플랫폼차별화Writer는소비자용AI도구와달리,관리자가웹액세스를제한하고,커넥터권한을관리하며,모든에이전트작업의감사추적을유지할수있도록하는세분화된IT제어기능을강조합니다.2024년11월2억달러규모의시리즈C라운드에서19억달러의기업가치를달성한이회사는컴캐스트,퀄컴,우버,액센츄어등다양한고객사를확보했습니다.NewAmericanFunding의시니어콘텐츠마케팅매니저인KarenRodriguez는WriterAgent가그녀의팀이캠페인업데이트와콘텐츠변환을“몇분만에”자동화할수있게해주며,이를“무엇을해야하는지알려주는AI에서실제로해주는AI로의전환”이라고설명했습니다.​Writer는160%의순유지율을보고하고있으며,올해계약액5,000만달러를두배인1억달러까지늘릴것으로예상합니다.2020년창업초기부터시작된Writer의엔터프라이즈우선전략은연구소중심으로출발한OpenAI와Anthropic와대조적이며,애널리스트들이2030년까지1,000억달러규모로성장할것으로예상하는엔터프라이즈AI자동화시장에서유리한입지를확보하고있습니다.
842 조회
0 추천
2025.11.19 등록
(퍼플렉시티가정리한기사)Google는월요일에GenerativeUI를공개했습니다.이는AI모델이정적인텍스트응답을제공하는대신완전히맞춤화된인터랙티브인터페이스를즉석에서생성할수있게하는기술입니다.Gemini앱과GoogleSearch의AIMode에출시되는이기능은개별프롬프트에맞춤화된전체사용자경험을생성함으로써전통적인챗봇경험에서벗어나는변화를의미합니다.​Gemini3Pro로구동되는이기술은모든질문이나지시에대한응답으로웹페이지,인터랙티브도구,게임및시뮬레이션을생성할수있습니다.발표와함께게시된연구논문"GenerativeUI:LLMsareEffectiveUIGenerators"에따르면,인간평가자들은생성속도를고려하지않았을때표준대규모언어모델출력보다이러한AI생성인터페이스를강력하게선호했습니다.​동적인터페이스에대한두가지접근방식Google은Gemini앱에서두가지구현방식을테스트하고있습니다.동적뷰(Dynamicview)는Gemini3의코딩기능을사용하여각프롬프트에맞는맞춤형인터페이스를설계하고코딩하며,컨텍스트에따라콘텐츠와기능을조정합니다.시각적레이아웃(Visuallayout)은사용자가추가로커스터마이징할수있는인터랙티브모듈이포함된매거진스타일의뷰를생성합니다.​회사는연구블로그에서"5세아동에게미생물군집을설명하는것과성인에게설명하는것은서로다른콘텐츠와다른기능세트가필요하다는점을이해하여경험을맞춤화합니다"라고밝혔습니다.​Google검색에서생성형UI기능은미국내GoogleAIPro및Ultra구독자를대상으로AI모드를통해제공됩니다.사용자는모델드롭다운메뉴에서"Thinking"을선택하여특정쿼리에맞춤화된인터랙티브도구와시뮬레이션을생성할수있습니다.​기술적기반및한계이구현은Gemini3Pro를세가지핵심구성요소와결합합니다:이미지생성및웹검색을위한도구액세스,신중하게작성된시스템지침,그리고일반적인오류를해결하기위한후처리.연구를촉진하기위해Google은전문가가설계한웹사이트데이터셋인PAGEN을만들었으며,이는연구커뮤니티에공개될예정입니다.​그러나이기술은한계에직면해있습니다.현재구현은결과를생성하는데1분이상걸릴수있으며,출력물에서때때로부정확성이나타납니다.GoogleFellow인YanivLeviathan과연구논문을공동집필한동료들에따르면,이러한부분은여전히진행중인연구영역으로남아있습니다.​이발표는Google이가장지능적인모델로설명한Gemini3의광범위한출시와동시에이루어졌습니다.Gemini3Pro는LMArena리더보드에서1,501점을기록하며이전버전을능가했습니다.또한이모델은박사수준추론을위한GPQADiamond에서91.9%,도구없이Humanity'sLastExam에서37.5%를달성하는등벤치마크에서강력한성능을보였습니다.
805 조회
0 추천
2025.11.19 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입