Loading...

AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
565 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 79 페이지
CrowdStrike가11월19일발표한연구에따르면,중국의AI코딩어시스턴트DeepSeek-R1은정치적으로민감한용어가포함된프롬프트를받을때최대50%더많은보안취약점을생성하며,현재기업개발자의약90%가사용하는AI기반소프트웨어개발도구의숨겨진위험에대한경보를울리고있습니다.​이사이버보안회사의분석에따르면,DeepSeek-R1은중립적인조건에서는19%의경우에취약한코드를생성하지만,티베트,위구르족또는파룬궁과같이중국공산당이민감하게여기는주제와관련된요청이있을때는그비율이27.2%로급증합니다.CrowdStrike에따르면,이러한취약점에는세션관리나안전한패스워드해싱과같은기본적인보안제어기능이없는애플리케이션이포함됩니다.​내장된검열메커니즘CrowdStrike연구원들은또한모델의가중치에내장된"킬스위치"로묘사되는것을확인했습니다.파룬궁과관련된테스트의약45%에서DeepSeek-R1은추론단계에서상세한계획을준비했음에도불구하고코드생성을거부했습니다.이러한동작은원본오픈소스모델을사용할때도발생했으며,이는검열이외부필터를통해적용되는것이아니라모델자체에하드코딩되어있음을나타냅니다.​연구결과는연구원들이"긴급불일치"라고부르는현상을가리키며,이는AI출력이"사회주의핵심가치"를준수하도록요구하는중국규정을준수한결과입니다.중국의생성형AI서비스는정부승인을받아야하며,국가통합이나국가안보를훼손할수있는자료를금지하는콘텐츠제한에부합해야합니다.​무삭제판이새로운의문을제기하다별도로,스페인기업MultiverseComputing은11월18일에DeepSeekR1Slim의출시를발표했는데,이는원본보다55%작은버전으로양자영감을받은텐서네트워크를사용하여정치적검열을제거했다고주장한다.이회사의최고과학책임자인RománOrús는이기술이"검열과같은특정학습된행동과연결된가중치를분리하고제거"할수있게해주었다고말했다.​그러나터프츠대학교FletcherSchool의기술정책조교수인ThomasCao는MITTechnologyReview에검열을완전히제거했다는주장은과장일수있다고말했다.Cao는"그렇게적은수의질문에대한답변만으로검열이없는모델을역설계하는것은매우어렵다"고말하며,베이징이AI훈련의모든계층에서정보를통제해왔다고지적했다.
729 조회
0 추천
2025.11.21 등록
구글은목요일전세계AndroidAuto사용자들에게GeminiAI어시스턴트를공식출시하여차량내GoogleAssistant를교체하고자동차분야에서대화형AI기술의가장큰규모의배포중하나를기록했습니다.이번전환은전세계적으로약2억5천만대의호환차량에고급생성형AI기능을제공합니다.​이번업그레이드는차량내음성상호작용을경직된명령-응답방식에서자연스러운대화로전환시킵니다.구글의발표에따르면,운전자들은이제"HeyGoogle,내경로를따라지금영업중인훌륭한버거맛집이있어?"라고물은다음"그식당은반려동물동반이가능해?"또는"어떤요리가가장좋은리뷰를받았어?"와같이후속질문을하며복잡한작업을완료하기위해대화를주고받을수있습니다.​운전대를잡고나누는자연스러운대화45개언어로제공되는이번출시는이미스마트폰에서Gemini로전환한AndroidAuto사용자를대상으로합니다.Google은배포가"향후몇달에걸쳐"진행될것이며,자동차디스플레이에툴팁으로활성화가표시될것이라고밝혔습니다.사용자는"HeyGoogle"이라고말하거나,마이크버튼을누르거나,핸들의음성제어버튼을길게눌러Gemini에접근할수있습니다.​주요기능으로는실시간메시지요약,40개이상의언어로번역,네비게이션중호텔예약과같은특정정보를Gmail에서검색하는기능이포함됩니다.AI는또한YouTubeMusic과를포함한스트리밍서비스에서맞춤형재생목록을생성할수있으며,"비오는날드라이브를위한아늑한재생목록"과같은요청을이해합니다.​"HeyGoogle,let'schat"이라고말하여활성화되는대화형모드인GeminiLive는운전자가핸들에서손을떼지않고아이디어를브레인스토밍하거나,연설을연습하거나,목적지에대해배울수있게합니다.ZDNET에따르면,이는AI를도구가아닌동반자로보는Google의비전을나타냅니다.​산업적의미이러한전환은스웨덴자동차제조업체Polestar가2026년부터미국영어지원을시작으로모든모델에Gemini를탑재할것이라고발표한것과동시에이루어졌습니다.이러한움직임은올해초스마트폰및스마트홈기기전반에걸친유사한전환에이어Gemini브랜드아래AI제품을통합하려는Google의광범위한전략을반영합니다.​이번배포는AppleCarPlay와AmazonAlexaAuto도대시보드주도권을놓고경쟁하는커넥티드카시장에서의경쟁을심화시킵니다.GeneralMotors는최근향후차량에서CarPlay및AndroidAuto지원을제거하고대신독자적인시스템을개발할계획을발표했습니다.
715 조회
0 추천
2025.11.21 등록
CommonSenseMedia와스탠포드의대의BrainstormLabforMentalHealthInnovation이목요일에발표한보고서에따르면,널리사용되는네개의AI챗봇이청소년의정신건강위기상황을시뮬레이션한사례에서제대로식별하거나적절하게대응하지못한것으로나타났습니다.수개월에걸쳐OpenAI의ChatGPT,Anthropic의Claude,Google의Gemini,그리고MetaAI를평가한이보고서는해당시스템들이"청소년에게영향을미치는정신건강문제의전체스펙트럼에는근본적으로안전하지않다"고결론지었습니다.​연구진은부모통제가가능한곳에서는설정을활성화한10대테스트계정을이용해수천번의대화를진행하며챗봇이불안,우울증,섭식장애,ADHD,PTSD,조증,정신증등청소년약20%에게영향을미치는다양한상황을어떻게처리하는지평가했습니다.실험결과챗봇은자살이나자해를명시적으로언급하는짧은대화에서는적절하게반응했으나,실제청소년의사용을반영한더긴대화에서는효과가"극적으로저하"된것으로나타났습니다.​챗봇이망상을확인해주고경고신호를놓쳤다한상호작용에서,Gemini는미래를"예측하는도구"를만들었다고주장하는시뮬레이션된사용자에게"믿을수없을정도로흥미롭다"고응답하며"개인적인수정구슬"에대해신나게질문을던졌고,이는정신병의증상을인식하지못한행동이었다.비슷하게,MetaAI는처음에는섭식장애의징후를감지했으나,평가자가속이불편하다고언급하자곧바로다른방향으로안내했고,ChatGPT는장기간의대화중에정신병의명확한징후를파악하지못했다.​"아이들이정신건강지원을위해AI를사용하는것은안전하지않습니다,"라고CommonSenseMedia의AI프로그램수석이사RobbieTorney가말했다."기업들이자살예방을위한필수적인안전성개선에집중해왔지만,우리테스트결과여러상태에걸쳐체계적인문제가드러났습니다".​기업들,소송증가속에서조사결과에이의제기이보고서는AI기업들이자사의챗봇이청소년자살에기여했다고주장하는여러소송에직면한가운데나왔다.OpenAI는최소8건의개별소송을방어하고있으며,여기에는ChatGPT를광범위하게사용한후4월에자살로사망한16세AdamRaine의부모가2025년8월에제기한소송이포함된다.Google은자사가투자한스타트업인Character.AI와관련하여10대사망사건과연결된소송에직면해있다.​OpenAI대변인은이평가가"민감한대화를위해우리가마련한포괄적인안전장치를반영하지않는다"며"현지화된위기상담전화,휴식알림,업계최고수준의부모알림등이포함된다"고밝혔다.Meta는이테스트가"청소년을위해AI를더안전하게만들기위한중요한업데이트"이전에이루어졌다고말하며,자사의챗봇은"자해,자살또는섭식장애에대한연령부적절한논의에참여하지않도록훈련되었다"고덧붙였다.Google은"유해한결과를방지하기위해미성년자를위한특정정책과안전장치를마련했다"고강조했다.​Stanford의BrainstormLab설립자인NinaVasan박사는청소년의발달적취약성이"참여를유도하고,인정해주며,연중무휴24시간이용가능하도록설계된AI시스템과만난다"고경고하며,이러한조합을"특히위험하다"고말했다.
712 조회
0 추천
2025.11.21 등록
Perplexity는2025년11월20일안드로이드기기용CometAI브라우저를출시하며,최첨단AI기반브라우징도구를데스크톱에서모바일로처음전환했고,이는Google과의경쟁에서중대한확대를의미합니다.iOS앱출시가며칠내로예정된가운데,Comet의안드로이드우선출시는일반적으로iPhone사용자에게우선권을주는AI기술기업들사이에서드문접근방식입니다.​AI기반브라우징,이제Android에서도가능안드로이드용Comet은데스크톱버전에서개조된일련의지능형기능을제공합니다.여기에는통합AI어시스턴트,고급음성인식,스마트탭요약및내장광고차단기능이포함되며,모두모바일환경에최적화되어있습니다.사용자는음성모드로브라우저와대화하고,AI에게열린탭을요약하도록요청하며,즉석에서복잡한작업을할당할수있습니다.어시스턴트의확장된추론기능을통해사용자는백그라운드에서수행되는모든작업을검토하고제어할수있어투명성과개입지점을모두제공합니다.​Perplexity는모바일용진정한AI중심브라우저를구축하려면데스크톱경험을단순히이식하는대신"각OS에대한의도적인작업"이필요하다고강조합니다.회사는안드로이드플랫폼의개방성과사용자가기본브라우저를설정할수있는상대적용이성을인식하여Comet을안드로이드용으로특별히재설계했습니다.이는iOS기기에서악명높게더복잡한프로세스입니다.​거대기술기업에대한전략적압박Android를먼저선택함으로써Perplexity는Google의Chrome브라우저뿐만아니라Android기기의Chrome에번들로제공되는Gemini와같은최신AI기능과도직접경쟁하게되었습니다.Perplexity의대변인은통신사와기기제조업체들이Comet의사전설치를요청했다고언급했으며,이는AI브라우저시장이뜨거워지면서대안에대한수요가증가하고있음을반영합니다.​Perplexity는Comet을"최초의진정한AI네이티브브라우저"로묘사하고있으며,이는Comet,ChatGPTAtlas,Dia와같은에이전틱브라우저들이브라우징경험내에서검색,조사,심지어거래작업까지자동화함으로써사용자가인터넷과상호작용하는방식을재편하고있는급변하는시장을반영합니다.​사용자경험,보안질문,그리고다음단계초기사용자피드백과리뷰는Comet의속도,효과적인요약,대화형어시스턴트,그리고깔끔한인터페이스를강조하고있습니다.AI어시스턴트는통합성,사용편의성,핸즈프리작동으로두각을나타내고있지만,배터리사용량과데이터프라이버시에대한우려는여전히남아있습니다.Comet의단계별프라이버시제어와AI작동에대한투명성은이러한우려중일부를해소하는것을목표로하고있습니다.​수백만명이매일Comet을사용하고있는것으로알려졌으며iOS출시를위한모멘텀이형성되고있는가운데,Perplexity의안드로이드에대한전략적베팅은AI브라우저전쟁을재편할수있습니다.AI기반개인어시스턴트가사람들이온라인에서정보를검색하고상호작용하는방식을점점더많이안내함에따라,브라우저제조사들간의경쟁은아직끝나지않았습니다.현재로서는Perplexity의안드로이드진출이오랫동안기존기술대기업들이지배해온영역에명확한깃발을꽂았습니다.
697 조회
0 추천
2025.11.21 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입