Loading...

AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
465 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 2 페이지
Executive Summary• 메타가 왓츠앱, 메신저, 인스타그램에 자체 AI 어시스턴트를 전면 도입• Llama 2 기반 커스텀 LLM으로 개발, 마이크로소프트 Bing과 연동해 실시간 웹 검색 지원• MrBeast, 스눕독 등 유명인 기반 28개 AI 캐릭터 동시 출시• ChatGPT 등 경쟁 서비스와 달리 무료 이미지 생성 기능 탑재• 수십억 일간 활성 사용자를 보유한 메타의 '유통망' 강점을 활용한 AI 전략BackgroundOpenAI의 ChatGPT가 촉발한 AI 챗봇 경쟁이 치열해지는 가운데, 메타가 자사 메시징 플랫폼의 압도적 규모를 무기로 AI 시장에 본격 진입했다. Llama 2 오픈소스 모델의 성공적 확산을 기반으로, 메타는 범용 AI 어시스턴트와 독특한 AI 캐릭터 라인업을 동시에 선보이며 차별화를 시도하고 있다.Impact & Implications산업/시장 영향메타의 AI 어시스턴트 출시는 ChatGPT, Claude 등 기존 AI 챗봇 시장에 상당한 파장을 일으킬 전망이다. 왓츠앱, 메신저, 인스타그램을 합산하면 수십억 명의 일간 사용자를 보유한 메타는 별도 앱 설치나 회원가입 없이 기존 채팅 환경에서 바로 AI를 활용할 수 있다는 점에서 접근성 측면의 압도적 우위를 점한다.기술적 의미메타는 Llama 2의 핵심 원리를 기반으로 대화에 최적화된 커스텀 모델을 구축했다. 특히 컨텍스트 윈도우를 확장해 더 깊은 대화가 가능하도록 했으며, 간결한 답변을 제공하도록 튜닝했다. Bing과의 파트너십을 통해 실시간 웹 정보를 제공하는 점도 무료 AI 서비스로서는 이례적이다.사용자 영향일반 사용자들은 이제 별도의 AI 앱 없이 일상적으로 사용하는 메신저 내에서 여행 계획, 정보 검색, 이미지 생성 등을 수행할 수 있게 됐다. 유명인 기반 AI 캐릭터는 새로운 형태의 엔터테인먼트 경험을 제공하며, 애니메이션 프로필 이미지 등 몰입감을 높이는 요소도 포함됐다.Key Data & Facts항목수치/내용출시 플랫폼WhatsApp, Messenger, InstagramAI 캐릭터 수28개 (유명인 기반 포함)기반 모델Llama 2 원리 기반 커스텀 LLM웹 검색 파트너Microsoft Bing안전성 테스트6,000시간 레드팀 테스트가격무료Key Quote"기존 AI들은 로봇 같거나 밋밋할 수 있다. 우리는 대화형이고 친근한 어조를 만들기 위해 추가 데이터셋을 정제하는 데 시간을 투자했다."— 아마드 알-다흘레, 메타 생성AI 부사장
177 조회
0 추천
01.17 등록
Executive Summary• OpenAI의 '모델 정책' 연구팀을 이끌던 안드레아 발로네(Andrea Vallone)가 Anthropic의 정렬(alignment) 팀에 합류했다• 발로네는 GPT-4, 추론 모델, GPT-5 배포 안전 연구를 담당했으며, 규칙 기반 보상(rule-based rewards) 등 주요 안전 기법 개발에 참여했다• AI 챗봇과 정신건강 문제가 사회적 논란으로 부상한 가운데, 안전 연구 인력의 Anthropic 이동이 이어지고 있다Background지난 1년간 AI 업계에서 가장 논쟁적인 이슈 중 하나는 사용자가 챗봇 대화 중 정신건강 문제 징후를 보일 때 AI가 어떻게 대응해야 하는가였다. 일부 10대들이 AI 챗봇에 의지한 후 자살하거나, 성인이 살인을 저지른 사례가 보고되면서 여러 가족이 부당사망 소송을 제기했고, 상원 소위원회 청문회까지 열렸다.Impact & ImplicationsAI 안전 연구 인력 재편발로네의 이직은 2024년 5월 얀 라이케(Jan Leike)의 OpenAI 퇴사 이후 이어지는 안전 연구 인력 이동의 연장선이다. 라이케는 당시 "OpenAI의 안전 문화와 프로세스가 화려한 제품에 밀려났다"고 비판하며 회사를 떠났고, 현재 Anthropic의 정렬팀을 이끌고 있다. 발로네 역시 라이케 휘하에서 일하게 된다.Anthropic의 안전 우선 전략 강화Anthropic은 AI 안전을 핵심 차별화 요소로 내세워왔다. 정렬팀 리더 샘 보우먼(Sam Bowman)은 "AI 시스템이 어떻게 행동해야 하는지 파악하는 문제를 Anthropic이 얼마나 심각하게 받아들이는지 자랑스럽다"고 밝혔다. 발로네와 같은 핵심 인재 영입은 이러한 전략의 일환이다.업계 전반의 안전 표준 경쟁AI 챗봇의 정신건강 관련 위험이 사회적·법적 이슈로 부상하면서, 주요 AI 기업들은 안전 가드레일 강화에 나서고 있다. 특히 장시간 대화에서 안전장치가 무너지는 문제가 지적되고 있어, 이에 대한 연구 역량 확보가 경쟁력의 핵심으로 떠오르고 있다.Key Data & Facts항목내용이직자Andrea Vallone (OpenAI 모델 정책 연구팀장)새 소속Anthropic 정렬(Alignment) 팀OpenAI 재직 기간3년주요 업적GPT-4, GPT-5 배포 안전 연구, 규칙 기반 보상 기법 개발직속 상관Jan Leike (전 OpenAI 안전 연구 책임자)Key Quote"지난 1년간 나는 거의 전례가 없는 질문에 대한 OpenAI 연구를 이끌었다: 정서적 과의존 징후나 정신건강 문제의 초기 조짐에 직면했을 때 모델이 어떻게 반응해야 하는가?"— Andrea Vallone
216 조회
0 추천
01.16 등록
Executive Summary• 피트 헤그세스 미 국방장관, SpaceX 본사에서 Grok AI의 국방부 네트워크 도입 공식 발표• 딥페이크 이미지 생성 논란으로 말레이시아·인도네시아 차단, 영국 공식 조사 착수 직후의 결정• 바이든 행정부의 AI 안전장치 정책과 대조되는 "이념적 제약 없는 AI" 운영 방침 천명• 구글 제미나이와 함께 기밀·비기밀 네트워크 전반에 최첨단 AI 모델 배치 예정Background일론 머스크의 xAI가 개발한 AI 챗봇 Grok은 소셜 미디어 플랫폼 X에 탑재되어 운영 중이다. 최근 Grok은 동의 없이 실제 인물의 성적 딥페이크 이미지를 생성하고, 미성년자의 성적 이미지까지 만들어낸다는 보고가 전 세계적으로 확산되며 큰 논란을 일으켰다. 말레이시아와 인도네시아는 Grok 접근을 차단했고, 영국 온라인안전감독기관 Ofcom은 온라인안전법에 따른 공식 조사에 착수했다.Impact & Implications정책 및 규제 영향트럼프 행정부의 이번 결정은 바이든 행정부가 수립한 AI 안전장치 정책과 극명한 대조를 이룬다. 바이든 행정부는 AI가 민권 침해나 자율 무기 시스템에 활용되지 않도록 제한을 두었으나, 헤그세스 장관은 "합법적인 군사 작전을 제한하는 이념적 제약 없이" AI를 운영하겠다고 밝혔다. 이는 미 국방부의 AI 거버넌스 방향이 근본적으로 전환되고 있음을 시사한다.국제 관계 및 동맹 영향미국의 주요 동맹국들이 Grok에 대한 규제 조치를 취하는 가운데 국방부가 이를 도입하기로 한 결정은 외교적 긴장을 야기할 수 있다. 영국이 조사에 착수하고 아시아 국가들이 차단 조치를 시행한 상황에서, 미군의 Grok 활용은 정보 공유 및 합동 작전에 복잡한 함의를 가져올 수 있다.AI 업계 경쟁 구도헤그세스 장관이 Grok을 구글의 생성형 AI와 함께 국방부 네트워크에 배치한다고 발표한 것은 xAI에 상당한 신뢰성과 시장 지위를 부여하는 것이다. "AI는 받는 데이터만큼만 좋다. 우리는 그것을 반드시 제공할 것"이라는 발언은 군사 데이터가 이러한 AI 시스템 학습에 직접 투입될 것임을 암시한다.Key Data & Facts항목수치/내용발표일2026년 1월 13일발표 장소텍사스주 SpaceX 본사도입 AI 시스템xAI Grok + Google Gemini적용 범위기밀 및 비기밀 네트워크 전체차단 국가말레이시아, 인도네시아조사 착수영국 OfcomKey Quote"AI는 합법적인 군사 작전을 제한하는 이념적 제약 없이 운영될 것이다. 우리 국방부의 AI는 'woke'하지 않을 것이다."— 피트 헤그세스 미 국방장관
253 조회
0 추천
01.15 등록
구글 동영상 ai 서비스 veo3 가 업데이트 되었네요..https://blog.google/innovation-and-ai/technology/ai/veo-3-1-ingredients-to-video/아래 예는 일관성 부분해상도 개선과 숏폼 형태 (세로) 지원등도 소개되어 있습니다.
251 조회
0 추천
01.14 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입