Loading...

AI 뉴스

AI 코딩 도구가 위험한 보안 결함 생성

페이지 정보

작성자 xtalfi
작성일 2025.11.27 15:58
534 조회
0 추천
0 비추천

본문

Will-AI-Fix-Our-Code-Security-Problems.jpg

인공지능 코딩 어시스턴트가 개발자들 사이에서 인기를 얻고 있는 가운데, 새로운 연구 결과가 우려스러운 보안 환경을 드러냈습니다. 애플리케이션 보안 기업 Endor Labs의 조사에 따르면, AI 코딩 에이전트가 권장하는 종속성 중 단 5분의 1만이 안전하게 사용할 수 있는 것으로 나타났습니다.​

이번 달 발표된 회사의 2025 종속성 관리 현황 보고서에서는 AI 모델에 따라 코딩 에이전트가 가져온 종속성의 44-49%가 알려진 보안 취약점을 포함하고 있다는 것을 발견했습니다. 나머지 안전하지 않은 종속성은 "환각된" 패키지로 구성되어 있었는데, 이는 그럴듯하게 들리지만 실제로는 존재하지 않는 소프트웨어 구성 요소로서, "슬롭스쿼팅(slopsquatting)"이라고 불리는 새로운 공급망 공격의 여지를 만들어냅니다.​

보안 우려는 결함이 있는 종속성을 넘어 확장됩니다. IEEE의 기술과 사회에 관한 국제 심포지엄에 발표된 연구에서는 AI가 생성한 코드가 연구자들이 "피드백 루프 보안 저하"라고 부르는 현상을 경험한다는 것을 밝혔습니다. 40라운드 반복에 걸친 400개의 코드 샘플을 분석한 결과, 이 연구는 AI 주도 코드 개선의 단 5번의 반복 후 중대한 취약점이 37.6% 증가했다는 것을 문서화했습니다. 후기 반복은 초기 반복보다 일관되게 더 많은 취약점을 생성했으며, 이는 반복적인 개선이 코드 품질을 향상시킨다는 가정에 의문을 제기합니다.​


전통적인 버그를 넘어선 설계 결함

아키텍처와 의도를 고려하는 인간 개발자와 달리, AI 모델은 다음 토큰을 예측하여 암호화 라이브러리를 교체하거나, 토큰 수명을 변경하거나, 인증 로직을 수정함으로써 보안을 약화시키는 미묘한 설계 결함을 도입합니다. 학술 연구에 따르면 AI가 생성한 코드의 약 3분의 1이 알려진 취약점을 포함하고 있으며, Veracode의 100개 이상의 대규모 언어 모델에 대한 종합 분석에서는 AI가 생성한 코드의 45%가 보안 결함을 도입하는 것으로 나타났습니다.​

이 문제는 프로그래밍 언어 전반에 걸쳐 나타나지만, 심각도는 다양합니다. Java는 72%의 보안 실패율로 가장 높은 위험을 보이는 반면, Python은 62%의 보안 통과율을, JavaScript는 57%, C#은 55%를 나타냅니다. 크로스 사이트 스크립팅과 로그 인젝션은 특히 문제가 되는데, AI 모델이 각각 86%와 88%의 비율로 안전하지 않은 코드를 생성합니다.​

최근 사건들은 이러한 위험을 강조합니다. OX Security 테스트에서 Lovable, Base44, Bolt를 포함한 AI 앱 빌더가 사용자가 명시적으로 보안 애플리케이션을 요청했을 때조차 기본적으로 저장된 크로스 사이트 스크립팅 취약점이 있는 코드를 생성하는 것으로 밝혀졌습니다. 한편, 연구자들은 GitHub Copilot과 GitLab Duo에서 소스 코드 도용, 프롬프트 인젝션 공격, 자격 증명 탈취를 가능하게 하는 심각한 취약점을 발견했습니다.​


새로운 공격 표면

AI 에이전트를 타사 도구 및 통합과 연결하는 Model Context Protocol은 또 다른 취약점 벡터로 부상했습니다. 이번 주 정리된 보안 타임라인은 샌드박스 탈출, 악성 서버 패키지, 수천 개의 애플리케이션을 노출시킨 과도한 권한의 API 토큰을 포함하여 2025년 내내 발생한 여러 MCP 관련 침해 사례를 문서화하고 있습니다. Endor Labs 연구원들은 MCP 서버의 75%가 개인 개발자에 의해 구축되었으며, 41%는 라이선스 정보가 부족하고, 82%는 신중한 보안 통제가 필요한 민감한 API를 사용하고 있다는 것을 발견했습니다.​

"AI 코딩 에이전트는 현대 개발 워크플로우의 필수적인 부분이 되었습니다"라고 Endor Labs의 보안 연구원 Henrik Plate는 말했습니다. "충분한 검증 없이는 악용을 위한 새로운 경로를 열 수 있습니다."​

AI 코딩 도구의 확산은 둔화될 기미를 보이지 않습니다. Stack Overflow의 2025년 개발자 설문조사에 따르면, 개발자의 84%가 개발 프로세스에서 AI 도구를 사용 중이거나 사용할 계획이며, 전문 개발자의 51%가 매일 이를 사용하고 있습니다. 그러나 개발자 신뢰는 도입에 뒤처지고 있습니다: 46%가 AI 도구 출력의 정확성을 적극적으로 불신하고 있으며, 이는 전년도 31%에서 증가한 수치이고, 66%는 "거의 맞지만 완전히 맞지는 않은 AI 솔루션"에 대한 불만을 언급했습니다.

댓글 0
전체 1,366 / 72 페이지
CJ대한통운이 피지컬 인공지능(AI) 기업 리얼월드와 손잡고 물류센터에 적용할 AI 휴머노이드 로봇의 핵심 기술 개발에 나선다. 이번 협력으로 국내 물류업계의 AI 로봇 상용화가 본격화될 전망이다.CJ대한통운은 지난 20일 서울 종로구 본사에서 리얼월드와 ‘물류용 로봇 파운데이션 모델(RFM) 공동개발을 위한 업무협약’을 체결하고, 전략적 시너지 강화를 위해 시드2 라운드 지분 투자에도 참여한다고 23일 밝혔다. 협약식에는 김정희 CJ대한통운 TES물류기술연구소장과 이종훈 경영지원실장, 류중희 리얼월드 대표 등 양사 주요 경영진이 참석했다.로봇 ‘두뇌’ 개발로 자율 작업 구현양사는 로봇이 스스로 움직이도록 ‘뇌’ 역할을 하는 RFM 솔루션을 공동 개발하고 현장 실증 및 상용화를 함께 추진한다. 로봇 파운데이션 모델은 로봇이 시각, 음성, 언어, 센서 데이터를 통합적으로 이해하고 스스로 판단해 행동할 수 있도록 설계된 로봇 전용 AI 모델이다.CJ대한통운은 물류센터 내 로봇 자동화가 가능한 공정을 발굴하고, 피킹·분류·포장 등 작업 데이터를 기반으로 RFM이 학습하고 고도화될 수 있도록 지원한다. 리얼월드는 이러한 데이터를 토대로 고정밀 로봇핸드 제어 기술을 중심으로 물류용 RFM을 개발한다. 로봇핸드는 휴머노이드 로봇이 인간의 손처럼 정교하게 상품을 다루기 위한 핵심 기술이다.AI 휴머노이드 생태계 완성 단계CJ대한통운은 올해 4월 레인보우로보틱스, 9월 로보티즈, 10월 에이딘로보틱스 등과 잇달아 협약을 체결하며 AI 휴머노이드 협업 생태계를 확장해 왔다. 이번 리얼월드와의 협력으로 하드웨어를 넘어 로봇의 두뇌 역할을 하는 AI 소프트웨어 기술 확보 기반까지 마련하게 됐다.벤처캐피털 퓨처플레이 출신 류중희 대표가 설립한 리얼월드는 RFM 분야의 선도 기업으로, 한국·일본·미국 등의 제조 환경에서 수집한 정밀 4D+ 멀티모달 데이터를 기반으로 특정 하드웨어에 의존하지 않는 RFM을 개발해 왔다. 최근 아마존 웹 서비스(AWS)가 전 세계 유망 생성형 AI 스타트업을 육성하는 ‘AWS 글로벌 생성형 AI 스타트업 3기’에 선정되며 기술력을 인정받았다.이종훈 CJ대한통운 경영지원실장은 “미래 물류의 경쟁력은 단순한 설비가 아니라, 얼마나 고도화된 AI 브레인을 보유하느냐에 달려 있다”며 “선도적 기술 확보와 전략적 투자를 통해 물류 AI 생태계의 주도권을 선점하고 물류센터의 AI 기반 자율운영체제 전환을 가속화하겠다”고 밝혔다.
650 조회
0 추천
2025.11.23 등록
Matthew Harris는 AI 개발이 순수한 스케일링에서 벗어나 토큰당 비용을 우선시하는 효율성 중심 아키텍처로 전환되고 있으며, 하이브리드 어텐션 메커니즘이 전통적인 단일 어텐션 접근 방식을 대체하고 있다고 주장합니다.Qwen3 Next와 Kimi Linear 같은 모델은 Gated DeltaNet을 전체 어텐션 블록과 3:1 비율로 사용하여 메모리 및 KV-캐시 사용량을 최대 75%까지 줄이면서 수십만 토큰의 컨텍스트 윈도우를 가능하게 합니다.이러한 아키텍처 변화는 AI 토큰 비용이 1년 만에 백만 토큰당 $10에서 $2.50로 75% 하락한 것을 보여주는 광범위한 업계 트렌드와 일치하며, 이는 모델 효율성을 최적화하려는 경쟁 압력에 의해 주도되었습니다.
661 조회
0 추천
2025.11.23 등록
콘텐츠 크리에이터 Matthew Berman은 절차적으로 생성된 복셀 아트 로봇부터 레이 트레이싱 시뮬레이터, 중력 기반 태양계, 골프 스윙 분석기까지—대화형 프롬프트를 사용하여 12개 이상의 인터랙티브 애플리케이션을 구축함으로써 Gemini 3의 코딩 역량을 시연했다.실험 결과 이 모델은 비교적 적은 프롬프트로 기능적이고 물리적으로 정확한 애플리케이션을 생성할 수 있으며, 협상이 가능한 AI 상대가 있는 모노폴리 보드 게임 생성기와 경제 데이터를 분석하여 AI 버블 위험을 평가하는 버블 시뮬레이션을 포함한다.Gemini 3는 2025년 11월 17일에 출시되었으며, Google이 설명하는 최첨단 멀티모달 추론과 프레임별 비디오 분석 기능을 갖추고 있다—Berman은 골프 스윙 분석기에서 이 기능을 활용하여 개별 비디오 프레임에 걸쳐 성능을 수집하고 평가했다.
633 조회
0 추천
2025.11.23 등록
Figure AI는 390억 달러 가치의 휴머노이드 로봇 스타트업으로, 회사의 로봇이 인간의 두개골을 골절시킬 수 있고 작업자에게 심각한 부상 위험을 초래한다고 경영진에게 경고한 후 해고되었다고 주장하는 전 제품 안전 책임자로부터 연방 소송에 직면해 있습니다.아마존과 그 로봇 부서에서 6년 이상의 경력을 가진 로봇 안전 엔지니어인 Robert Gruendel은 금요일 캘리포니아 북부 지방 연방 지방법원에 소송을 제기했습니다. 고소장은 그가 회사의 휴머노이드 로봇에 대한 “가장 직접적이고 문서화된 안전 불만”을 제기한 지 며칠 후인 9월에 해고되었다고 주장합니다.소송에 따르면, Gruendel은 7월에 충격 테스트를 실시했으며, 로봇이 “초인적인 속도”로 움직이고 “통증 역치의 20배”에 달하는 힘을 발생시킨다는 사실을 발견했습니다. 이는 성인 인간의 두개골을 골절시키는 데 필요한 힘의 두 배 이상입니다. 소송은 또한 오작동하는 로봇이 직원이 근처에 서 있는 동안 “강철 냉장고 문에 ¼인치 깊이의 상처를 새긴” 사건을 설명합니다.안전 계획 하향 조정 의혹소송은 Gruendel이 두 주요 투자자로부터 투자를 확보하는 데 도움이 된 포괄적인 안전 로드맵을 개발했지만, 자금 조달 라운드가 종료된 후 회사 경영진에 의해 이 계획이 “무용지물이 되었다”고 주장합니다. Gruendel은 이것이 “사기로 해석될 수 있다”고 경영진에게 경고한 것으로 알려졌습니다.고소장은 또한 Gruendel이 CEO Brett Adcock과 수석 엔지니어 Kyle Edelberg에게 보낸 메시지에서 로봇의 능력에 대한 우려를 제기했을 때, 그의 경고가 무시되었다고 주장합니다. 소송에 따르면, Gruendel의 안전 지침은 “의무가 아닌 장애물”로 취급되었으며, 그는 해고되기 전에 회사가 “모호한 ‘사업 방향 전환’“을 겪고 있다는 말을 들었습니다.회사, 주장 부인Figure AI는 혐의를 부인하며 CNBC에 Gruendel이 “낮은 업무 성과로 해고되었다”고 밝혔고, 그의 주장은 “Figure가 법정에서 철저히 반박할 허위 사실”이라고 말했다. 회사 대변인은 추가 논평 요청에 즉각 응답하지 않았다.이 소송은 Figure가 9월에 Parkway Venture Capital이 주도하고 Nvidia, Microsoft, Intel Capital 및 기타 주요 투자자들이 참여한 10억 달러 규모의 시리즈 C 펀딩 라운드를 완료한 지 두 달 후에 제기되었다. 이번 라운드는 산호세 소재 회사의 기업 가치를 390억 달러로 평가했으며, 이는 Jeff Bezos, Nvidia, Microsoft로부터 투자를 받았던 2024년 초 기업 가치 대비 15배 증가한 것이다.Gruendel의 변호사는 CNBC에 캘리포니아 법이 안전하지 않은 관행을 보고하는 직원을 보호한다고 말하며, 이것이 휴머노이드 로봇 안전과 관련된 최초의 내부고발 소송 중 하나가 될 수 있다고 언급했다. Gruendel은 배심원 재판과 함께 경제적, 보상적, 징벌적 손해배상을 요구하고 있다.
657 조회
0 추천
2025.11.23 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입