JFrog, 소프트웨어 개발에서 섀도우 AI 사용 탐지

(퍼플렉시티가 정리한 기사)

JFrog는 이번 주 swampUP Europe 컨퍼런스에서 새로운 인공지능 거버넌스 기능을 공개했으며, 조직이 소프트웨어 개발 환경에서 통제되지 않는 AI 사용을 식별하고 관리할 수 있도록 설계된 Shadow AI Detection 및 AI-Generated Code Validation 도구를 소개했습니다.

11월 12-13일 베를린에서 발표된 이번 발표는 개발자들이 조직의 감독 없이 OpenAI, Anthropic, Google [ -2.89%]과 같은 제공업체의 AI 모델 및 서비스를 점점 더 많이 통합함에 따라 빠르게 증가하는 보안 문제를 다루고 있습니다. IBM [IBM -3.21%]에 따르면, 지난해 조직의 20%가 섀도우 AI 사고로 인한 침해를 겪었으며, 높은 수준의 섀도우 AI는 평균 침해 비용에 최대 $670,000를 추가했습니다.

보이지 않는 AI 자산 탐지

JFrog의 Shadow AI Detection은 조직 전반에서 사용되는 내부 AI 모델과 외부 API 게이트웨이를 자동으로 발견하고 목록화하여, 이전에 관리되지 않았던 AI 리소스에 대한 가시성을 제공합니다. 탐지되면 보안 팀은 규정 준수 정책을 시행하고, 제3자 AI 서비스에 대한 감사 가능한 액세스 경로를 구축하며, 외부 모델 및 API의 사용을 모니터링할 수 있습니다.

또한 이 회사는 AI-Generated Code Validation을 도입했는데, 이는 의미론적 매칭 기술을 사용하여 숨겨진 취약점이나 문제가 있는 라이선스를 포함할 수 있는 AI 생성 또는 복사된 코드 스니펫을 탐지합니다. 이 도구는 개발자 워크플로우에 직접 통합되어, 코드가 프로덕션에 도달하기 전에 보안 또는 라이선싱 정책을 위반하는 풀 리퀘스트를 차단합니다.

“Shadow AI의 위험을 인식하고 완화하는 것은 혁신과 보안 유지 사이의 균형을 맞춰야 하는 CIO와 CISO에게 중요한 우선순위가 되고 있습니다”라고 JFrog ML의 부사장 겸 최고 기술 책임자인 Yuval Fernbach가 말했습니다.

규제 준수 압박

이 도구들은 조직들이 증가하는 규제 요구사항에 직면함에 따라 출시됩니다. EU AI 법의 범용 AI 모델에 대한 의무사항은 2025년 8월 2일부터 발효되었으며, 추가 요구사항은 2027년까지 단계적으로 시행됩니다. 2025년 9월 29일에 서명된 캘리포니아의 프론티어 AI 투명성 법은 프론티어 AI 개발자들에게 2026년 1월 1일부터 투명성 보고서를 발행하고 포괄적인 위험 프레임워크를 구현할 것을 요구합니다.

두 규제 모두 AI 활동에 대한 완전한 감사 추적, 소프트웨어 구성 요소에 대한 가시성, 그리고 엄격한 위험 관리 표준을 의무화하고 있습니다.

Shadow AI Detection은 JFrog AI Catalog의 일부로 제공되며, 2025년 후반에 정식 출시가 예정되어 있습니다. 이 플랫폼은 기업 소프트웨어 공급망 전반에 걸쳐 AI 모델, 데이터셋 및 관련 리소스를 관리하기 위한 중앙 집중식 허브 역할을 합니다. JFrog는 Fortune 100 기업의 과반수를 포함하여 전 세계 7,000개 이상의 고객을 보유하고 있습니다.