METR 연구결과 "AI 쓰면 개발이 더 느리다"

METR은 AI 도구를 사용하는 경우 개발이 더 느려질 수 있다는 연구결과를 발표했다.

(연구결과 한글 요약 : 퍼플렉시티 사용)

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

이 연구는 2025년 초 AI 도구가 숙련된 오픈소스 개발자의 생산성에 미치는 영향을 실험적으로 조사한 randomized controlled trial(RCT) 결과이며. 주요 내용은 다음과 같습니다:

연구 대상 및 방법:
16명의 경험 많은 오픈소스 개발자가 본인이 여러 해 기여해온 대형 저장소(평균 22,000+ 스타, 100만 줄 이상 코드)에서 해결이 필요한 실제 이슈 246개를 무작위로 AI 도구 사용 허용 그룹과 비허용 그룹에 배정받아 처리했습니다. AI 도구는 주로 Cursor Pro와 Claude 3.5/3.7 Sonnet 모델을 사용했으며, 업무 시간과 화면 녹화를 기록하고 개발자가 스스로 소요 시간을 보고하였습니다.

핵심 결과:
AI 도구를 쓸 때 개발자들은 평균 19% 더 오래 걸려 작업 속도가 느려지는 결과가 나왔습니다. 이는 개발자들의 사전 예상(24% 속도 향상 기대)과 현저히 다르며, 심지어 체험 후에도 AI가 20% 빠르게 해줬다고 오판함을 보여줍니다.

분석 및 해석:
다양한 잠재 요인 20개를 조사하여 5개의 주요 원인이 존재할 가능성이 제기되었고, 품질 저하 없이 결과의 신뢰성을 보장하기 위해 여러 통계 검증과 반복 분석을 했습니다. AI가 실제 작업을 느리게 만든다는 이번 결과는 여러 코딩 벤치마크나 개발자들의 체감 AI 도움 효과와 모순되지만, 그 이유로는 평가 기준, 사용 조건, 작업 유형 차이, AI 도구의 학습 곡선, 높은 품질 기준 등 여러 변수가 제시됩니다.

의의 및 향후 방향:
이 연구는 AI가 현실적인 개발 환경에서 즉각적으로 생산성을 향상시키지 못했다는 점을 보여주는 ‘스냅샷’이며, 향후 AI 기능 발전에 따른 추이 분석을 계획 중입니다. 또한 AI 가속화가 AI 연구개발에 끼치는 영향과 관련해 매우 중요한 증거를 보완해 주는 연구로 평가됩니다.

한계 및 주의점:
연구 결과가 모든 개발자나 모든 개발 환경에 일반화되는 것은 아니며, AI 도구의 활용법, 숙련도, 업무 유형에 따라 효과가 다를 수 있고, AI 기술 또한 빠르게 진화하고 있음을 명시합니다.

요약하자면, 2025년 초 기준으로 AI 도구가 숙련된 오픈소스 개발자들의 작업 속도를 오히려 약 19% 느리게 했으며, 이는 AI 기술의 현실적 영향에 대한 통찰과 AI 발전의 지속적인 모니터링 필요성을 강조하는 중요한 연구입니다

--

참고로 METR은 어떤 연구단체인가

METR(모델 평가 및 위협 연구, Model Evaluation & Threat Research)

METR는 첨단 AI 시스템의 평가와 위험성 연구를 수행하는 비영리 연구기관입니다. 주요 특징은 다음과 같습니다:

설립 배경과 목적

2022년 설립된 METR는 AI 시스템이 사회에 미칠 잠재적 위험성, 특히 자율성과 고도화된 AI 시스템이 가져올 수 있는 '파국적 위험'을 사전에 평가하는 데 목적을 두고 있습니다12.

인간의 개입 없이도 복잡한 임무를 수행할 수 있는 AI(에이전트) 시스템의 능력을 연구하고, 이 기술이 AI 연구개발(R&D) 자체를 가속할 가능성과 그로 인한 새로운 위험을 중심적으로 분석합니다34.

활동과 연구 방식

실제 AI 시스템이 얼마나 ‘현실적’으로 복잡하고 장기적인 작업을 자율적으로 완료할 수 있는지 다양한 평가 실험과 벤치마크, 현장 실험(RCT) 등을 통해 측정합니다34.

AI의 성능 뿐만 아니라, AI 사용 시 발생할 수 있는 리스크 요인, 사회적 영향, 정책적 대응 방안 등도 함께 연구합니다.

주요 프로젝트로는 AI가 사람 없이도 여러 시간에 걸쳐 과업을 수행할 수 있는지 평가하는 벤치마킹, AI 거버넌스 모델 실험, 시대별 AI 성능 성장량 측정 등이 있습니다4.

위치 및 조직

METR는 미국에 기반을 둔 비영리 단체이며, 연구 구성원들은 AI 연구 및 안전성 분야의 전문 인력들로 이루어져 있습니다1.

오픈AI 등 AI 연구단체 출신 인사들도 합류해 있으며, 신뢰성, 공공성, 투명성을 중시합니다2.

기타

순수 기부금으로 운영되고, 기업이나 특정 이해관계자로부터 독립적으로 연구를 수행합니다31.

사회와 AI 기업, 정책당국이 첨단 AI의 위험 및 역량을 객관적으로 이해하는 데 필요한 과학적 평가 기준을 만드는 것을 목표로 합니다45.

METR는 이번 연구처럼, 실제 전문가 개발자들이 사용하는 AI 시스템이 현실적으로 어떤 영향을 미치는지 실험적으로 평가하는 등, 미래에 있을 AI 발전이 갖는 의미와 위험에 대해 선제적으로 조망하는 기관