AI 기업들, 에이전트 훈련 위해 RL환경에 막대한 투자

(퍼플렉시티가 정리한 기사)

주요 AI 기업들은 보다 능력 있는 AI 에이전트를 만들기 위해 강화학습 환경에 전례 없는 투자를 쏟아붓고 있으며, Anthropic은 내년에 이러한 정교한 훈련 플랫폼에 10억 달러 이상을 지출할 계획이라고 전해졌다. 이 대규모 자금 지원은 실리콘밸리에서 기존 AI 훈련 방식이 한계에 도달했으며, 진정으로 자율적인 AI 시스템을 개발하려면 새로운 접근이 필요하다는 인식이 커지고 있음을 보여준다.

강화학습 환경은 AI 에이전트가 단순히 텍스트를 처리하는 것보다 실제로 행동하면서 학습할 수 있는 시뮬레이션 작업 공간 역할을 한다. 2025년 9월에 보고된 바에 따르면, 이러한 가상 훈련장은 AI 에이전트가 소프트웨어 애플리케이션을 탐색하거나 Salesforce를 통해 고객 관계를 관리하거나, 의료 시스템에서 의료 기록을 처리하는 등 복잡한 과업을 연습할 수 있게 해준다. 이전 세대 AI를 구동했던 고정된 데이터셋과 달리, 이러한 동적 환경은 실시간 피드백을 제공하고 예측할 수 없는 에이전트의 행동에 맞춰 적응한다.

스타트업들이 수요에 부응하기 위해 서두르고 있다

수요의 급증으로 인해 잘 자금이 지원된 신생 스타트업들이 RL(강화 학습) 환경 제공의 패권을 차지하기 위해 경쟁하는 새로운 카테고리가 탄생했습니다. 모든 직업의 자동화를 대담하게 목표로 지난해 6개월 전에 설립된 메카나이즈 워크(Mechanize Work)는 AI 코딩 에이전트를 위한 고도화된 훈련 환경을 구축하기 위해 소프트웨어 엔지니어에게 연봉 50만 달러를 제안하고 있습니다. 소식통에 따르면 이 스타트업은 이미 Anthropic과 RL 프로젝트를 진행 중이라고 합니다.

저명한 AI 연구원 안드레이 카파시(Andrej Karpathy)와 파운더스 펀드(Founders Fund)가 지원하는 프라임 인텔렉트(Prime Intellect)는 “RL 환경을 위한 허깅페이스(Hugging Face)“를 자처하며, 2025년 8월에 출시된 오픈소스 플랫폼으로 소규모 개발자들을 겨냥하고 있습니다. 이 회사는 2025년 3월에 1,500만 달러의 자금을 조달하며 이러한 강력한 훈련 도구에 대한 접근을 민주화하는 것을 목표로 하고 있습니다.

기존 데이터 라벨링 업체들도 이 기회를 포착하기 위해 전략을 수정하고 있습니다. 지난해 12억 달러의 매출을 올린 것으로 알려진 서지 AI(Surge AI)는 AI 연구소의 수요 증가에 대응해 RL 환경 구축을 위한 전담 내부 조직을 만들었습니다. 연간화 매출 4억 5천만 달러와 100억 달러 가치로 투자를 유치 중인 머커(Mercor)는 코딩, 헬스케어, 법률 등 분야별 환경을 개발하고 있습니다.

시장 경쟁이 심화된다

경쟁 구도는 기업들이 이 신흥 분야에서 우위를 차지하기 위해 치열한 경쟁을 벌이면서 점점 더 치열해지고 있습니다. 한때 AI 데이터 라벨링 분야의 독보적인 선도 업체였던 Scale AI는 Meta가 회사에 막대한 투자를 하고 CEO를 영입한 뒤, OpenAI와 Google가 Scale을 고객에서 제외하면서 상당한 도전에 직면했습니다. 이로 인해 Surge와 Mercor와 같은 경쟁 업체들이 시장 점유율을 확대할 기회를 얻게 되었습니다.

업계 관계자들에 따르면, RL 환경에 대한 투자는 AI 시스템의 학습 방식에 근본적인 변화를 가져오고 있습니다. Surge의 CEO인 에드윈 첸(Edwin Chen)은 “OpenAI와 Anthropic이 자신들의 모델을 개선하는 방식은 실제로 인간의 학습 과정을 모방하고 있으며, 강화 학습 환경은 AI가 실제 세계에서 살아가는 것과 같다”고 설명했습니다.

도전과 회의론

막대한 투자에도 불구하고, 상당한 기술 및 사업적 과제들이 여전히 남아 있습니다. 비평가들은 AI 모델이 실제로 의도한 작업을 수행하지 않고 보상을 얻기 위한 허점을 찾아내는 “보상 해킹”과 같은 문제를 지적합니다. 환경 자체에는 긍정적 입장을 보이면서도, Andrej Karpathy는 강화 학습에 대해서는 신중한 태도를 보이며 “강화 학습에만 한정해선 부정적 시각을 갖고 있다”고 언급했습니다.

업계의 공감대는 RL 환경이 차세대 AI 에이전트 개발에 핵심적이며, OpenAI의 o1 모델 및 Anthropic의 Claude 시스템 등 최근의 혁신을 가능하게 했다고 봅니다. 하지만 이러한 환경에서 지능을 추출하는 최적의 방법과 확장성에 관한 의문이 연구자와 투자자들 사이에서 끊임없이 논쟁을 불러일으키고 있습니다.