구글 딥마인드, 가상 세계를 위한 제미나이 기반 AI 에이전트 공개

(퍼플렉시티가 정리한 기사)

Google DeepMind는 목요일에 SIMA 2를 발표했습니다. 이는 회사의 Gemini 언어 모델을 통합하여 3D 가상 환경을 탐색하고 상호작용하는 차세대 AI 에이전트로, 연구원들이 인공 일반 지능과 실제 로보틱스 응용 분야를 향한 진전이라고 설명하는 것을 나타냅니다.

DeepMind에 따르면, 이 새로운 에이전트는 전작 대비 성능이 크게 향상되어 복잡한 작업의 성공률을 두 배로 높였습니다. 원래 SIMA가 어려운 과제에서 인간 플레이어의 71%에 비해 31%의 완료율만 달성한 반면, SIMA 2는 Gemini 2.5 Flash-lite 통합을 통해 향상된 기능을 보여줍니다.

향상된 추론 및 자기 개선

SIMA 2는 단순한 지시 따르기를 넘어 맥락을 이해하고, 목표에 대해 추론하며, 사용자와 대화할 수 있다고 DeepMind의 선임 연구 과학자 Joe Marino가 기자 브리핑에서 설명했다. 이 에이전트는 이모지를 포함한 멀티모달 프롬프트를 해석할 수 있으며—“????????”와 같은 명령에 나무를 베어 넘어뜨리는 것으로 반응한다—작업을 해결할 때 내부 추론 과정을 보여준다.

이 에이전트는 No Man’s Sky, Valheim, Goat Simulator 3 등 다양한 상용 비디오 게임에서 훈련되었으며, 화면 픽셀과 가상 키보드 및 마우스 컨트롤만을 사용하여 600개 이상의 동작을 실행하는 방법을 학습했다. DeepMind는 또한 자사의 월드 모델인 Genie 3가 생성한 사실적인 세계에서 SIMA 2를 테스트했으며, 에이전트는 완전히 새로운 환경에서 성공적으로 탐색하고 작업을 완료했다.

아마도 가장 주목할 만한 점은 SIMA 2의 자기 개선 능력이다. 전적으로 인간 게임플레이 데이터에 의존했던 SIMA 1과 달리, 새로운 시스템은 Gemini 모델을 사용하여 작업을 생성하고 자체 성능을 평가하며, 인간의 개입보다는 AI 기반 피드백을 통한 시행착오로 학습한다.

물리적 로봇공학으로 가는 길

DeepMind는 SIMA 2를 범용 로봇을 위한 기초적인 기술로 제시하고 있습니다. “로봇과 같이 실제 세계에서 작업을 수행하기 위해 시스템이 해야 할 일을 생각해보면 두 가지 구성 요소가 있습니다”라고 DeepMind의 수석 연구 엔지니어인 Frederic Besse는 말했습니다. “첫째, 실제 세계에 대한 높은 수준의 이해와 수행해야 할 작업, 그리고 약간의 추론이 필요합니다”.

그러나 전문가들은 신중한 입장을 표명하고 있습니다. 뉴욕 대학교의 AI 연구원인 Julian Togelius는 결과가 흥미롭다고 평가하면서도, 시각적 관찰만으로 여러 게임에 걸쳐 모델을 훈련시키는 것은 여전히 어려운 과제라고 지적합니다. 앨버타 대학교의 Matthew Guzdial은 로봇공학에 얼마나 많은 지식이 전이될 수 있을지 의문을 제기하며, 실제 세계의 카메라 영상을 이해하는 것이 인간 플레이어를 위해 설계된 게임 그래픽을 해석하는 것보다 훨씬 더 복잡하다고 언급했습니다.

DeepMind는 SIMA 2를 소수의 학계 및 게임 개발자 그룹에게 제한된 연구 프리뷰로 공개하고 있습니다.