AI 모델, 스스로 질문하며 학습하는 새로운 방식 등장

• 칭화대·BIGAI 연구진, 스스로 문제를 만들고 푸는 AI 시스템 'Absolute Zero Reasoner' 개발

• 인간 데이터 없이도 학습 가능한 '셀프플레이' 방식으로 추론 능력 크게 향상

• Salesforce·Meta 등 주요 AI 기업들도 유사한 접근법 연구 착수

• 연구진 "초지능(superintelligence) 달성의 첫걸음 될 수 있어"

가장 똑똑한 AI 모델조차도 본질적으로는 모방자에 불과하다. 이들은 인간이 만든 예시를 학습하거나 인간 강사가 설정한 문제를 풀면서 배운다.

하지만 AI도 보다 인간적인 방식으로 학습할 수 있다. 스스로 흥미로운 질문을 찾아내고 정답을 찾아가는 방식이다. 칭화대학교, 베이징일반인공지능연구소(BIGAI), 펜실베이니아주립대 공동 연구 프로젝트가 AI가 컴퓨터 코드를 다루며 이런 방식으로 추론을 학습할 수 있음을 보여줬다.

연구진이 개발한 'Absolute Zero Reasoner(AZR)' 시스템은 먼저 대형언어모델(LLM)을 사용해 도전적이지만 풀 수 있는 파이썬 코딩 문제를 생성한다. 그런 다음 같은 모델이 해당 문제를 풀고, 코드를 실행해 결과를 검증한다. 마지막으로 AZR 시스템은 성공과 실패를 신호로 삼아 원래 모델을 개선하며, 더 나은 문제를 제시하고 해결하는 능력을 함께 향상시킨다.

연구팀은 이 접근법이 오픈소스 언어모델 Qwen의 70억 및 140억 파라미터 버전의 코딩과 추론 능력을 크게 향상시켰음을 발견했다. 인상적인 점은, 일부 경우 인간이 선별한 데이터를 받은 모델보다 더 나은 성능을 보였다는 것이다.

이 아이디어의 원안을 제시한 칭화대학교 박사과정 연구원 Andrew Zhao와 함께 프로젝트를 진행한 BIGAI 연구원 Zilong Zheng은 화상 인터뷰에서 이 접근법이 암기나 모방을 넘어서는 인간의 학습 방식과 유사하다고 설명했다.

Zhao는 "처음에는 부모님을 따라하고 선생님처럼 행동하지만, 결국에는 스스로 질문을 던져야 합니다. 그래야 학교에서 가르쳐준 사람들을 넘어설 수 있습니다"라고 말했다.

Zhao와 Zheng은 '셀프플레이'라고도 불리는 이런 방식의 AI 학습 아이디어가 수년 전부터 있었으며, 저명한 AI 선구자 Jürgen Schmidhuber와 프랑스 Inria의 컴퓨터 과학자 Pierre-Yves Oudeyer 등이 이전에 탐구했다고 언급했다.

Zheng에 따르면 이 프로젝트의 가장 흥미로운 요소 중 하나는 모델의 문제 제시 능력과 문제 해결 능력이 함께 성장한다는 점이다. "모델이 더 강력해질수록 난이도도 높아집니다"라고 그는 말했다.

핵심 과제는 현재 이 시스템이 수학이나 코딩처럼 쉽게 검증할 수 있는 문제에서만 작동한다는 점이다. 프로젝트가 진행됨에 따라 웹 브라우징이나 사무 작업 같은 에이전트형 AI 업무에도 적용할 수 있게 될 것이다. 여기에는 AI 모델이 에이전트의 행동이 올바른지 판단하도록 하는 방식이 포함될 수 있다.

Absolute Zero 같은 접근법의 매력적인 가능성 중 하나는 이론적으로 모델이 인간의 가르침을 넘어설 수 있다는 점이다. Zheng은 "일단 그것을 달성하면 초지능에 도달하는 방법이 됩니다"라고 말했다.

Absolute Zero 접근법이 일부 대형 AI 연구소에서 주목받고 있다는 초기 징후가 나타나고 있다. Salesforce, 스탠포드, 노스캐롤라이나대학교 채플힐 캠퍼스의 'Agent0' 프로젝트는 셀프플레이를 통해 스스로를 개선하는 소프트웨어 도구 사용 에이전트를 포함한다. Absolute Zero처럼 이 모델도 실험적 문제 해결을 통해 일반적인 추론 능력을 향상시킨다.

Meta, 일리노이대학교, 카네기멜론대학교 연구자들이 작성한 최근 논문은 소프트웨어 엔지니어링에 유사한 종류의 셀프플레이를 사용하는 시스템을 제시한다. 이 연구의 저자들은 이것이 "초지능 소프트웨어 에이전트를 위한 훈련 패러다임의 첫걸음"이라고 제안했다.

AI 학습의 새로운 방법을 찾는 것은 올해 기술 업계의 주요 테마가 될 전망이다. 기존 데이터 소스가 희소해지고 비용이 증가하며, 연구소들이 모델을 더 유능하게 만들 새로운 방법을 모색하는 가운데, Absolute Zero 같은 프로젝트가 모방자에서 인간에 더 가까운 AI 시스템으로 이어질 수 있다.