[AI타임즈] 강화 학습 결과 예측 가능케 하는 LLM 법칙 공개

제공해주신 기사(Https://www.aitimes.com/news/articleView.html?idxno=203295)의의) 주요 내용을 정리했습니다.

기사 제목: 강화 학습 결과 예측 가능케 하는 LLM 법칙 공개

주요 내용:

* 배경 및 목적: 대형언어모델(LLM)의 핵심 기술인 강화 학습(RL)의 성능을 수학적으로 예측할 수 있는 확장 법칙이 처음으로 제시되었습니다. 기존 사전학습(pre-training)과 달리 RL 학습은 목표 지표에 상한이 있어 예측 모델이 없었습니다.

* 연구팀 및 논문: 메타, 텍사스대학교 오스틴, UCL, 버클리대학교, 하버드대학교, 스타트업 피어리오딕 랩스 연구진이 'LLM을 위한 강화 학습 연산 확장의 기술(The Art of Scaling Reinforcement Learning Compute for LLMs)'이라는 논문을 발표했습니다.

* 핵심 발견 (시그모이드 곡선): 연구팀은 대규모 실험(40만 GPU시간 이상 투입)을 통해 RL 학습이 '시그모이드(Sigmoid) 곡선'을 따른다는 것을 밝혀냈습니다.
  * 학습 초반(약 1000~2000 GPU시간)에는 성능이 빠르게 향상되지만, 이후에는 향상 속도가 점차 느려지는 형태입니다.
  * 이 시점 이후의 데이터를 이용하면 전체 학습 효율과 최고 성능을 예측할 수 있습니다.

* ScaleRL 제안: 연구 결과를 바탕으로 학습 효율을 높이고 안정적으로 규모를 확장할 수 있도록 설계된 새로운 RL 방식인 '스케일RL(ScaleRL)'을 제안했습니다.
  * ScaleRL은 오프-폴리시(off-policy) RL 방식을 기반으로, 손실 집계 방식, 보상 정규화, 정밀도 보정, 데이터 커리큘럼, 배치 정의, 손실 유형 등 여섯 가지 알고리즘 요소를 분석하여 구성했습니다.

* 실험 결과: ScaleRL을 적용한 실험 결과, 예측된 시그모이드 곡선이 실제 성능 향상과 거의 완벽하게 일치하는 것을 확인했습니다. 기존 RL 방식보다 더 높은 최대 성능과 우수한 연산 효율을 보였습니다.

* 학습 설계 요소 구분: 학습 설계 요소를 다음과 같이 두 가지로 구분했습니다.
  * Ceiling Movers (최종 성능 상한을 높이는 요인): 모델 크기나 출력 길이 등.
  * Efficiency Shapers (학습 효율을 조절하는 요인): 손실 계산 방식, 정규화, 데이터 커리큘럼 등.

* 의의: 이 연구를 통해 이제 약 1000~2000 GPU시간만으로도 이후 수만 시간의 학습 결과를 예측할 수 있게 되어, 무작정 컴퓨팅을 투입하던 기존 방식에서 벗어나 데이터에 근거한 합리적인 RL 학습 설계가 가능해졌습니다.