새로운 LLM 평가가 점점 더 어려워지는 이유

개발자 Simon Willison은 최상위 모델들이 현재 너무나 유사하게 작동하여 실제 작업에서는 기업들이 각 릴리스마다 개선을 주장함에도 불구하고 의미 있는 성능 차이를 드러내지 못하기 때문에, 최첨단 AI 모델 평가가 점점 더 어려워지고 있다고 주장한다.

Willison은 Anthropic에서 새로 출시한 Claude Opus 4.5를 사용하여 이틀 동안 39개 파일에 걸쳐 2,022개의 코드 추가를 포함하는 광범위한 코딩 작업을 완료한 후, 이전 Claude Sonnet 4.5 모델로 다시 전환했을 때도 동일한 속도로 작업을 계속할 수 있었으며, 두 모델 간의 구체적인 성능 차이를 식별할 수 없었다고 밝혔다.

Willison은 AI 연구소들이 새로운 모델을 출시할 때 이전 모델에서는 실패했지만 새 모델에서는 성공하는 프롬프트의 구체적인 예시를 함께 제공할 것을 요구하며, 이러한 시연이 MMLU나 GPQA Diamond와 같은 테스트에서 한 자릿수 백분율 포인트 개선을 보여주는 벤치마크보다 더 가치 있을 것이라고 주장한다—이는 최첨단 모델들이 전통적인 평가 지표를 점점 더 포화시키면서 업계 전반이 겪고 있는 어려움을 반영하는 과제이다.