제미나이 1위·지피티 2위?...인공지능 ‘등수’는 어떻게 매기는 걸까

인공지능(AI) 모델들의 성능 경쟁이 치열해지면서, 추론, 수리 등 종합적인 역량을 객관적으로 평가하는 다양한 벤치마크에 대한 관심이 높아지고 있습니다. 사용자의 직접적인 평가를 반영하는 '엘엠아레나(LMArena)'는 익명으로 받은 두 개의 AI 답변 중 더 우수한 것을 고르거나 무승부를 선언하여 순위를 매기는 방식입니다.

기존 벤치마크의 한계를 극복하기 위해 만들어진 '인류의 마지막 시험(HLE)'은 수학, 물리학 등 100개 이상 과목의 고난도 문제를 통해 AI의 정답률을 측정합니다. 또한, AI의 자율적인 경제활동 능력을 측정하는 '벤딩 벤치(Vending-Bench)'는 AI가 재고 관리와 가격 책정 등을 얼마나 잘 수행하는지 평가합니다.

이 외에도 코딩 오류 해결 능력을 평가하는 'SWE벤치'와 수학 올림피아드 난이도의 '매스아레나 에이펙스' 등 다양한 전문 벤치마크들이 활용됩니다. 하지만 이러한 AI 벤치마크는 윤리나 안전보다는 높은 경제적 보상이 기대되는 과업에만 초점을 맞춘다는 비판도 제기됩니다.