삼성전자, 실무 기반 AI 생산성 측정 지표 '트루벤치' 공개

(퍼플렉시티가 정리한 기사)

삼성전자 가 자체 개발한 AI 업무 생산성 측정 지표 ’트루벤치(TRUEBench)’를 25일 공개하며, 기존 영어 중심 벤치마크의 한계를 극복한 실무 환경 기반 평가 도구를 선보였다.

실무 환경 반영한 차별화된 평가 지표

트루벤치는 삼성전자 DX부문 선행 연구개발조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크다. 기존 AI 벤치마크 대부분이 영어 중심이고 한 번 또는 제한된 횟수의 대화만을 평가해 실제 업무 생산성 성능을 정확히 측정하기 어렵다는 문제를 해결하기 위해 만들어졌다.

실제 평가 항목은 10개 카테고리, 46개 업무, 2,485개의 세분화된 항목으로 구성됐다. 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 기업에서 자주 사용하는 실제 오피스 업무 체크리스트를 기반으로 완성됐다. 사용자의 짧은 요청부터 최대 2만자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가한다.

다국어 지원과 글로벌 접근성

트루벤치는 영어, 한국어, 일본어, 중국어, 스페인어 등 총 12개 언어를 지원한다. 특히 글로벌 비즈니스 환경을 고려해 영어와 한국어 등 여러 언어가 혼합된 교차 언어의 번역 기능 평가도 가능하다. 사용자는 한 번에 최대 5개 모델을 선택해 비교할 수 있어 다양한 AI 모델의 성능을 한눈에 파악할 수 있으며, 응답 결과에 대한 평균 길이 등도 공개해 성능과 효율성 지표를 동시에 비교할 수 있다.

삼성전자는 글로벌 오픈소스 플랫폼 허깅페이스(Hugging Face)에 트루벤치의 데이터 샘플과 AI 모델들의 평가 결과가 표시된 리더보드를 공개했다.

AI 교차 검증으로 객관성 확보

트루벤치는 답변의 정확성뿐만 아니라, 겉으로 드러나지 않는 사용자의 의도나 맥락까지 평가가 가능하도록 설계됐다. 평가 항목 검증에는 AI가 활용되는데, 사람이 구축한 평가 기준을 AI가 검토해 오류나 모순, 불필요한 제약이 없는지 확인하며 지속적인 교차 검증의 반복을 통해 더욱 정교한 평가 기준을 완성한다. 이러한 기준으로 완성된 AI 모델 자동 평가는 주관적 편향을 최소화하고 일관성 있는 결과를 제공한다.

전경훈 DX부문 최고기술책임자(CTO) 겸 삼성리서치장 사장은 “삼성 리서치는 다양한 실제 적용 사례를 바탕으로 차별화된 생산성 AI 기술 경쟁력과 노하우를 보유하고 있다”며 “트루벤치 공개를 통해 생산성 성능 평가 기준을 정립하고 삼성전자의 기술 리더십을 더욱 공고히 할 것”이라고 말했다.