Loading...

AI 뉴스

새로운 LLM 평가가 점점 더 어려워지는 이유

페이지 정보

작성자 xtalfi
작성일 11.25 17:06
38 조회
0 추천
0 비추천

본문

c184c81ab6c6d2be9216614dd65aaca9_1764057908_7253.png
 

개발자 Simon Willison은 최상위 모델들이 현재 너무나 유사하게 작동하여 실제 작업에서는 기업들이 각 릴리스마다 개선을 주장함에도 불구하고 의미 있는 성능 차이를 드러내지 못하기 때문에, 최첨단 AI 모델 평가가 점점 더 어려워지고 있다고 주장한다.

Willison은 Anthropic에서 새로 출시한 Claude Opus 4.5를 사용하여 이틀 동안 39개 파일에 걸쳐 2,022개의 코드 추가를 포함하는 광범위한 코딩 작업을 완료한 후, 이전 Claude Sonnet 4.5 모델로 다시 전환했을 때도 동일한 속도로 작업을 계속할 수 있었으며, 두 모델 간의 구체적인 성능 차이를 식별할 수 없었다고 밝혔다.

Willison은 AI 연구소들이 새로운 모델을 출시할 때 이전 모델에서는 실패했지만 새 모델에서는 성공하는 프롬프트의 구체적인 예시를 함께 제공할 것을 요구하며, 이러한 시연이 MMLU나 GPQA Diamond와 같은 테스트에서 한 자릿수 백분율 포인트 개선을 보여주는 벤치마크보다 더 가치 있을 것이라고 주장한다—이는 최첨단 모델들이 전통적인 평가 지표를 점점 더 포화시키면서 업계 전반이 겪고 있는 어려움을 반영하는 과제이다.

댓글 0
전체 1,224 / 21 페이지
인공지능(AI)기술이하루가다르게발전하며우리삶깊숙이파고들고있습니다.이러한변화속에서많은부모는'우리아이를어떻게키워야할까?'라는막연한불안감에휩싸이곤합니다.AI가아이들의일자리를빼앗지는않을지,기술에지나치게의존하게되지는않을지걱정이앞서는것이사실입니다.하지만AI전문가네이트존스(NateJones)는그의뉴스레터아티클 "RaisingHumansintheAgeofAI:APracticalGuideforParents(AI시대의자녀양육:부모를위한실질적가이드)"에서이러한두려움을내려놓고'이해'와'코칭'으로나아가야한다고역설합니다.그는공포를조장하는대다수미디어와달리,AI가실제로어떻게작동하고왜그렇게작동하는지에대한실질적인설명을제공하여부모스스로기술을정확히이해하도록돕습니다.이가이드의핵심은단순히AI사용을금지하거나방치하는것이아닙니다.대신,부모가자녀에게현실세계에서AI를주체적으로활용할수있는능력을길러줄수있도록구체적인**'기술프레임워크(SkillsFramework)'**를제시합니다.이는아이들이AI를막연한두려움의대상이나맹목적인의존의대상이아닌,자신의목표를이루기위한유용한도구로인식하고활용할수있도록이끌어줍니다.AI시대의부모역할은더이상기술로부터아이를격리하는감시자가아닙니다.기술을이해하고아이가올바른방향으로나아갈수있도록돕는**'든든한코치'**가되어야합니다.네이트존스의이실용적인가이드는AI시대를살아갈우리아이들이기술에휘둘리지않고'인간답게'성장할수있도록돕는필수적인나침반이되어줄것입니다.
89 조회
0 추천
11.23 등록
Physical Intelligence는 2024년에 전 Google DeepMind 연구원들이 창립한 로봇 AI 스타트업으로, 모든 로봇에 적용 가능한 범용 “브레인” 소프트웨어를 개발하면서, 기업 가치 56억 달러에 CapitalG 주도로 6억 달러의 자금을 유치했습니다.해당 투자 라운드에는 Jeff Bezos, Amazon, Lux Capital, Thrive Capital, Index Ventures, 그리고 T. Rowe Price가 참여했으며, 이 스타트업은 특정 작업별 프로그래밍 없이 어떤 응용 분야에서도 사용할 수 있는 로봇에 동력을 제공하는 것을 목표로 하고 있습니다.이번 투자는 AI 기반 로봇 분야의 자본 유입 급증을 반영하며, 경쟁사인 Figure AI는 390억 달러 가치에 10억 달러 이상을 유치했고, 전체 로봇 산업은 2025년 1분기 동안에만 22억 6천만 달러 이상의 투자를 받았습니다.
89 조회
0 추천
11.23 등록
Allen Institute for AI (Ai2)는 OLMo 3를 출시했으며, 이는 7B 및 32B 언어 모델 제품군으로, 경쟁사들이 이러한 구성 요소를 공개하지 않는 것과 대조적으로 훈련 데이터, 코드, 중간 체크포인트 및 훈련 로그에 대한 완전한 접근을 제공하는 최초의 완전 공개 32B 추론 모델이라고 설명합니다.OLMo 3-32B는 6배 적은 토큰으로 훈련되면서도 추론 벤치마크 전반에 걸쳐 Qwen3-32B와 비교할 만한 성능을 달성하여, 지도 미세 조정, 선호도 최적화 및 강화 학습 파이프라인을 통해 가능한 효율성 향상을 입증합니다.이 프로젝트에는 60명 이상의 저자가 참여했으며 65,000개 토큰 컨텍스트 창을 지원하여, 훈련 데이터 공개에 대한 규제 압력이 증가하는 가운데 AI 시스템의 투명성을 추구하는 기업 및 연구 사용자를 위한 모델로 자리매김하고 있습니다.
120 조회
0 추천
11.23 등록
서바이벌 게임 DayZ의 제작자이자 Rocketwerkz의 CEO인 Dean Hall은 게임 개발의 미래에 대해 대담한 예측을 내놓았습니다: 전통적인 게임 엔진이 아닌 프레임워크가 업계를 지배할 것이라는 것입니다. Game Developer와의 인터뷰에서 Hall은 우주 시뮬레이션 게임 Kitten Space Agency를 위해 특별히 제작된 자신의 스튜디오의 커스텀 C# 프레임워크 Brutal이 개발자들이 게임 제작에 접근하는 방식의 근본적인 변화를 대표한다고 설명했습니다.이 예측은 수년간 게임 개발의 표준이었던 Unity와 Unreal Engine과 같은 비주얼 스크립팅 도구의 현재 지배력에 도전장을 내밉니다. Hall은 ChatGPT와 같은 대형 언어 모델이 언어 기반 코딩을 더 접근 가능하게 만들어, 비주얼 기반 스크립팅의 주요 이점을 잠재적으로 제거할 수 있다고 주장합니다. “LLM이 언어 기반 코딩을 더 접근 가능하게 만든다면, 비주얼 기반 스크립팅은 그 우위를 잃게 됩니다”라고 Hall은 설명했습니다.첫 번째 원리로부터 구축하기“최신 .NET 기능을 사용하면서 Vulkan 그래픽 API를 포함한 고성능 C++ 라이브러리 및 도구에 대한 저수준 API 액세스를 제공하는” 도구로 설명되는 Brutal은 기존 엔진들이 효율적으로 해결할 수 없었던 특정 기술적 과제를 해결하기 위해 만들어졌습니다. 이 프레임워크는 개발자들이 게임 시스템을 처음부터 구축할 수 있게 하여, “어떻게 할 것인가?“보다 “무엇을 하려고 하는가?“를 먼저 물을 수 있도록 합니다.Kerbal Space Program의 제작자인 Felipe Falanghe와 함께 작업하면서, Hall의 Rocketwerkz 팀은 약 1년 만에 Kitten Space Agency 알파 전체를 구축했습니다. 11월 13일에 공개 프리 알파를 출시한 이 게임은 카메라가 0-0-0에 고정되어 있고 모든 것이 카메라를 기준으로 그려지는 맥락적 렌더링(contextual rendering)을 사용하는데, 이는 Unity나 Unreal과 같은 씬 기반 엔진에서는 구현하기 어려운 기법입니다.문서화 보조 도구로서의 LLMsHall과 Falanghe는 LLM이 프레임워크 워크플로우를 실행 가능하게 만들었다고 평가하지만, 일반적으로 AI 코딩 도구와 연관된 방식은 아니라고 말한다. “vibe coding”을 통해 코드를 생성하는 대신, 개발자들은 LLM을 사용하여 C# 라이브러리와 Vulkan에 대한 문서에 빠르게 접근함으로써 수 시간의 수동 조사를 건너뛸 수 있다. Hall은 LLM이 잘 정의된 프로그래밍 언어를 어떻게 처리하는지를 언급하며 “고도로 구조화된, 사실상 잔인할 정도로 구조화된 언어보다 더 나은 것이 무엇이 있겠습니까?“라고 말했다.이러한 예측에도 불구하고, Hall은 Brutal이 만능 솔루션이 되도록 의도된 것은 아니라고 강조했다. 이 프레임워크는 Ahwoo라는 상업적 법인을 통해 오픈 소스로 제공될 예정이지만, Hall은 다른 사람들이 유사한 원칙을 따르는 다른 프레임워크를 만들 것으로 기대한다. 그는 “저는 Brutal이 만능 주머니칼이 되는 것을 좋아하지 않습니다. 왜냐하면 그것이 사실이라고 생각하지 않기 때문입니다”라고 말했다.
86 조회
0 추천
11.23 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입