Loading...

AI 뉴스

제미나이 1위·지피티 2위?...인공지능 ‘등수’는 어떻게 매기는 걸까

페이지 정보

작성자 SH5
작성일 2025.12.14 18:42
347 조회
0 추천
0 비추천

본문

1ece9ff1a368caa765c01d04a5625bcdiL2e.webp

 

인공지능(AI) 모델들의 성능 경쟁이 치열해지면서, 추론, 수리 등 종합적인 역량을 객관적으로 평가하는 다양한 벤치마크에 대한 관심이 높아지고 있습니다. 사용자의 직접적인 평가를 반영하는 '엘엠아레나(LMArena)'는 익명으로 받은 두 개의 AI 답변 중 더 우수한 것을 고르거나 무승부를 선언하여 순위를 매기는 방식입니다.

기존 벤치마크의 한계를 극복하기 위해 만들어진 '인류의 마지막 시험(HLE)'은 수학, 물리학 등 100개 이상 과목의 고난도 문제를 통해 AI의 정답률을 측정합니다. 또한, AI의 자율적인 경제활동 능력을 측정하는 '벤딩 벤치(Vending-Bench)'는 AI가 재고 관리와 가격 책정 등을 얼마나 잘 수행하는지 평가합니다.

이 외에도 코딩 오류 해결 능력을 평가하는 'SWE벤치'와 수학 올림피아드 난이도의 '매스아레나 에이펙스' 등 다양한 전문 벤치마크들이 활용됩니다. 하지만 이러한 AI 벤치마크는 윤리나 안전보다는 높은 경제적 보상이 기대되는 과업에만 초점을 맞춘다는 비판도 제기됩니다.

댓글 0
전체 1,366 / 26 페이지
• Google [GOOG -0.51%]은 12월 16일 Opal 워크플로우 빌더를 Gemini 웹 앱에 통합하여, 사용자들이 Super Gems라는 새로운 기능을 통해 코딩 없이 AI 기반 미니 애플리케이션을 만들 수 있도록 했습니다.• 이 통합은 Opal을 Gemini의 Gems Manager에 통합하며, 자연어 설명을 자동 생성된 단계와 인터페이스 요소가 포함된 시각적 워크플로우로 변환하는 Workflow Builder를 제공하고, 이는 공유 가능한 링크를 통해 게시될 수 있습니다.• 현재 출시는 미국 사용자로 제한되어 있으며, 이는 Google이 Gemini를 맞춤형 AI 도구 구축을 위한 중앙 플랫폼으로 포지셔닝하면서 다른 Labs 통합과 동일한 단계적 접근 방식을 따르고 있습니다.
385 조회
0 추천
2025.12.17 등록
• Jeff Li는 Super Data Science 팟캐스트에서 Netflix, Spotify, DoorDash에서 데이터 과학자로 근무한 경험을 바탕으로, 워크플로우에 대한 사전 인간 숙달 없이는 AI 자동화가 실패한다고 주장합니다 (https://www.youtube.com/watch?v=T7zG5-9-zIw).• Li가 AI 이미지 생성을 사용하여 광고 제작을 자동화하려던 시도는 크리에이티브 디자인에 대한 전문 지식이 부족하여 실패했으며, 그의 기술적 역량과 광고 업계 배경에도 불구하고 고객들은 제작된 광고를 “형편없다”고 평가했습니다[big-agile +1].• 여러 산업 분야의 연구는 AI 시스템이 새로운 실패와 예외 상황을 처리하기 위해 인간의 판단과 도메인 전문 지식을 필요로 한다는 것을 확인하며, 운영자가 효과적으로 개입할 수 있는 조직적 지식이 부족할 때 자동화가 불충분하다는 것을 입증합니다[big-agile +1].
344 조회
0 추천
2025.12.17 등록
OpenAI는 화요일에 GPT Image 1.5를 공개했으며, 이는 최대 4배 빠른 이미지 생성 속도와 수정 전반에 걸쳐 시각적 일관성을 유지하는 향상된 편집 기능을 제공합니다. 이는 CEO Sam Altman의 최근 “코드 레드” 선언 이후 Google로부터 입지를 되찾기 위한 노력의 일환입니다.원래 1월 초에 계획되었던 이 가속화된 출시는 Google의 Gemini 3와 입소문을 탄 Nano Banana Pro 이미지 생성기의 경쟁 압력에 대응한 것으로, 이는 10월까지 Gemini가 월 6억 5천만 명의 사용자를 확보하는 데 기여했습니다.새로운 모델은 현재 모든 ChatGPT 사용자와 API를 통해 이용 가능하며, Fidji Simo, OpenAI의 애플리케이션 CEO에 따르면 사전 설정 필터와 인기 프롬프트를 갖춘 “크리에이티브 스튜디오처럼” 작동하는 전용 사이드바 탭을 특징으로 합니다.
343 조회
0 추천
2025.12.17 등록
Amazon Web Services CEO Matt Garman은 초급 직원을 인공지능으로 대체하려는 기업들에 대해 날카로운 비판을 제기하며, 그러한 전략이 근시안적이고 장기적인 비즈니스 건전성에 해롭다고 지적했습니다. WIRED가 화요일에 발표한 인터뷰에서 Garman은 주니어 직원을 제거하는 것이 인재 파이프라인을 파괴하고 조직에서 AI에 가장 적극적으로 참여하는 인력을 빼앗는 결과를 초래할 것이라고 주장했습니다.​"어느 시점에서 그 모든 것이 스스로 붕괴될 것입니다"라고 Garman은 WIRED에 말하며, 이러한 관행을 "내가 들어본 것 중 가장 어리석은 일 중 하나"라고 묘사했습니다. 그는 주니어 직원들이 일반적으로 가장 저렴한 직원이면서도 AI 도구에 가장 적극적으로 참여하기 때문에, 이들을 제거하는 것이 특히 역효과를 낳는다고 강조했습니다.​이러한 발언은 Amazon이 인력 자동화와 복잡한 관계를 헤쳐나가는 시점에 나왔습니다. 10월에 회사는 주로 중간 관리직을 대상으로 14,000명의 기업 정리해고를 발표했습니다. CEO Andy Jassy는 6월에 AI 효율성 향상이 향후 몇 년 동안 "전체 기업 인력을 줄일 것"이라고 밝혔습니다. The New York Times가 검토한 내부 문서에 따르면 Amazon의 자동화 부서는 향후 채용을 피함으로써 로봇으로 50만 개 이상의 일자리를 대체할 것을 구상하고 있습니다.인재 파이프라인 우려Garman의 입장은 8월 스탠포드 대학교 연구진이 기록한 증가하는 업계 트렌드와 모순됩니다. 수백만 건의 ADP 급여 기록을 분석한 이 연구는 2022년 말 이후 AI에 노출된 직업에서 22세에서 25세 근로자의 고용이 13% 감소했음을 발견했습니다. 해당 연령대의 소프트웨어 개발자들은 2022년 최고치 대비 고용이 거의 20% 감소한 반면, 동일한 직무의 고령 근로자들은 6-9% 성장을 경험했습니다.​"구축하고 있는 인재 파이프라인이 없고 멘토링하고 회사를 통해 성장시키고 있는 주니어 인력이 없다면, 우리는 종종 그곳에서 최고의 아이디어를 얻는다는 것을 발견합니다"라고 Garman은 WIRED에 말했습니다. 그는 AWS 개발자의 약 80%가 이미 단위 테스트, 문서화, 코드 생성을 포함한 작업의 워크플로우에서 AI를 사용하고 있다고 언급했습니다.산업적 영향Garman은 AI 도입이 가속화됨에 따라 직무 역할이 필연적으로 변화할 것임을 인정했다. "제가 우리 직원들에게 말하는 것 중 하나는 '여러분의 일은 변화할 것입니다'라는 것입니다. 이것은 의심의 여지가 없습니다"라고 그는 말했다. 그러나 그는 직무 변화와 전면적인 대체를 구분하면서, 기업들이 미래 인력을 제거하는 것이 아니라 재교육에 투자해야 한다고 주장했다.​AWS 책임자의 입장은 곧 퇴임하는 GitHub CEO Thomas Dohmke의 입장과 일치하는데, 그는 이전에 젊은 개발자들이 "AI 네이티브"이며 팀에 새로운 가치를 가져온다고 언급한 바 있다. 그러나 이러한 발언은 Amazon의 가장 공격적인 구조조정 기간 중에 나온 것으로, 인사 담당 수석 부사장 Beth Galetti는 추가 감원이 2026년까지 계속될 수 있다고 밝혔다.​12월 AWS re:Invent 컨퍼런스에서 Garman은 기업들이 독점 데이터로 맞춤형 AI 모델을 구축할 수 있는 도구인 Nova Forge를 공개했으며, AI를 비즈니스 운영에 더 깊이 통합하도록 설계된 새로운 프론티어 모델도 함께 선보였다.
346 조회
0 추천
2025.12.17 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입