일리야 서츠케버, "스케일링의 시대는 끝났다"

일리야 수츠케버는 **Safe Superintelligence Inc.**의 공동 창립자이자 전 OpenAI 수석 과학자로서, Dwarkesh Patel과의 인터뷰에서 AI 개발이 단순히 사전 학습을 대규모로 확장하던 시대(2020-2025)가 한계에 도달했으며, 이제는 "연구의 시대"에 진입했다고 주장한다. 그는 근본적인 과제가 모델들이 인상적인 벤치마크 성과에도 불구하고 "사람보다 일반화가 현저하게 더 잘 되지 않는다"는 점이라고 설명한다.​

수츠케버는 현재의 강화 학습 접근법이 평가 벤치마크에 편협하게 집중해 훈련함으로써 의도치 않게 "보상 해킹(reward hacking)"을 하고 있을 수 있다고 설명한다. 이는 마치 모델을 경쟁 프로그래밍 대회만을 위해 10,000시간을 연습한 학생과 비교하는 것인데, 넓은 판단력과 취향을 가진 100시간 연습한 학생과는 다르다는 비유로 설명한다. 이것이 모델들이 테스트에서는 뛰어나지만 현실 세계의 기본적인 과제(예: 같은 두 버그 사이를 번갈아 처리하는 것)에서는 어려움을 겪는 이유가 될 수 있다.​

SSI는 2024년 9월 50억 달러 가치로 10억 달러를 투자받았으며, 2025년 3월에는 매출 없이 직원이 대략 20명임에도 불구하고 300억 달러 가치에 도달했다. 이는 여러 AI 회사들이 사전 학습 확장 법칙이 점차 수익성이 감소하고, 사용 가능한 고품질 훈련 데이터가 점점 부족해지고 있다는 증거에 직면했기 때문이다.