AI는 규모에서 효율성과 속도로 전환하고 있다

Matthew Harris는 AI 개발이 순수한 스케일링에서 벗어나 토큰당 비용을 우선시하는 효율성 중심 아키텍처로 전환되고 있으며, 하이브리드 어텐션 메커니즘이 전통적인 단일 어텐션 접근 방식을 대체하고 있다고 주장합니다.

Qwen3 Next와 Kimi Linear 같은 모델은 Gated DeltaNet을 전체 어텐션 블록과 3:1 비율로 사용하여 메모리 및 KV-캐시 사용량을 최대 75%까지 줄이면서 수십만 토큰의 컨텍스트 윈도우를 가능하게 합니다.

이러한 아키텍처 변화는 AI 토큰 비용이 1년 만에 백만 토큰당 $10에서 $2.50로 75% 하락한 것을 보여주는 광범위한 업계 트렌드와 일치하며, 이는 모델 효율성을 최적화하려는 경쟁 압력에 의해 주도되었습니다.