Microsoft Azure가 GB300 GPU로 초당 110만 토큰 달성

(퍼플렉시티가 정리한 기사)

Microsoft는 Azure 클라우드 플랫폼에서 단일 랙 시스템으로 초당 110만 토큰이라는 전례 없는 성능을 달성하며 AI 처리 장벽을 무너뜨렸습니다. 이는 백만 토큰 임계값을 처음으로 돌파한 것으로, AI 추론 성능에 대한 새로운 업계 벤치마크를 확립했습니다.​

NVIDIA의 최첨단 GB300 GPU로 구동되는 Azure ND GB300 v6 가상 머신을 사용하여 달성한 이 이정표는 GB200 시스템으로 달성한 Microsoft의 이전 기록인 초당 865,000 토큰 대비 27% 향상된 수치입니다. 이 성능 테스트는 업계 표준인 Llama 2 70B 모델을 사용한 80분간의 벤치마크 실행 동안 Signal65에 의해 독립적으로 검증되었습니다.​

엔터프라이즈 AI를 위한 획기적인 성능

이 성과는 AI 배포의 경제성을 근본적으로 변화시켜, 기업들이 엄격한 규정 준수 요구사항을 유지하면서 수천 명의 동시 사용자를 지원할 수 있게 합니다. 각 NVIDIA GB300 GPU는 초당 15,200개의 토큰을 처리하여 이전 세대 H100 칩보다 5배의 처리량을 제공하며, Signal65가 "엘리트 AI 성능"이라고 부른 것이 이제 접근 가능한 유틸리티로 제공됨을 보여줍니다.​

Microsoft의 이 혁신은 회사가 대규모 AI 인프라 투자를 가속화하는 시기에 나왔습니다. 이 기술 대기업은 월요일에 세 건의 별도 수십억 달러 규모 AI 거래를 발표했으며, 여기에는 추가 NVIDIA GB300 용량을 위한 IREN Limited와의 97억 달러 규모 파트너십과 수만 개의 GPU 배포를 위한 Lambda와의 별도 계약이 포함됩니다.​

AI 군비 경쟁에서의 인프라 리더십

이 기록적인 성능은 이전 세대 대비 50% 더 많은 메모리와 16% 높은 열용량을 포함한 향상된 사양을 갖춘 72개의 GPU를 탑재한 단일 NVIDIA GB300 NVL72 랙에 걸쳐 18개의 가상 머신을 사용하여 달성되었습니다. 이 시스템은 가상 머신당 초당 평균 61,163개의 토큰 처리량으로 놀라운 일관성을 보여주었습니다.​

"이 성능 이정표는 NVIDIA와의 지속적인 협력을 보여주며 프로덕션 환경에서 광범위한 AI 워크로드를 관리하는 Azure의 능력을 강조합니다"라고 Microsoft CEO 사티아 나델라는 말하며, 이 성과가 Azure를 엔터프라이즈 AI 추론을 위한 최고의 플랫폼으로 자리매김하게 한다고 강조했습니다. 이 이정표는 단순한 기술적 성과 이상을 의미합니다. 산업 규모의 AI 처리가 클라우드에 도입되었음을 알리며, 대규모 내부 인프라 투자 없이도 주류 기업들이 정교한 AI 기능에 접근할 수 있게 되었습니다.