AWS, 엔비디아 블랙웰 울트라 GPU를 탑재한 AI 인스턴스 출시

(퍼플렉시티가 정리한 기사)

Amazon Web Services는 월요일 Nvidia의 Blackwell Ultra GPU를 탑재한 Amazon EC2 P6-B300 인스턴스의 정식 출시를 발표했으며, 이는 고성능 AI 인프라에 대한 급증하는 수요를 충족시키기 위한 클라우드 거대 기업의 최신 노력을 보여줍니다.​

새로운 인스턴스는 올해 초 출시된 AWS의 이전 세대 P6-B200 인스턴스와 비교하여 2배의 네트워킹 대역폭과 1.5배 더 많은 GPU 메모리를 제공합니다. 각 P6-B300 인스턴스는 2.1테라바이트의 고대역폭 GPU 메모리, 초당 6.4테라비트의 Elastic Fabric Adapter 네트워킹, 그리고 4테라바이트의 시스템 메모리를 갖춘 8개의 Nvidia B300 GPU를 탑재하고 있습니다.​

조 단위 매개변수 모델을 위해 설계됨

AWS에 따르면, 이 인스턴스들은 Mixture of Experts 및 멀티모달 처리와 같은 정교한 기술을 사용하는 대규모 AI 모델, 특히 수천 개의 GPU에 걸친 분산 훈련이 필요한 수조 개의 매개변수를 가진 모델을 훈련하고 배포하도록 설계되었습니다. 향상된 메모리 및 네트워킹 기능을 통해 대규모 모델이 단일 Nvidia NVLink 도메인 내에 상주할 수 있어 모델 샤딩 및 통신 오버헤드가 감소합니다.​

P6-B300 인스턴스는 FSx for Lustre와 함께 Nvidia GPUDirect Storage를 지원하여 빠른 모델 로딩을 위해 초당 최대 1.2테라비트의 처리량을 달성합니다. 이 인스턴스들은 현재 Amazon EC2 Capacity Blocks for ML 및 Savings Plans를 통해 미국 서부(오리건) 리전에서 사용할 수 있습니다.​

AI 인프라 포트폴리오 확장

이번 출시로 AWS는 경쟁사인 Microsoft와 Google과 경쟁할 수 있는 위치에 서게 되었으며, 이들 역시 Blackwell 기반 인프라를 출시한 바 있습니다. Microsoft는 11월 초 4,600개 이상의 Nvidia Blackwell Ultra GPU를 탑재한 Nvidia GB300 NVL72 시스템의 첫 번째 대규모 프로덕션 클러스터를 배포한다고 발표했습니다. Google Cloud는 10월에 Nvidia의 RTX PRO 6000 Blackwell Server Edition GPU를 탑재한 G4 가상 머신을 정식 출시했습니다.​

AWS는 12월 1일부터 5일까지 라스베이거스에서 열리는 re:Invent 컨퍼런스에서 추가적인 컨테이너 및 AI 개발 사항을 선보일 예정입니다.