엔비디아가 18일(현지시간) 미국 캘리포니아주 새너제이 SAP 센터에서 개발자 콘퍼런스 'GTC(GPU Technology Conference) 2024'를 열어 차세대 AI칩인 B200을 전격 공개했다.
기존 호퍼 아키텍처를 대체하는 개념이며 블랙웰이라는 플랫폼으로 작동한다는 설명이다. 블랙웰은 게임 이론과 통계학을 전공한 수학자이자 흑인으로는 최초로 미국국립과학원(National Academy of Sciences)에 입회한 데이비드 헤롤드 블랙웰(David Harold Blackwell)을 기리기 위해 붙여진 이름이며 2년 전 출시된 엔비디아 호퍼(Hopper) 아키텍처의 후속 기술이다.
가격은 H100 대비 1만달러 비싼 5만달러로 추정된다.
H100 대비 무려 30배의 성능을 자랑하며 조 단위의 대규모 언어 모델(LLM)에서 실시간 생성형 AI를 구축하고 실행할 수 있도록 지원한다. 비용과 에너지 소비는 최대 25분의 1 수준이다. 2080억개의 트랜지스터를 탑재했으며 GPU 다이가 초당 10테라바이트(TB)의 칩 투 칩(chip-to-chip) 링크로 연결된 단일 통합 GPU다. 맞춤형 2레티클 제한 4나노 TSMC 공정을 통해 제조된다.
새로운 마이크로 텐서 확장 지원과 엔비디아 텐서RT-LLM(TensorRT-LLM), 네모 메가트론(NeMo Megatron) 프레임워크에 통합된 엔비디아의 고급 동적 범위 관리 알고리즘이 기본이다. 이를 통해 새로운 4비트 부동 소수점 AI 추론 기능으로 컴퓨팅과 모델 크기를 두 배로 늘린다는 설명이다. 나아가 안정성, 가용성, 서비스 가능성을 위한 전용 엔진이 포함되며 암호화 프로토콜도 지원된다.
젠슨 황(Jensen Huang) 엔비디아 CEO는 "엔비디아는 지난 30년 동안 딥 러닝, AI와 같은 혁신을 실현하기 위해 가속 컴퓨팅을 추구해 왔다"면서 "생성형 AI는 우리 시대를 정의하는 기술이다. 블랙웰 GPU는 이 새로운 산업 혁명을 구동하는 엔진이다. 세계에서 가장 역동적인 기업들과 협력해 모든 산업에서 AI의 가능성을 실현할 것"이라고 말했다.
아마존(Amazon), 델 테크놀로지스(Dell Technologies), 구글(Google), 메타(Meta), 마이크로소프트(Microsoft), 오픈AI(OpenAI), 오라클(Oracle), 테슬라(Tesla) 등 많은 기업이 블랙웰을 도입할 계획이다.
선다 피차이 구글 CEO는 "우리는 AI 플랫폼 전환기에 접어들면서 자체 제품과 서비스, 그리고 클라우드 고객을 위한 인프라에 지속적으로 집중적으로 투자하고 있다"면서 "블랙웰 GPU의 획기적인 기능을 클라우드 고객과 구글 딥마인드(DeepMind)를 비롯한 구글의 모든 팀에 제공해 미래를 위한 발견을 앞달길 수 있기를 기대한다"고 말했다.
구글 딥마인드 공동창업자 겸 CEO인 데미스 허사비스는 "AI의 혁신적 잠재력은 놀랍고, 세계에서 가장 중요한 과학적 문제들을 해결하는 데 도움이 될 것이다. 블랙웰의 획기적인 기술력은 세계에서 가장 뛰어난 두뇌들이 새로운 과학적 발견을 도표화하는 데 필요한 중요한 컴퓨팅을 제공할 것"이라고 말했으며 샘 올트만 오픈AI CEO는 "블랙웰은 엄청난 성능 도약을 제공하며, 최첨단 모델을 제공하는 우리의 능력을 가속화할 것이다. AI 컴퓨팅을 향상시키기 위해 엔비디아와 계속 협력하게 되어 기대가 매우 크다"고 말했다.
일론 머스크도 "현재 AI를 위한 엔비디아 하드웨어보다 더 좋은 것은 없다"고 극찬했으며 앤디 제시 아마존 CEO는 " AWS와 엔비디아 엔지니어 간의 공동 노력을 통해 우리는 AWS를 누구나 클라우드에서 엔비디아 GPU를 실행할 수 있는 최고의 장소로 만들기 위해 함께 혁신을 지속하고 있다"고 말했다.
한편 엔비디아는 블래랙웰 기반의 차세대 AI 슈퍼컴퓨터인 엔비디아 DGX 슈퍼팟(DGX SuperPOD)도 공개했다. 새로운 고효율 수냉식 랙 스케일 아키텍처를 특징으로 하며, 엔비디아 DGX GB200 시스템으로 구축됐다. FP4 정밀도에서 11.5 엑사플롭(exaflops)의 AI 슈퍼컴퓨팅과 240테라바이트의 고속 메모리를 제공하며, 랙을 추가하면 추가 확장이 가능하다.
6개의 엔비디아 그레이스 CPU(Grace CPU)와 72개의 엔비디아 블랙웰 GPU를 포함하는 36개의 엔비디아 GB200 슈퍼칩이 5세대 엔비디아 NV링크(NVLink)를 통해 하나의 슈퍼컴퓨터처럼 연결된다. H100 대비 최대 30배 향상된 성능을 제공한다.
대규모 AI를 위해 설계된 새로운 네트워킹 스위치(switches)인 X800 시리즈도 발표했다. X800시리즈는 엔비디아 퀀텀-X800 인피니밴드(NVIDIA Quantum-X800 InfiniBand)와 엔비디아 스펙트럼-X800 이더넷(Spectrum-X800 Ethernet)로 구성된다.