전방 고객사와 수많은 기업들이 엔비디아의 아성을 무너뜨리기 위해 움직이고 있다. 엔비디아는 단순 GPU(그래픽처리장치) 공급사를 넘어 AI(인공지능) 플랫폼 기업으로 진화해 이 위기를 돌파할 방침이다. 

엔비디아가 AI 플랫폼 기업으로 발돋움한다. GPU뿐만 아니라 AI 서버 구축을 위해 필요한 네트워킹, 스위치, 데이터 프로세서, 서버 냉각 및 전력 공급 기술 여기에 자체 클라우드 서비스와 AI 소프트웨어까지 상품군을 확장하여 거대한 AI 생태계를 구축한다는 구상이다. 

젠슨 황 엔비디아 CEO(최고경영자)는 지난주 엔비디아 개발 콘퍼런스 GTC(GPU Technology Conference)에서 차세대 AI 가속기(GPU, NPU를 포함해 AI 계산을 가속하는 반도체칩을 총칭)인 ‘블랙웰’을 소개하면서 “블랙윌은 칩이 아니라 플랫폼의 이름이다”라고 강조했다. 

‘품귀현상&높은 가격’에 경쟁사 뛰어들어

25일 반도체 업계에 따르면 엔비디아는 현재 AI 서버에 들어가는 AI 가속기 시장에서 80% 이상을 점유한다. 덕분에 엔비디아의 첨단 GPU인 H100은 작년 한때 가격이 6000만원까지 치솟기도 했다. 

높은 가격에도 생성형 AI붐으로 인해 H100 등 엔비디아의 AI 가속기는 품귀현상을 보였다. 최근 H100의 리드타임(물품 발주일과 납입일까지의 기간)이 8~11개월에서 3~4개월 단축되면서 품귀현상이 완화됐지만, 기업들은 여전히 엔비디아가 AI 가속기 시장을 독점함에 따라 품귀현상과 높은 가격에 대해 우려한다. 

이를 극복하기 위해 엔비디아의 최대 고객사인 아마존, 마이크로소프트, 구글과 같은 클라우드 업체들은 일찌감치 자체 AI 가속기를 개발하여 사용하기 시작했고, 최근 자사 서버에 자체 개발 칩의 비중이 늘어나고 있는 것으로 관측된다. 

2022년 6월을 기준으로 새로 만들어진 아마존 클라우드 서버에서 엔비디아의 AI 가속기가 차지하는 비중이 70%대인 것으로 파악되며, 아마존이 자체적으로 개발한 AWS 트레이니움·인퍼런시아가 15% 정도 차지하는 것으로 추정된다. 구글 또한 엔비디아가 차지하는 비중이 90% 미만으로 떨어졌다. 

AI 시대를 촉발한 오픈AI의 아버지인 샘 올트먼은 엔비디아의 독주 체제를 무너뜨리고 자체 반도체 네트워크를 만들기 위해 9000조원을 펀딩하고자 하며, 우리나라의 퓨리오사AI·사피온·리벨리온과 같은 신생 AI가속기 업체들 또한 나타나며 엔비디아 자리를 위협하고 있다. 

여기에 삼성전자 또한 가세한다. 삼성전자는 지난 20일 경계현 삼성전자 디바이스솔루션(DS) 부문장 사장은 주주총회에서 AI 가속기인 ‘마하1’을 개발 중이라고 밝혔다. 이어 그는 “AI 시대에는 컴퓨터와 메모리가 대규모로 결집할 수밖에 없는데 현존하는 AI 시스템은 메모리 병목으로 인해 성능 저하와 파워 문제를 안고 있다”며 “DS는 이 문제를 개선하기 위해 AGI 컴퓨팅 랩을 신설하고 AI 아키텍처의 근본적인 혁시을 추진하겠다”고 말했다. 그러면서 “현재 개발 중인 마하1 AI 인퍼런스 칩은 그 혁신의 시작이 될 것”이라고 강조했다. 

이같은 경쟁사들의 공세에 업계에선 향후 엔비디아의 점유율이 다소 줄어들 수 있다고 전망한다. 

엔비디아 또한 이를 잘 알고 있고, 토탈 AI 플랫폼 기업으로 나아감으로써 이를 해결하고자 한다. 

토탈 서비스 제공으로 총소유비용 다운

엔비디아는 올해 GTC에서 네트워킹, 스위치, 데이터 프로세서, 서버 냉각 및 전력 공급 기술, 소프트웨어 등 고객사가 AI 서비스를 개발하기 위한 모든 영역에서 상품을 선보였다. 특히 주목할 점은 NV링크(Link)다. NV링크는 GPU와 CPU가 데이터를 공유할 수 있게 하는 고속 인터커넥트를 말하며, 이번에 출시한 5세대 NV링크는 초당 1.8테라바이트(TB)를 지원한다. 

또 엔비디아는 NIM(NVIDIA Inference Microservice)이라는 엔터프라이즈 소프트웨어 구독 모델을 공개했다. NIM은 미리 구축돼 있지만 사용자 맞춤형으로 활용할 수 있는 소프트웨어 구성 요소를 제공해 AI 애플리케이션을 개발할 수 있도록 해준다.

엔비디아는 NIM이 언어 모델, 이미지 생성, 신약 개발, 의료 영상, 게임 관련 기능 등 다양한 분야의 AI를 실행할 수 있도록 여러 모델과 솔루션을 갖추고 있다고 설명했다.

NIM은 한번 팔면 끝나는 하드웨어와 달리 이용료를 받는 방식이라 반복적이고 지속적으로 매출이 발생하며, 엔비디아 클라우드 서비스로의 유인 역할을 함으로써 엔비디아가 종합 AI 플랫폼 기업으로 한 발 더 다가설 수 있도록 한다. 

젠슨 황 CEO는 존 쇼븐 스탠포드대학교 명예 교수와의 ‘2024 SIEPR 경제 서밋’ 대담에서 단순히 칩의 가격뿐 아니라 전체 비용 측면에서 엔비디아의 효율이 압도적이라며 “경쟁사가 무료로 AI칩을 풀더라도, (엔비디아) GPU를 이길 수는 없을 것”이라고 말했다. 

엔비디아가 GPU, 네트워킹, 스위치, 데이터 프로세서, 서버 냉각 및 전력 공급 기술, 소프트웨어 등을 종합적으로 지원함으로써 경쟁사 대비 훨씬 낮은 총소유비용(TCO, 전산 시스템을 도입할 때 초기 투자 비용뿐만 아니라 도입 후의 운영이나 유지 보수 비용을 포함한 전체 비용)에 AI 서버를 공급할 수 있다는 분석이다. 즉 고객사는 엔비디아가 제공하는 종합 솔루션을 사용함으로써 AI 가속기, 전력, 소프트웨어 비용 모두를 감안했을 때 경쟁사 대비 최고의 성능을 맛볼 수 있다는 설명이다. 

TSMC, 생산능력 확충... 단기적으로 엔비디아 질주 계속

수많은 기업들의 침략에도 엔비디아는 자사 생태계를 더욱 넓히며 독점 지위를 지킬 것으로 예상된다. 실제 향후 1~2년 내 엔비디아의 독점 체제가 무너지긴 힘들 것으로 보인다. 엔비디아의 칩을 생산하는 TSMC가 생산능력을 확대하고 있기 때문이다. 반도체 업계 특성상 고객사와의 긴밀한 소통을 통해 생산시설을 확충한다는 점을 고려한다면, 엔비디아의 칩 수요가 계속 증가하고 있음을 나타내는 대목이다. 

TSMC는 엔비디아 반도체 생산에 활용되는 CoWoS(칩 온 웨이퍼 온 서비스트레이트) 패키징 생산 능력을 대폭 확대하겠다는 방침 하에 최근 일본 반도체 패킹 공장 신설에 이어 대만에서도 모두 6곳의 신규 공장을 설립할 계획이다. 

TSMC는 최근 대만 남서부 지역에 위치한 치아이에 2곳의 고사양 반도체 패키징 공장을 신설하는 계획을 확정했다.

예상 투자 규모는 모두 2000억대만달러(약 8조4340억원)에 이르며 올해 5월 착공에 들어가 2026년 말 완공 및 가동이 예정되어 있다.

TSMC는 이를 포함해 대만에 모두 6곳의 고사양 패키징 공장을 건설하며 5000억대만달러(약 21조850억원)를 들이는 계획을 추진하고 있다. 2개 공장은 올해부터 가동을 앞두고 있다.

반도체 패키징은 여러 개의 반도체를 하나로 묶어 성능과 전력 효율을 높이는 기술이다. AI 학습 및 연산용 반도체와 같이 성능이 중요한 분야에 주로 활용된다.