랙 하나가 246kW, 이제 칩 사양은 답이 아니다

2026년, 추론이 60%를 먹는다

AMD는 전체 AI 작업에서 추론이 차지하는 비중을 2024년 약 40%, 2025년에는 학습과 비슷한 수준, 2026년에는 약 60%로 예상했다. 이에 따라 CPU와 GPU, 네트워크, 소프트웨어, 랙을 하나로 구성하고 컴퓨팅 성능, 개방형 플랫폼, AI의 보편적 활용을 사업의 세 축으로 삼았다.

추론 성능은 단일 수치로 비교하기 어렵다. AMD의 추론 성능 분석 도구 InferenceX는 처리량과 사용자별 토큰 생성 속도의 관계를 파레토 곡선(두 지표를 동시에 개선할 수 없는 최적 조합의 경계)으로 나타낸다. NVIDIA B300 시스템이 메가와트당 초당 350만 토큰을 넘으려면 사용자 응답 속도를 낮춰야 한다. 대량 처리와 비용 절감에 집중할지, 응답 속도에 더 많은 비용을 쓸지에 따라 시스템 구성도 달라진다.

입력 문맥을 읽는 프리필(prefill, 입력을 한 번에 처리하는 단계) 작업은 연산 성능의 영향을 많이 받는다. 반면 토큰을 만드는 디코드(decode, 토큰을 한 개씩 생성하는 단계) 작업은 메모리 대역폭이 중요하다. 두 작업을 같은 GPU에서 처리하면 자원을 효율적으로 쓰기 어려워 각각 다른 장비에 배치하는 방식이 도입됐다. 가속기 하나의 사양만으로 추론 성능을 판단하기 어려운 이유다.

에이전트는 여러 모델을 연결하고 도구를 호출하며 데이터베이스를 검색한다. 이 과정에서 사용자 요청 한 건이 수십∼수백 번의 추론으로 늘어난다. Anthropic은 멀티에이전트가 일반 챗봇보다 최대 15배 많은 토큰을 쓴다고 추산했다. Google의 월간 처리량은 480조 토큰에서 3,200조 토큰으로 증가했고, 모델 중개 서비스 OpenRouter의 주간 사용량도 반년 만에 5조 토큰에서 25조 토큰으로 늘었다. 호출이 이어지는 서비스에서는 개별 작업의 처리량보다 마지막 호출이 끝날 때까지 걸린 시간이 사용자 경험에 더 큰 영향을 준다.

매출 = 와트당 토큰 × 가용 기가와트

NVIDIA Dynamo 1.0은 프리필과 디코드를 서로 다른 워커 집단에 나눠 배치하고 필요한 만큼 따로 증설한다. 프리필 엔진이 생성한 KV 캐시(이미 계산한 문맥을 재사용하려고 저장해 두는 값)는 전송 라이브러리 NIXL을 거쳐 디코드 엔진의 메모리로 바로 전송한다. DeepSeek R1에서 발표한 최대 처리량 증가 폭은 7배다. 다만 장문 요청이 많고 여러 작업을 동시에 처리하는 일반적인 환경에서는 2∼3배를 현실적인 계획치로 삼는다.

Dynamo의 토폴로지 API는 두 워커를 같은 NVL72 랙에 배치해 전송 시간을 줄인다. 충분한 성능을 내려면 스케줄러가 랙 내부의 연결 상태를 파악해야 한다. AI 성능 표준 벤치마크인 MLPerf Inference v6.0에는 GB300 NVL72 전체 랙을 사용한 결과도 제출됐다. AMD는 Llama 2 70B를 구동한 11개 노드와 gpt-oss-120b를 구동한 12개 노드에서 각각 초당 100만 토큰을 넘겼다.

필요한 전력이 늘면서 구매 단위도 커졌다.

구분	소비 전력
기존 랙	5∼10kW
AI 랙	50∼100kW
Helios용 설계	246kW급 액체냉각 랙, 최대 10.4MW 모듈형 클러스터

Microsoft는 전력 부족으로 이행하지 못한 Azure 수주 잔고가 800억 달러라고 밝혔다. 변압기 납기는 최장 5년이며 스위치기어(전력을 차단, 분배하는 배전 설비) 공급 물량은 2028년까지 계약이 끝났다. 전력망에 연결하는 데도 5∼7년이 걸린다. 미국 데이터센터의 전력 수요는 2023년 23GW에서 2026년 42GW로 늘었다. 젠슨 황은 이를 ‘매출=와트당 토큰×가용 기가와트’라는 식으로 표현했다. 토큰당 비용을 결정하는 요인은 칩 가격에 그치지 않는다. 랙 전체의 전력과 냉각, 통신 효율이 함께 영향을 미친다.

규격 문서는 나왔고, 실리콘은 없다

Helios는 AMD가 처음 선보인 랙 규모 설계다. Meta가 개방형 데이터센터 표준 단체 OCP에 제출한 더블와이드 Open Rack Wide 규격을 적용했으며 액체냉각 방식의 MI455X 72장과 6세대 EPYC Venice, Pensando DPU(네트워크, 스토리지 처리를 전담하는 프로세서), ROCm으로 구성된다.

HBM4 용량은 31TB, 전체 대역폭은 초당 1.4PB다. 연산 성능은 추론용 FP4 기준 2.9엑사플롭스, 학습용 FP8 기준 1.4엑사플롭스로 제시됐다.

물리 규격에는 Open Rack과 가속기 모듈 표준 OAM, 칩렛(기능별로 나눈 작은 칩을 이어 붙이는 방식)을 적용한다. 랙 내부 연결에는 UALink, 랙 사이 연결에는 Ultra Ethernet을 쓴다. Caliptra는 펌웨어의 신뢰근원(부팅 시 무결성을 검증하는 기준점)을 제공하고 openSIL은 시스템 초기화를 맡는다.

OCP에는 400곳이 넘는 회원사가 참여하고 있다. 이곳에서 수직통합 스택의 각 계층을 대체할 규격이 마련됐다. 2025년 6월 공개된 Ultra Ethernet 1.0도 560쪽이 넘는 통합 사양으로, 연결 설정이 필요 없는 API와 수백만 개의 엔드포인트를 지원한다.

규격 문서는 나왔지만 이를 구현한 제품은 아직 없다. UALink 1.0은 2025년 8월 공개됐으며 2026년 4월 추가 사양 네 건이 발표될 때까지도 관련 실리콘은 출하되지 않았다. 칩은 2026년 하반기에 시험실에 들어가고 완제품은 2027년에 출시될 전망이다.

NVIDIA는 NVLink Fusion 생태계에 Intel과 후지쓰 MONAKA, Qualcomm, SiFive를 참여시켰다. Marvell에도 20억 달러를 투자했다. 다만 NVLink Fusion으로 시스템을 구성하려면 NVIDIA 실리콘을 반드시 포함해야 한다.

AMD의 ROCm은 PyTorch에 vLLM이나 SGLang을 결합했을 때 표준 LLM 추론 처리량의 90∼95%에 도달했다. 그러나 TensorRT-LLM과 FlashAttention 3에 해당하는 제품이 없고, NVIDIA GPU 전용 명령어인 PTX 커널도 수작업으로 이전해야 한다. 개방형 규격이 실제 운용 가능한 소프트웨어와 하드웨어로 구현되기까지는 시간이 더 필요하다.

계약 단위가 장 수에서 기가와트로 바뀌었다

구매자는 서비스 수준에 따른 토큰당 비용과 와트당 처리량을 따진다. 확보할 수 있는 전력과 납기, 소프트웨어 이전 비용도 함께 계산한다. AMD는 Helios의 달러당 추론 토큰이 경쟁 시스템보다 최대 30% 많다고 주장하지만 자체 측정 결과다. 실제 도입 여부는 InferenceX에서 자사 워크로드가 대량 처리, 균형, 저지연 조건별로 어떤 성능을 내는지에 따라 결정된다.

계약 규모를 표시하는 기준도 가속기 수량에서 전력으로 바뀌었다. Anthropic은 MI450 계열 Helios를 최대 2GW 규모로 도입하고 첫 1GW를 2027년 상반기에 가동할 예정이다. OpenAI와의 계약은 최대 6GW 규모다. Microsoft는 Azure에서 프런티어 모델을 추론하는 데 Helios를 배치한다. AMD의 2026년 2분기 데이터센터 매출은 67억 달러로 전년보다 107% 늘었다.

표준 랙을 사용하면 부품이나 공급자를 교체하기 쉽다. Dell PowerRack은 컴퓨팅과 네트워크, 스토리지를 사전에 통합해 납품 후 6시간 30분 안에 설치할 수 있다. Google Ironwood는 칩 9,216개와 1.77PB의 공유 메모리를 광회로 스위치로 연결해 42.5엑사플롭스의 성능을 제시했다. AWS는 Trainium3가 이전 세대보다 메가와트당 3.5배 많은 토큰을 처리한다고 발표했다. 가속기 간 비교 기준도 개별 칩의 성능에서 랙 단위 성능과 전력 효율로 넓어졌다.

프로덕션 추론에 퍼블릭 클라우드를 주로 이용하는 기업의 비율은 1년 사이 56%에서 41%로 낮아졌다. 기업의 56%는 프라이빗 클라우드에서 추론을 운영하고 있거나 도입을 계획 중이며 약 70%는 하이브리드 방식을 선택했다. 클라우드 비용이 동급 온프레미스 장비의 총소유비용(TCO) 가운데 60∼70%를 넘으면 자체 구축이 유리하다. AI 에브리웨어 환경에서는 클라우드와 기업 데이터센터, 엣지에서 같은 소프트웨어를 사용할 수 있어야 한다.

AMD는 데이터센터 AI 가속기 시장이 2025년 2,000억 달러에서 2030년 1조4,000억 달러로 성장할 것으로 전망한다. 같은 기간 데이터센터 CPU 시장은 260억 달러에서 2,200억 달러로 커질 것으로 본다. 스케일아웃과 랙 규격은 먼저 개방됐지만 스케일업 제품은 아직 전환 중이다. 개방형 시스템을 지금 도입하는 구매자는 당분간 이 차이를 감수하는 대신 다음 세대에서 공급자를 바꿀 여지를 얻는다.

출처

#컴퓨트·데이터센터 #반도체