부제: Jalapeño의 첫 실측이 던진 질문은 속도가 아니라, AI 원가가 누구의 실리콘에 묶여 있느냐다
무슨 일이 있었나
2026년 8월 25일 Hot Chips에서 OpenAI는 Broadcom과 공동 개발한 첫 커스텀 추론 ASIC Jalapeño의 초기 실측을 공식 공개했다. 6월 언베일 이후 두 달 만에 나온 수치다. 회사는 SemiAnalysis의 공개 벤치마크 InferenceX를 기준으로, GPT-OSS 120B·DeepSeek R1 670B·Kimi K2.5 1T에서 비교 시스템 대비 와트당 작업량 약 1.5–1.9배, 종단 지연 약 1.7–3.6배 단축을 주장했다.
하드웨어 책임자 리처드 호(Richard Ho)는 이를 “처리량과 저지연을 동시에 잡는 결과”로 규정했다. 통상 추론 시스템은 둘 중 하나를 포기해야 한다는 전제를 깨려는 메시지다.
시장이 반응한 이유는 모델 발표가 아니라 엔비디아 의존을 줄일 수 있느냐는 산업 구조 질문이었다. OpenAI는 세계 최대 GPU 구매자이자, 동시에 엔비디아 자본·공급과 묶인 고객이다. 그 회사가 추론 전용 칩으로 “이미 나온 최고 시스템보다 싸다·빠르다”고 말한 순간, 논점은 스펙시트에서 전력·원가·공급망으로 이동했다.
확인된 사양과 시스템 설계
칩이 실제로 어떤 물건인가
- 용도: 학습이 아닌 추론 전용 ASIC. ChatGPT·Codex처럼 이미 학습된 모델을 사용자에게 돌리는 구간이다.
- 전력: 정격 700W. 테스트 워크로드에서 실측 지속 전력은 550W 이하.
- 메모리: 패키지당 HBM4 6스택, 용량 약 216GiB, 대역폭 15.4TB/s. HBM은 삼성 공급 가능성이 거론된다.
- 공정·연산: 연산 다이는 TSMC N3P, 레티클급 단일 다이. B0 스테핑 기준 MXFP4 13.4 PFLOPs. I/O 다이는 N3E.
- 랙 구성: 128칩 랙이 4비트 연산 1.7엑사플롭스, HBM4 27.5TB. 풀 포드는 2,048 ASIC.
설계 철학은 “범용 GPU를 LLM에 맞추는 것”이 아니라 토큰 생성 경로에 맞춰 데이터 이동을 줄이는 것이다. OpenAI는 KV 캐시 등 모델 상태를 로컬에 고정하고, prefill(연산 집약)과 decode(메모리 대역 제약)에 계산·메모리·네트워크를 단계별로 붙인다고 설명했다.
개발 속도가 이례적인 이유
회사는 RTL에서 테이프아웃까지 약 9개월, 팀 구성부터 보면 약 16개월이라고 했다. 고급 ASIC으로는 매우 짧은 주기이며, 일부 회로·검증 루프에 자사 모델을 썼다고 밝혔다. 6월 시점에 이미 GPT-5.3-Codex-Spark가 목표 주파수·전력으로 랩에서 돌아가고 있었다.
SemiAnalysis는 A0 실측을 본 뒤, 팹에 들어간 B0가 A0 대비 와트당 성능 약 25% 개선이라고 적었다. 지금 공개된 숫자조차 최종 양산품이 아니라는 뜻이다.
벤치마크가 말하는 것과 말하지 않는 것
모델별 핵심 수치
OpenAI가 공개한 InferenceX 결과(정격 TDP 정규화, 단일 토큰 예측)는 다음과 같다.
- GPT-OSS 120B vs GB200(1,200W)
- 피크 혼합 TPS/kW 약 1.9배(85,448 vs 44,960)
- 종단 지연 약 1.7배 낮음(1.03초 vs 1.80초)
- 사용자당 약 1,459 tok/s vs 535 tok/s
- DeepSeek R1 670B vs GB300(1,400W)
- 피크 혼합 TPS/kW 약 1.7배
- 종단 지연 약 3.6배 낮음(1.65초 vs 5.99초)
- 사용자당 약 700 tok/s vs 169 tok/s
- 상대방의 기존 TBT 지점에서 처리량은 약 104배
- Kimi K2.5 1T vs GB300
- 피크 혼합 TPS/kW 약 1.5배
- 종단 지연 약 3.4배 낮음
- 사용자당 약 694 tok/s vs 182 tok/s
저지연 구간에서 격차가 커진다. 대화형·에이전트형 서비스가 “한 토큰을 얼마나 빨리, 얼마나 싸게 뽑느냐”에 민감하다는 점을 노린 점수표다.
숫자를 읽을 때 필요한 조건
- 비교 대상은 주로 GB200/GB300이다. 엔비디아의 차세대 Vera Rubin은 OpenAI 공식 표에 직접 올라오지 않았다. Tom’s Hardware도 이 점을 명시했다.
- SemiAnalysis는 랩에서 일부 런을 직접 확인했고, “테스트한 엔비디아·AMD·구글 칩을 여러 오픈 모델에서 앞선다”고 썼다. 동시에 Blackwell 비교는 세대가 어긋날 수 있어 HBM4를 쓰는 Rubin과의 비교가 더 공정하다고 했다. 그 기준에서도 Jalapeño의 STP(단일 토큰 예측) 출력 토큰/MW가 7월 공개된 Rubin MTP 수치 일부를 넘는다고 주장했다.
- Jalapeño 수치는 스펙큘레이티브 디코딩·멀티토큰 예측 없이 나왔다. 엔비디아 실배포는 보통 MTP를 쓴다. 같은 기법을 양쪽에 적용하면 효율 격차는 약 1.5배 수준으로 줄어든다는 보도도 있다.
- 워크로드는 짧은 단일 턴 8k/1k 중심이다. SemiAnalysis는 AgentX급 장문·멀티턴·라우터·캐시 스트레스는 아직 돌리지 않았다고 밝혔다. 에이전트가 수십 스텝을 연쇄 호출하는 실제 서비스와는 거리가 있다.
- 전력 정규화도 해석을 바꾼다. 칩 TDP 기준 격차가 가장 크고, 유틸리티 전력(Jalapeño 약 1.18kW vs GB300 약 2.55kW)으로 보면 간격이 좁아진다.
정리하면, “모든 추론에서 엔비디아를 이겼다”가 아니라 특정 공개 벤치마크·특정 운영점에서 와트당 효율과 지연이 앞선다가 정확한 문장이다.
왜 이 칩이 산업 구조를 건드리는가
추론이 학습보다 비싸지는 단계
학습은 한 번, 추론은 매일이다. 이용자·에이전트·코딩 도구가 늘수록 원가의 무게중심은 프리트레이닝 GPU에서 서빙 전력·지연·토큰당 비용으로 이동한다. OpenAI가 추론만 따로 판 이유는 그 구간이 이미 손익을 좌우하기 때문이다. Axios가 지적했듯, 학습은 여전히 엔비디아 등에 묶여 있다.
호는 “우리는 많은 연산이 필요하고, Jalapeño도, (다른 자체 라인도), 엔비디아도, AMD도 그 일부”라고 했다. 대체라기보다 포트폴리오 다변화다. 다만 다변화가 의미를 가지려면 소량 샘플이 아니라 랙 단위 가동률·수율·소프트웨어 성숙도가 따라와야 한다.
커스텀 실리콘 경쟁의 좌표
구글 TPU, 아마존 Inferentia/Trainium, 메타·마이크로소프트의 ASIC 시도가 이미 있다. Broadcom은 구글 TPU 구현으로 실적을 쌓은 회사이고, Jalapeño에서도 실리콘 구현과 Tomahawk 네트워킹을 맡았다. 랙·보드는 Celestica다.
차이는 OpenAI가 모델·서빙 스택·제품을 같이 쥐고 있다는 점이다. 칩만 잘 만드는 것과, 토큰 경로 전체를 맞춰 만드는 것은 다른 게임이다. SemiAnalysis가 “1세대 ASIC은 보통 경쟁력이 없는데 이번엔 예외”라고 본 근거도 하드웨어-소프트웨어 공동설계에 있다.
동시에 CUDA 해자는 쉽게 안 무너진다. Jalapeño는 OpenAI 내부 인프라용이지 일반 판매 칩이 아니다. 외부 개발자가 “엔비디아 대신 이걸 산다”는 선택이 생기는 instant이 아니다. 균열이 난다면 먼저 OpenAI의 자체 서빙 원가에서 난다.
아이러니한 자본 구조
발표 직전 엔비디아는 OpenAI 임차 데이터센터에 최대 1,050억 달러 규모 금융 지원을 검토·합의한 것으로 보도됐다. OpenAI는 엔비디아의 최대 고객이면서 추론 칩 경쟁자가 됐다.
이 이중 관계는 앞으로의 기본값이다. 모델 회사는 GPU를 계속 사고, 동시에 추론 일부를 자체 실리콘으로 뺀다. 엔비디아는 학습·범용·소프트웨어 생태계로 방어하고, 하이퍼스케일러 ASIC은 특정 워크로드의 전력 효율로 파고든다. Jalapeño는 그 분업이 실험에서 공개 숫자로 넘어온 사건이다.
경제성과 공급망이 성적표보다 중요하다
TCO는 아직 무승부에 가깝다
SemiAnalysis는 와트당 토큰에서는 Jalapeño가 두드러지지만, 토큰당 총소유비용에서는 Vera Rubin과 비슷하다고 봤다. 일부 이점은 Broadcom 마진이 엔비디아보다 낮은 데서 온다. 칩이 빨라져도 랙, 네트워크, 전력, 감가상각, 가동률이 TCO를 결정한다.
6월 전후 Broadcom 쪽에서는 GPU 대비 추론 비용 약 50% 절감 가능성이 언급됐다. 다만 그때도 독립 검증된 양산 TCO는 아니었다.
2026 말 소량, 2027이 진짜 시험
- 2026년 말: OpenAI 인프라에 소량 배치
- 2027년: 본격 램프, 물량의 상당 부분은 연말로 잡혀 있다
- 2029년: Broadcom·마이크로소프트 등과 자체 설계 가속기 10GW 규모가 장기 목표로 거론된다
10GW는 원전 여러 기에 해당하는 전력 수요다. 랩 벤치마크와 이 스케일 사이에는 수율, 패키징(CoWoS), HBM, 랙 통합, 장애율, 커널 포팅이 있다.
한국·대만 공급망에 직접 걸리는 부분
연산 다이는 TSMC, HBM은 삼성 가능성이 높고, 업계 전반의 HBM은 2027년까지 타이트하다. SK하이닉스·삼성·마이크론 모두 선판매 상태라는 보도가 나온다. OpenAI가 자체 칩을 키울수록 엔비디아향 HBM 배분과 충돌한다. 한국 입장에서는 “누가 이겼나”보다 HBM4 물량이 어디로 가는가가 더 즉각적인 변수다.
사용자·경쟁사·투자자가 각각 봐야 할 지점
일반 사용자
체감은 칩 이름이 아니라 첫 토큰·스트리밍 속도·요금이다. 저지연 구간 우위가 실제 ChatGPT·Codex에 붙으면 “답변이 끊기지 않는다”로 번역된다. 반대로 소량 배치면 2026년 안에는 일부 내부 트래픽에만 쓰일 수 있다.
클라우드·네오클라우드
마이크로소프트는 배치 파트너로 이름이 올라 있다. 자체 칩이 Azure 안에서 OpenAI 전용으로만 돌면, 다른 테넌트에게는 간접 효과(여유 GPU, 가격)만 남는다. 엔비디아 의존을 줄이는 주체는 우선 OpenAI 자신이다.
엔비디아
학습과 CUDA, 그리고 Rubin 세대가 방어선이다. 추론 일부 이탈은 이미 구글·아마존에서 시작된 패턴이다. 관건은 OpenAI 같은 초대형 고객의 추론 비중을 얼마나 지키느냐다. 소프트웨어 최적(MTP, 디스어그리게이션)을 켜면 격차가 줄어든다는 점은 엔비디아에 유리한 반론이다.
오픈 모델 진영
DeepSeek R1과 Kimi K2.5에서 수치가 나왔다는 것은, 칩이 OpenAI 모델 전용으로만 튜닝되지 않았다는 신호다. 다만 새 모델마다 커널·최적화가 필요하고, 회사도 이를 인정했다. “범용 추론 ASIC”과 “매 모델 포팅 비용”은 같이 간다.
앞으로 90일이 가르는 것
지금 시점에서 확실한 것은 세 가지다.
- 1세대 추론 ASIC이 랩에서 공개 벤치마크를 통과할 수준까지 왔다.
- 우위는 전력 대비 처리량과 저지연에 집중돼 있고, 학습·양산 TCO·장문 에이전트는 아직 증명이 아니다.
- OpenAI의 계산 전략은 엔비디아 이탈이 아니라 엔비디아 + 자체 칩 + 기타 가속기의 혼합이다.
진짜 시험은 연말 소량 랙이 뜨고, 2027년 물량이 전력·HBM·수율을 뚫고 나오는 구간이다. 그때 와트당 1.5배가 토큰당 원가로 남으면 추론 시장 공식이 바뀐다. 숫자만 랩에 남으면, 이번 발표는 “모델 회사가 실리콘까지 설계할 수 있다”는 신호에 그친다.
그 신호가 가벼운 것은 아니다. AI 경쟁의 병목이 파라미터 수가 아니라 전력을 토큰으로 바꾸는 효율로 옮겨 가고 있다는 사실 자체는, Jalapeño 이전에도 진행 중이었고 이제 공개 성적표가 붙었다.