Infrastructure & Hardware
매일 핵심 AI 뉴스 알림 받기데이터센터와 전력, 칩, 자본 등 AI 가 실행되기 위한 기반 구조를 심층 분석합니다
랙 하나가 246kW, 이제 칩 사양은 답이 아니다 AI 작업에서 추론 비중이 커지면서 가속기 단일 성능보다 랙 단위 전력·냉각·통신 구성이 인프라 경쟁의 기준이 되고 있다. ALL ARTICLES
- 엔비디아가 찍어내는 돈, 갚는 쪽은 따로 있다 엔비디아가 신생 GPU 클라우드 사업자의 임대 수입에 6년 하한을 보장하면서 대출 심사 기준이 사업자 신용에서 엔비디아 지급 능력으로 옮겨갔고, 초과 수입은 엔비디아가 나눠 갖되 장비 가치 하락 손실은 대주와 투자자가 떠안는 구조를 다룬다.
- GPU는 남아도 대화는 멈춘다.. AI 팩토리의 다음 병목은 ‘공유 못 하는 메모리’ AI 추론은 GPU 연산보다 가중치와 KV 캐시를 옮기는 메모리 대역폭과 인터커넥트에 더 크게 좌우된다. HBM 용량 한계로 CXL과 광 연결이 대안으로 떠오르고 있다.
- 컴퓨트는 어떻게 자산이 되는가 NVIDIA가 여섯 금융기관과 5000억 달러 규모의 컴퓨트 파이낸싱 플랫폼을 발표했다. GPU를 담보로 한 채권 시장이 만들어지는 과정과 그 위험을 다룬다.
- 차가운 데이터센터가 효율적이라는 착각. AI 팩토리는 이제 45°C 냉각수로 돌아간다 NVIDIA Rubin 서버의 45°C 냉각수 방식이 칠러 의존을 줄이고 폐열 재활용을 가능하게 하면서, 데이터센터 입지를 좌우하는 조건이 기후와 전력망, 물, 배관망으로 넓어졌다.
- 우주 데이터센터의 현실적 TCO 우주 궤도 데이터센터는 태양광 확보에는 유리하지만 방열판 면적과 짧은 설비 수명 탓에 지상보다 약 4배 비용이 든다. 반도체와 발사체 생산 능력도 함께 늘어야 격차가 줄어든다.
- GPU 72개 랙이 아니라 TPU 9,216개 한 덩어리 — AI 인프라의 진짜 병목은 칩이 아니라 ‘연결’이다 AI 가속기 성능은 칩 자체보다 시스템 구성에서 갈린다. 연결 규모, 광 스위치를 통한 랙 간 배선, 프리필·디코드 분리 시 KV 캐시 이동, 학습·추론용 설계 분화까지 거리와 메모리 배치가 인프라 성능을 좌우한다.
- 2028년, Google이 Nvidia보다 AI 칩을 더 많이 찍을 수 있다 2028년 AI 칩 경쟁에서 Google TPU 물량이 Nvidia GPU 출하량에 근접하지만, 실제 승부처는 패키징과 전력 같은 칩 밖의 병목에 있다.
- AI의 권력은 어디에 있는가? AI 산업의 병목이 칩에서 전력과 설비로 옮겨가면서, 전력을 얼마나 많이 확보했는지보다 필요할 때 사용량을 줄일 수 있는지가 데이터센터 가동 속도를 가른다.