글로벌 빅테크가 선택한 AI 인프라 B300, 360만 대 대기 없이 지금 당장 도입하는 법

1. 빅테크의 데이터센터 투자가 ‘B300’으로 향하는 이유

2026년, 마이크로소프트·아마존·구글·메타 등 주요 빅테크의 데이터센터 투자(capex) 합산액이 6,500억~7,250억 달러에 달할 것으로 전망됩니다. 전년 대비 큰 폭으로 늘어난 수치인데, 이 규모의 자본이 움직이는 방향에는 공통점이 하나 있습니다. 바로 엔비디아의 최신 GPU ‘B300(Blackwell Ultra)’입니다.

그러나 투자 규모만큼 칩 공급이 따라오지 못하는 상황입니다. 현재 클라우드 사업자들의 Blackwell 계열 GPU 주문 백로그는 360만 대를 넘어섰으며, B200·GB200 제품군은 2026년 중반까지 사실상 매진된 상태입니다. 공급 부족으로 인해 일부 기업은 AI 모델 출시 일정이나 인프라 확장 계획을 조정해야 하는 상황에 직면하고 있습니다.

그렇다면 이미 B300을 확보한 기업들은 어떤 결과를 만들어내고 있을까요? Eli Lilly, Microsoft, OpenAI 등 글로벌 선도 기업들의 도입 사례를 들여다보면, B300이 단순한 하드웨어 업그레이드가 아니라 비즈니스 성과를 바꾸는 인프라 전환이라는 점이 구체적인 수치로 드러납니다.

2. 글로벌 선도 기업의 B300 인프라 도입 사례

일라이 릴리(Eli Lilly): 제약·바이오 R&D 한계 돌파

B300 도입이 산업 전반에 미치는 영향을 가장 선명하게 보여주는 사례 중 하나가 글로벌 제약사 Eli Lilly입니다. Eli Lilly는 B300 GPU 1,016개로 ‘LillyPod’이라는 슈퍼컴퓨터를 구축해, 신약 개발과 유전체학, 분자 설계 연구 전반에 걸쳐 활용하고 있습니다.

이 사례에서 주목할 부분은 단순한 연산 속도의 향상이 아니라, 연구 자체의 범위가 바뀌었다는 점입니다. 기존 방식으로는 연구팀 한 곳이 1년 동안 분석할 수 있는 분자 후보가 약 2,000개에 그쳤으나, LillyPod 도입 이후에는 수십억 개의 분자 아이디어를 테스트할 수 있게 되었습니다. 분자 후보 탐색 규모가 사실상 무제한에 가까워지면서, 신약 후보물질을 발굴하는 데 걸리는 시간이 획기적으로 단축된 것입니다. 

신약 개발은 임상 진입까지만 평균 10년 이상이 걸리는 분야입니다. 그 시작점인 후보물질 탐색 단계에서 2,000개와 수십억 개의 차이는, 단순히 숫자의 문제가 아니라 '어떤 약이 개발되느냐'를 결정하는 수준의 변화입니다. B300이 제약 분야에서 주목받는 이유가 여기에 있습니다.

마이크로소프트(Microsoft): 초당 100만 토큰 처리 장벽 돌파

Microsoft는 B300 GPU 72개를 단일 랙에 집적한 GB300 NVL72 클러스터를 4,600대 이상의 규모로 구축하고, 이를 기반으로 Azure ND GB300v6 가상머신을 정식 출시했습니다. 해당 인프라에서 Llama 2 70B를 추론한 결과, 초당 처리 토큰 수가 110만 개에 달했습니다. 전 세대 GB200에서 기록했던 86만 5천 토큰을 크게 웃도는 수치로, 이른바 ‘100만 토큰 장벽’을 돌파한 사례로 기록됐습니다.

LLM 서비스를 운영하는 입장에서 추론 처리 속도는 곧 사용자 경험과 운영 비용으로 직결됩니다. 동일한 GPU 수로 더 많은 요청을 처리할 수 있다는 것은, 단순한 벤치마크 수치 이상의 의미를 갖습니다.

오픈AI(OpenAI): 차세대 프런티어 모델 학습 인프라 선점

OpenAI는 2025년 11월 Amazon과 7년간 380억 달러 규모의 장기 계약을 체결하고, GB200·GB300 GPU 수십만 개를 Amazon EC2 UltraServer 인프라에서 대규모 모델 학습에 활용하고 있습니다.

이 계약이 시사하는 바는 명확합니다. 현 시점에서 프런티어 모델을 학습시키려면 B300급 GPU가 수십만 개 단위로 필요하다는 것, 그리고 그 공급을 확보하기 위해 기업들이 수십억 달러짜리 장기 계약까지 불사한다는 것입니다. B300은 이미 초거대 AI 개발의 기본 인프라로 자리잡았습니다.

3. 이전 세대(Hopper) 대비 압도적인 비용 효율 (ROI)

B300이 경쟁 우위를 갖는 근거는 성능 수치만이 아닙니다. 투자 대비 효율, 즉 ROI 관점에서도 이전 세대와 비교가 되지 않습니다.

MLPerf 벤치마크, 6개월 만에 2.7배

업계 표준 AI 성능 측정 지표인 MLPerf 벤치마크에서 Blackwell Ultra 시스템은 DeepSeek-R1 모델 추론 기준 초당 약 250만 토큰을 처리했습니다. 6개월 전 동일 벤치마크 첫 제출 대비 최대 2.7배 향상된 기록입니다. 하드웨어 세대 교체 없이 소프트웨어 최적화만으로도 이 정도 성능 격차가 벌어진다는 점에서, B300 플랫폼이 가진 확장 여력을 가늠할 수 있습니다.

Hopper 대비 처리량 50배, 비용 35배 절감

Nvidia 발표와 SemiAnalysis 분석에 따르면, B300은 이전 세대 Hopper 대비 메가와트당 처리량이 최대 50배, 토큰당 비용은 최대 35배까지 낮습니다. 이는 동일한 전력 예산으로 50배 많은 연산을 처리하고, 같은 추론 작업을 35분의 1 비용으로 구동할 수 있다는 의미입니다.

AI 인프라를 운영하는 기업 입장에서 전력 비용과 토큰당 단가는 직접적인 사업 비용입니다. 여기서 이 정도의 차이가 난다면, B300은 단순히 ‘빠른 칩’이 아니라 동일한 서비스 수준을 훨씬 낮은 비용 구조로 제공할 수 있는 인프라 선택지입니다. 장기적으로 운영할수록 격차는 더 벌어집니다.

4. 360만 대 대기열 극복: B300 대기 없이 즉시 도입하는 법

Eli Lilly는 분자 탐색의 범위를, Microsoft는 추론 처리의 한계를, OpenAI는 차세대 모델 학습의 기준을 B300으로 다시 썼습니다. 벤치마크 수치까지 더하면, B300이 현시점에서 가장 효율적인 AI 인프라라는 결론은 크게 반박하기 어렵습니다.

문제는 접근성입니다. 360만 대에 달하는 백오더가 가리키듯, 칩을 직접 조달해 인프라를 구축하는 경로는 언제 완성될지 알 수 없는 타임라인을 감수해야 합니다. 칩을 기다리는 동안에도 AI 서비스 경쟁은 계속되고, 그 격차는 인프라에서부터 시작됩니다.

공급 부족으로 언제 칩을 받을지 모르는 불확실성 대신, Mondrian AI의 B300 클라우드 서비스를 통해 글로벌 빅테크와 동일한 퍼포먼스를 당장 오늘부터 귀사의 서비스에 이식할 수 있습니다. 줄을 서서 기다릴 시간에, 이미 검증된 인프라 위에서 결과를 만드는 편이 낫습니다.