칩부터 직접 만드는 회사: Gemini 4 Argon 밑에 깔린 TPU 인프라

2026년 9월 30일, 구글이 Gemini 4 Argon을 발표했다. Gemini 4 세대의 첫 모델이다.

화제가 된 건 두 가지였다. 한 번에 100만 토큰까지 출력할 수 있다는 것(이전 6만 4천 토큰), 그리고 보안 능력이 강해서 일반 공개 전에 사이버 방어 기관부터 쓰게 했다는 것.

이 글은 벤치마크 얘기를 길게 하지 않는다. 지난번 GPT-6 Astra를 만든 텍사스 데이터센터에 이어, 이 모델 밑에 무엇이 깔려 있는지를 본다.

결론부터 말하면 구글은 OpenAI와 출발점이 다르다. OpenAI는 남이 만든 GPU를 남의 건물에서 빌려 썼다. 구글은 칩·네트워크·건물·소프트웨어를 전부 자기가 만든다.

먼저: 구글이 밝힌 것과 밝히지 않은 것

이게 제일 중요하다. Argon의 학습 인프라는 공식적으로 공개되지 않았다.

구글의 발표 블로그, 그리고 딥마인드가 따로 낸 평가 문서(Model evaluation)를 다 읽었다. 칩 이름도, 학습에 쓴 칩 수도, 학습 기간도 없다. 공식 모델 카드도 아직 없다.

일부 해외 모델 정보 사이트는 “Argon은 6세대 TPU(Trillium)에서 돈다”고 적어 두었다. 그런데 구글 1차 자료에서는 그 근거를 찾지 못했다. 이 글은 그 주장을 쓰지 않는다.

그래서 이 글이 하는 일은 추측이 아니라 범위 좁히기다. 구글이 공개한 칩 사양과 일정, 그리고 돈의 흐름으로 “적어도 이 안에 있다”는 윤곽을 그린다.

① 출발점: GPU를 빌리는 회사 vs 칩을 만드는 회사

Gemini 계열의 학습 환경은 지금까지 매번 같았다. 이전 세대 모델 카드에는 구글의 TPU로, JAX와 ML Pathways를 써서 학습했다고 적혀 있다.

용어부터 정리한다.

• TPU(Tensor Processing Unit): 구글이 AI 계산만을 위해 직접 설계한 칩이다. 엔비디아 GPU와 같은 역할을 하지만 구글 밖에서는 살 수 없었고, 구글 클라우드에서 빌려 쓰는 것만 가능했다.
• JAX: 구글이 만든 머신러닝 프레임워크다. 파이토치 같은 역할이다.
• Pathways: 수천~수만 개의 칩을 파이썬 프로세스 하나가 지휘하게 해주는 구글의 분산 실행 시스템이다.

이 조합이 왜 중요한지는 지난 Astra 글과 비교하면 바로 보인다.

구글은 이 표의 오른쪽 칸을 전부 혼자 채운다. 이걸 수직 통합이라고 부른다. 칩 설계자가 모델 연구자 옆자리에 앉아 있다는 뜻이다. 구글은 실제로 7세대 TPU를 소개하면서 “딥마인드 연구자와 TPU 엔지니어가 함께 설계했다”고 밝혔다.

② 학습 후보: Ironwood와 TPU 8t

그럼 Argon은 어느 세대에서 학습됐을까. 후보가 될 만한 최신 세대는 둘이다.

표를 읽는 법 두 가지.

첫째, 연산 숫자를 그대로 비교하면 안 된다. Ironwood는 FP8, 8t는 FP4 기준이다. FP8·FP4는 숫자 하나를 몇 비트로 표현하느냐다. 비트가 적을수록 계산은 빨라지지만 정밀도는 떨어진다. 같은 칩이라도 FP4로 세면 숫자가 두 배쯤 커진다. 구글 스스로도 세대 간 비교는 “슈퍼팟당 연산 약 3배”로 말한다.

둘째, 슈퍼팟은 칩 9천여 개가 “하나처럼” 묶인 단위다. 구글은 칩끼리 직접 연결하는 전용선(ICI, Inter-Chip Interconnect)과, 연결 모양을 빛으로 바꿔 끼우는 광 회로 스위치(OCS)로 이걸 만든다. 고장 난 칩 묶음을 10초 안팎에 빼고 다른 묶음을 끼워 넣을 수 있다.

일정으로 범위를 좁히면

날짜를 늘어놓으면 이렇다.

2025년  4월    Ironwood 발표
2025년 11월    Ironwood 정식 출시
2026년  4월    TPU 8t·8i 발표 (Cloud Next)
2026년  3분기  TPU 8 얼리 액세스 시작
2026년  9월    ← Gemini 4 Argon 발표
2026년 하반기  TPU 8 정식 출시 예정

프런티어 모델의 사전학습(맨 처음부터 대량 데이터로 가르치는 단계)은 보통 몇 달이 걸리고, 그 뒤에 추가 학습과 안전성 평가가 몇 달 더 붙는다.

그렇게 보면 9월에 나온 모델의 사전학습이 4월에 발표된 칩에서 처음부터 끝까지 돌았을 가능성은 낮아 보인다. 구글이 외부 발표보다 훨씬 먼저 내부에 8t를 깔았다면 얘기가 달라지지만, 그런 발표는 없었다.

가장 무리 없는 해석은 “Ironwood 세대가 주력이고, 8세대가 일부 섞였을 수 있다”이다. 다만 이건 일정에서 나온 추론이지 사실이 아니다. 구글이 밝히기 전까지는 그렇게만 말할 수 있다.

규모의 상한선

구글이 8t를 발표하면서 공개한 숫자 하나는 기억할 만하다.

새 데이터센터 네트워크 Virgo 한 덩어리에 TPU 8t를 13만 4천 개 이상 묶을 수 있고, JAX·Pathways로는 100만 개가 넘는 칩을 학습 클러스터 하나로 쓸 수 있다.

OpenAI가 “GPU 10만 장을 한 번에 돌린 건 처음”이라고 한 게 9월이다. 구글은 한 네트워크에 13만 개, 소프트웨어로는 100만 개를 상한선으로 말한다. 실제로 Argon에 몇 개를 썼는지는 모른다. 하지만 구글이 설계상 겨냥하는 규모는 OpenAI가 지금 도달한 규모보다 한 자릿수 위다.

③ 100만 토큰 출력은 인프라 문제다

Argon의 간판 숫자는 출력 100만 토큰이다. 이전 Gemini의 6만 4천 토큰보다 약 15배, Astra의 12만 8천 토큰보다 약 8배다.

이게 왜 인프라 얘기인지 설명이 필요하다.

AI가 글을 쓸 때는 한 토큰씩 차례로 만든다. 이 단계를 디코딩이라고 한다. 그리고 다음 토큰을 만들 때마다 지금까지 쓴 내용 전부를 다시 참고해야 한다.

매번 처음부터 다시 계산하면 너무 느리니까, 앞에서 계산한 중간 결과를 메모리에 쌓아둔다. 이걸 KV 캐시라고 부른다.

문제는 이 캐시가 출력이 길어질수록 계속 커진다는 것이다. 100만 토큰을 쓰는 동안 캐시는 끝없이 불어나고, 칩은 토큰 하나를 만들 때마다 그 거대한 캐시를 메모리에서 읽어와야 한다.

그래서 긴 출력의 병목은 계산 속도가 아니다. 메모리 용량과 메모리를 읽는 속도, 그리고 캐시가 여러 칩에 흩어져 있을 때 칩끼리 주고받는 시간이다.

8세대 추론 칩이 겨냥한 곳

구글이 4월에 8세대를 학습용(8t)과 추론용(8i) 두 칩으로 쪼갠 이유가 여기 있다. 8i의 설계는 거의 이 문제 하나를 향한다.

SRAM은 칩 안에 붙은 아주 빠르지만 작은 메모리다. HBM은 칩 옆에 쌓아 올린 큰 메모리다. 책상(SRAM)과 책장(HBM)으로 생각하면 된다. 책상이 넓을수록 책장까지 덜 오간다.

홉은 데이터가 목적지까지 거치는 칩의 수다. 기존 TPU는 칩을 정육면체 격자(3D 토러스)로 이었는데, 1,024개 칩에서 가장 먼 두 칩 사이가 16홉이었다. 8i는 보드 단위로 묶고 광 스위치로 건너뛰는 Boardfly 구조로 이걸 7홉으로 줄였다.

구글은 8i를 소개하면서 이 칩이 긴 사고 과정(chain-of-thought)과 MoE 모델의 저지연 추론에 맞춰졌다고 설명했다. Argon이 정확히 그런 모델이다. 다만 Argon이 지금 8i에서 서비스되고 있다는 발표는 없다. 8i 자체가 아직 정식 출시 전이다.

가격에 남은 흔적

Argon의 정식 가격은 입력 100만 토큰당 4달러, 출력 20달러다. 출시 기념가는 그 절반(2달러/10달러)이다.

독립 평가 기관 Artificial Analysis 기준으로는 GPT-6 Astra와 같은 종합 점수를 약 60% 비용으로 낸다는 보도가 나왔다.

칩을 직접 만드는 회사는 엔비디아에 마진을 내지 않는다. 이게 가격 차이의 전부라고 단정할 수는 없다(모델 크기, 출시 기념 할인, 시장 점유 전략이 다 섞여 있다). 하지만 같은 성능을 더 싸게 팔 여지가 구조적으로 있다는 점은 수직 통합의 가장 직접적인 효과다.

④ 모델이 자기 데이터센터를 고쳤다

발표문에서 인프라 관점으로 가장 흥미로운 대목은 따로 있었다.

Argon 에이전트들이 구글 데이터센터 전체의 프로파일링 데이터를 분석해 메모리 최적화를 스스로 찾고 적용했다. 배포가 끝나면 300 TiB 이상의 메모리가 확보되고, 총 절감량은 500 TiB~1 PiB로 추정된다.

프로파일링은 프로그램이 실행되는 동안 어디서 시간과 메모리를 쓰는지 기록하는 일이다. 구글은 이걸 전 데이터센터 규모로 상시 수집한다.

300 TiB가 어느 정도일까. 메모리 128GB짜리 서버로 치면 약 2,400대분이다. 1 PiB면 그 3배를 넘는다. 서버를 새로 사지 않고 코드만 고쳐서 그만큼의 메모리를 돌려받는다는 뜻이다.

같은 발표에 비슷한 사례가 더 있다.

• 구글의 오픈소스 동영상 디코더 libgav1에서 SIMD 코드 3만 2천 줄을 다시 짜서 2.7배 빨라졌다. 출력 영상은 그대로다.
• 구글 곳곳의 C/C++ 코드를 Rust로 옮기는 작업에 투입됐다. 그중에는 운영체제 Fuchsia의 커널(Zircon)처럼 80만 줄이 넘는 것도 있다.

여기서 클라우드 엔지니어가 볼 지점은 이거다. 인프라 효율화가 사람 대신 모델의 업무가 되기 시작했다. 프로파일 데이터를 읽고, 원인을 찾고, 고치고, 다시 재는 일. 지금까지 성능 엔지니어가 하던 일이다.

⑤ 이걸 받치는 돈

이 모든 걸 받치는 숫자는 설비투자다.

알파벳은 2027년에 투자가 또 늘어난다고 예고했다. 같은 분기에 구글은 TPU 시스템을 고객사 데이터센터에 직접 납품하기 시작했다. 이전까지 TPU는 구글 클라우드에서 빌려 쓰는 것만 가능했다.

즉 TPU는 더 이상 “구글이 자기 모델 만들려고 쓰는 칩”에 머물지 않는다. 앤트로픽은 이미 TPU를 최대 100만 개까지 쓰는 계약을 발표했다. 구글은 모델 회사이면서, 경쟁 모델 회사에 칩을 파는 회사가 됐다.

클라우드 관점에서 무엇이 바뀌었나

세 가지로 정리한다.

첫째, 인프라 정보가 경쟁 정보가 됐다. OpenAI는 “GPU 10만 장”을 자랑했고, 구글은 아무것도 말하지 않았다. 칩을 직접 만드는 회사에게 “몇 개를 썼는지”는 곧 칩 성능과 수율을 드러내는 정보다. 앞으로도 프런티어 모델의 인프라는 점점 덜 공개될 가능성이 높다. 공개 자료로 범위를 좁히는 능력이 필요한 이유다.

둘째, 학습 칩과 추론 칩이 갈라졌다. 8세대에서 구글은 칩을 둘로 쪼갰다. 학습은 한 번 크게, 추론은 매일 끝없이 일어난다. 100만 토큰 출력 같은 기능은 추론 인프라가 받쳐줘야만 상품이 된다. GPU 인스턴스를 고를 때도 “학습용이냐 서빙용이냐”를 먼저 묻는 습관이 필요해졌다.

셋째, 성능 엔지니어링의 일부가 자동화되기 시작했다. 300 TiB 사례는 상징적이다. 프로파일링 데이터를 읽고 고치는 일을 모델이 대규모로 하기 시작했다. 이 영역을 공부하는 사람이라면, 무엇을 측정하고 무엇을 검증해야 하는지 판단하는 쪽의 가치가 더 커질 것이다.

GPU 수천 장이 결국 무엇을 기다리는지 궁금하다면 LLM 학습의 세 병목을 다룬 OSDI 논문 정리를, 이런 인프라를 실제로 굴리는 자리가 궁금하다면 AI 3사 데이터센터 채용공고 분석을 함께 보면 좋다.

⚠️ 이 글은 출처를 세 종류로 구분했다. Argon 관련 사실(출력 한도·가격·내부 활용 사례)은 구글 공식 발표(2026년 9월 30일)와 딥마인드 평가 문서에서 왔다. 칩 사양은 구글이 Ironwood(2025년 4월·11월)와 TPU 8t·8i(2026년 4월 22일)를 발표하며 공개한 수치이고, 세대마다 연산 정밀도(FP8·FP4) 기준이 달라 직접 비교할 수 없다. 설비투자는 알파벳 2026년 2분기 실적 보도 기준이다. Argon이 어느 TPU 세대에서 학습·서비스되는지는 구글이 공개하지 않았으며, 이 글의 해당 부분은 공개 일정에 근거한 추론이다. Astra 대비 비용 비교는 Artificial Analysis 평가를 인용한 언론 보도에서 왔다.

자주 묻는 질문

Gemini 4 Argon은 GPU로 학습했나요, TPU로 학습했나요?

구글은 Argon의 학습 하드웨어를 공개하지 않았습니다. 다만 이전 Gemini 모델들은 모델 카드에 “구글 TPU로, JAX와 Pathways를 써서 학습했다”고 명시돼 있었고, 구글이 GPU로 프런티어 모델을 학습했다는 발표는 지금까지 없었습니다. TPU일 가능성이 매우 높지만, 정확한 세대와 규모는 공식 확인이 안 된 상태입니다.

TPU와 GPU는 무엇이 다른가요?

둘 다 AI 계산을 빠르게 하는 칩입니다. GPU는 원래 그래픽용으로 만들어졌다가 AI에 쓰이게 된 범용 칩이고, 엔비디아가 누구에게나 팝니다. TPU는 구글이 처음부터 AI 계산만을 위해 설계한 칩으로, 칩끼리 묶는 네트워크와 소프트웨어까지 구글이 함께 만듭니다. 그래서 TPU는 수천 개를 하나처럼 묶는 데 유리하지만, 구글 생태계(JAX, 구글 클라우드) 밖에서는 쓰기가 상대적으로 불편했습니다. 8세대에서는 파이토치를 TPU에서 그대로 돌리는 기능이 미리보기로 나왔습니다.

출력 100만 토큰이 왜 어려운가요?

AI는 글을 한 토큰씩 차례로 쓰고, 매번 지금까지 쓴 내용 전체를 다시 참고해야 합니다. 그 참고용 중간 결과(KV 캐시)가 출력이 길어질수록 계속 커져서, 칩 메모리가 모자라고 메모리를 읽는 시간이 병목이 됩니다. 그래서 긴 출력은 모델만 좋아서는 안 되고, 메모리가 크고 칩 간 통신이 빠른 추론 인프라가 함께 있어야 가능합니다.

TPU 8t와 8i는 왜 나눴나요?

학습과 추론이 원하는 것이 달라졌기 때문입니다. 학습은 거대한 계산을 한꺼번에 오래 돌리는 일이라 연산량과 대규모 연결이 중요합니다. 추론, 특히 긴 사고 과정을 거치는 에이전트형 모델의 추론은 연산보다 메모리 용량·메모리 속도·지연 시간이 중요합니다. 구글은 이 둘을 한 칩으로 다 잘하기보다 각각에 맞춘 칩을 따로 만드는 쪽을 택했습니다.

Argon이 데이터센터 메모리를 300 TiB 아꼈다는 건 어떤 의미인가요?

구글은 전 데이터센터에서 프로그램이 어디서 메모리를 쓰는지 기록한 데이터를 갖고 있습니다. Argon 에이전트들이 그 데이터를 분석해 낭비되는 지점을 찾고, 고치는 변경까지 적용했다는 것이 구글의 설명입니다. 128GB 서버로 치면 약 2,400대분의 메모리를 하드웨어 구매 없이 확보한 셈입니다. 성능 엔지니어가 하던 일을 모델이 대규모로 하기 시작했다는 점에서 의미가 큽니다. 다만 이는 구글의 자체 발표이며, 외부에서 검증할 수 있는 수치는 아닙니다.

우리 회사가 클라우드에서 TPU를 써야 하나요?

상황에 따라 다릅니다. 대규모 학습이나 대량 추론을 구글 클라우드에서 돌린다면 TPU는 비용 면에서 검토할 가치가 있습니다. 반대로 파이토치 기반 코드가 많고 여러 클라우드를 오가야 한다면 GPU가 여전히 편합니다. 확실한 건 선택지가 넓어지고 있다는 점입니다. 구글이 TPU를 고객 데이터센터에 직접 납품하기 시작했고, 앤트로픽 같은 경쟁 모델 회사도 TPU를 대규모로 쓰고 있습니다.