GPU 10만 장을 한 번에 돌린다는 것: GPT-6 Astra를 만든 텍사스 데이터센터

2026년 9월 3일, OpenAI가 GPT-6 Astra를 내놨다. 다음 날 일반 공개됐다.

벤치마크 점수가 화제였다. 수학 문제 세트에서 97.6%, ARC-AGI-3에서 99.9%, 보안 취약점 발굴 테스트에서 100%. “AGI 아니냐”는 말이 나온 배경이다.

이 글은 그 얘기를 하지 않는다. 이런 모델이 나오려면 밑에 뭐가 깔려야 하는지를 본다. 결론부터 말하면, 이번에 바뀐 건 알고리즘보다 건물과 전기다.

먼저: 정말 AGI인가

짚고 가야 한다. ARC-AGI 점수가 높다고 AGI는 아니다.

ARC-AGI는 이름에 AGI가 들어가지만 문제 세트 이름이다. 사람은 쉽게 푸는데 AI는 못 푸는 패턴 문제를 모아둔 시험지다. 99.9%는 “이 시험지를 다 풀었다”는 뜻이지 “사람처럼 생각한다”는 뜻이 아니다.

시험지를 다 풀면 그 시험지는 수명을 다한 것이고, 사람들은 다음 시험지를 만든다. ARC-AGI-3이라는 이름 자체가 이미 세 번째라는 뜻이다.

다만 성능이 크게 올라간 건 사실이다. 그리고 그 성능이 어디서 왔는지는 꽤 분명하다.

① “10만 장”이라는 숫자

OpenAI 연구 부사장 에이단 클라크가 기자들에게 한 말이 이번 발표의 핵심이다.

“지금까지 중 압도적으로 가장 큰 학습이었다. 텍사스 스타게이트 사이트에서 GPU 10만 장 이상으로 사전학습한 건 이번이 처음이다.“

여기서 사전학습(pretraining) 은 모델을 맨 처음부터 대량의 데이터로 가르치는 단계다. 가장 오래 걸리고 가장 비싼 단계다.

그런데 “GPU 10만 장”이 왜 어려울까. 10만 대의 서버를 사서 늘어놓으면 되는 것 아닌가.

아니다. 한 번에 묶어서 하나처럼 써야 한다는 게 어려운 지점이다.

비유하자면 이렇다. 10만 명이 각자 다른 사무실에서 따로 일하는 건 쉽다. 그런데 10만 명이 같은 문서 하나를 동시에 고치면서 매 순간 서로의 수정 내용을 맞춰야 한다면? 사람이 늘수록 회의만 길어진다.

AI 학습이 정확히 그렇다. GPU들은 계산 결과를 끊임없이 서로 주고받아야 한다. 그래서 장비를 늘리는 것보다 장비끼리 얼마나 빨리 대화하느냐가 진짜 병목이 된다.

이 문제는 이미 다뤘다 — GPU 수천 장이 스토리지를 기다리는 현상도 같은 계열의 병목이다.

② 그 10만 장이 있는 곳: 애빌린

텍사스 애빌린. 인구 12만 명쯤의 도시다. 여기에 스타게이트라는 이름의 데이터센터 단지가 있다.

소유는 오라클, 사용은 OpenAI다. 클라우드 회사가 건물과 장비를 대고, AI 회사가 빌려 쓰는 구조다.

연구기관 Epoch AI가 추적한 2026년 7월 말 기준 숫자는 이렇다.

H100 환산은 단위를 맞추기 위한 계산이다. GPU 세대마다 성능이 달라서, 예전 기준 모델인 H100 몇 장어치인지로 바꿔 세는 것이다.

421MW가 감이 안 올 수 있다. 원자력발전소 1기가 대략 1,000MW를 만든다. 이 단지 하나가 발전소 절반쯤을 먹는다는 뜻이다.

③ 지어지는 데 걸린 시간

여기가 이 글에서 제일 중요한 대목이다. 날짜를 보면 이야기가 보인다.

2024년  5월    땅 고르기 시작
2025년  9월    1동 가동   (105 MW)
2025년 12월    2동 가동   (211 MW)
2026년  5월    3·4동 가동 (421 MW)
2026년  9월    ← GPT-6 Astra 학습 완료·출시
2026년 11월    5~8동 가동 예정

3·4동이 켜진 게 5월이고, 모델이 나온 게 9월이다.

즉 이 모델은 건물이 완성되자마자 그 위에서 돌려서 만든 것이다. 반도체 공급이나 알고리즘이 아니라, 콘크리트 타설과 배전반 설치 일정이 모델 출시일을 결정했다.

땅 고르기부터 4개 동을 켜기까지 2년이 걸렸다. 그동안 소프트웨어 엔지니어는 기다렸다.

④ 어떤 장비를 어떻게 조합했나

Epoch AI가 확인한 현재 구성은 엔비디아 B200 약 10만 장과 B300 약 10만 장이다. B200·B300은 엔비디아의 블랙웰 세대 AI 가속기다.

가속기(accelerator) 는 AI 계산 전용 칩을 부르는 말이다. GPU가 대표적이라 흔히 GPU라고 부른다.

랙 구성이 특이하다. 발표된 설계는 GB200 NVL72를 쓴다. 이건 개별 서버가 아니라 랙 하나가 통째로 한 대인 물건이다.

• 랙 한 개에 GPU 72장이 들어간다
• 그 72장이 랙 내부 전용 통신선으로 묶여 하나처럼 동작한다
• 앞서 말한 “서로 대화하는 비용”을 랙 단위로 먼저 줄이는 설계다

문제는 열이다. 랙 하나에 GPU 72장을 넣으면 전기난로 수십 대를 옷장에 넣은 것과 비슷해진다. 공기로는 못 식힌다. 그래서 물을 칩에 직접 붙여 식히는 액체냉각이 필수다.

그 열을 최종적으로 바깥에 버리는 장비가 냉방기(칠러)다. 애빌린에는 칠러 320대가 돌아가고, 냉방 용량이 562.7MW다. 8개 동이 다 켜지면 640대, 1,125MW가 된다.

정리하면 장비 조합은 이렇게 층을 이룬다.

칩          B200 / B300 (블랙웰 세대 가속기)
  ↓
랙          GB200 NVL72 — GPU 72장을 한 덩어리로
  ↓
건물        1동당 수만 장, 총 8동
  ↓
전력        421 MW (→ 843 MW)
  ↓
냉방        칠러 320대 / 562.7 MW

참고: 발표 자료의 계획치(GB200 45만 장, 1.2GW)와 Epoch AI의 실측치(B200·B300 각 10만 장, 421MW)는 다르다. 계획과 현재 가동분은 구분해서 읽어야 한다. 냉각 방식도 발표는 “폐회로 액체냉각”, 실측 기록은 “공랭식 칠러”인데, 이는 칩을 식히는 방식과 그 열을 바깥에 버리는 방식이 서로 다른 층이기 때문으로 보인다.

⑤ 소프트웨어도 한 가지를 바꿨다

하드웨어만으로 다 설명되지는 않는다. Astra는 구조도 바꿨다. 루프 트랜스포머(looped transformer), 또는 재귀 깊이(recurrent depth) 라고 부른다.

기존 방식은 이렇다. AI 모델은 층(layer)이 쌓인 건물 같다. 데이터가 1층부터 꼭대기까지 올라가면서 조금씩 처리된다. 더 깊게 생각하게 하려면 층을 더 쌓아야 했다. 층을 쌓으면 모델이 커지고, 커지면 메모리와 비용이 늘어난다.

루프 방식은 다르다. 같은 층을 여러 번 반복해서 통과시킨다. 10층 건물을 5번 돌면 50층을 지나간 효과를 내는데, 건물은 여전히 10층이다. 파라미터도 메모리도 안 늘어난다.

대신 논란이 하나 생겼다. 모델이 답을 내기까지의 생각 과정(chain of thought)이 잘 안 보이게 된다는 것이다. 같은 층을 반복하니 중간 단계를 밖에서 읽기 어렵다. 안전성 관점에서 문제가 될 수 있다.

OpenAI 수석과학자 야쿠프 파호츠키는 반복 횟수에 상한을 두어 관찰 가능성을 유지한다고 밝혔다.

⑥ 10만 장을 돌리면 반드시 깨진다

마지막으로 운영 쪽 이야기다. 이건 클라우드를 공부하는 사람에게 가장 실감나는 부분일 것이다.

GPU 10만 장을 몇 달간 돌리면 장비는 반드시 고장 난다. 확률 문제다. 한 대가 1년에 한 번 고장 나는 부품이라도, 10만 대면 하루에도 여러 번 터진다.

문제는 앞서 말한 구조 때문이다. 10만 장이 한 몸처럼 움직이고 있으므로, 한 장이 이상해지면 전체가 멈춘다. 일반 웹 서비스처럼 “고장 난 서버만 빼면” 되는 게 아니다.

더 고약한 경우도 있다. 하드웨어가 에러를 내지 않고 조용히 틀린 값을 계산하는 것이다. 이러면 학습이 멈추지도 않고, 그냥 며칠치 결과가 조용히 망가진다. 이 문제는 트러블슈팅 방법 자체를 바꾸고 있다.

그래서 이런 규모의 회사들은 하드웨어 고장을 찾아내는 일을 소프트웨어 엔지니어 직무로 따로 뽑는다. 실제로 AI 3사 채용공고를 뜯어보면 그런 자리가 여럿 열려 있고, 그중 하나는 애빌린 현장에 주 5일 상주를 요구한다. 이 글에 나온 바로 그 애빌린이다.

클라우드 관점에서 무엇이 바뀌었나

세 가지로 정리한다.

첫째, 병목이 칩에서 건물로 옮겨갔다. 예전에는 “GPU를 못 구해서” 못 했다. 지금은 GPU를 구해도 넣을 건물과 끌어올 전기가 없어서 못 한다. 애빌린 일정표가 그 증거다.

둘째, 클라우드 회사의 역할이 달라졌다. 오라클이 한 일은 서버 임대가 아니라 발전소급 시설을 지어서 통째로 빌려주는 것이다. AI 회사는 건물을 짓지 않고 빌린다. 이건 예전의 “서버 몇 대 빌린다”와 성격이 완전히 다르다.

셋째, 물리 인프라 지식이 다시 값이 생겼다. 전력, 냉각, 랙 밀도, 배선. 클라우드가 등장하면서 “그건 남이 알아서 하는 것”이 됐던 영역이 다시 올라왔다. 다만 규모가 발전소급이다.

지금 클라우드를 공부하는 중이라면, 여기서 가져갈 건 벤치마크 점수가 아니다. 모델 성능 뒤에 콘크리트와 배전반이 있다는 사실, 그리고 그 층을 이해하는 사람이 지금 귀해졌다는 것이다.

⚠️ 이 글의 수치는 출처가 두 종류다. 가동 실측치(연산량·전력·냉방·건물·투자액)는 연구기관 Epoch AI가 2026년 7월 28일 기준으로 추적한 값이고, 투자액은 그중에서도 추정치다. 계획치(GB200 45만 장, 1.2GW 등)는 OpenAI·오라클 발표에서 온 값으로 아직 실현되지 않았다. 둘은 서로 다르며, 이 글은 구분해서 표기했다. 학습 규모에 대한 발언은 OpenAI 연구 부사장 에이단 클라크가 언론에 밝힌 내용이고, 루프 트랜스포머 설명은 공개된 기술 논의를 정리한 것으로 OpenAI가 구조를 전부 공개한 것은 아니다. GPT-6 Astra는 2026년 9월 3일 공개돼 아직 검증이 진행 중이다.

자주 묻는 질문

GPU를 10만 장 쓰면 성능도 10만 배가 되나요?

아닙니다. 장비를 두 배로 늘려도 성능이 두 배가 되지 않습니다. GPU들이 서로 계산 결과를 주고받아야 하는데, 대수가 늘수록 그 통신 비용이 함께 커지기 때문입니다. 그래서 이 분야의 기술 경쟁은 “몇 장을 샀나”가 아니라 “몇 장까지 하나처럼 묶을 수 있나” 에 가깝습니다. GB200 NVL72처럼 랙 단위로 먼저 묶는 설계가 나오는 이유가 이것입니다.

왜 텍사스 애빌린 같은 곳에 짓나요?

땅값과 전기 때문입니다. 이 정도 규모는 도심에 지을 수 없습니다. 넓은 땅, 송전망 접근성, 그리고 전기를 대량으로 싸게 살 수 있는 조건이 우선입니다. 인구 12만 명의 도시에 발전소 절반을 먹는 시설이 들어서는 이유가 그것입니다. 다만 지역 주민 입장에서는 전기와 물 사용이 걱정거리라, AI 회사들이 지역사회 담당자를 따로 채용할 만큼 실제 쟁점이 됐습니다.

액체냉각은 왜 필요한가요?

칩이 내는 열이 공기로 감당할 수 있는 수준을 넘었기 때문입니다. 랙 하나에 GPU 72장이 들어가면 열 밀도가 예전 서버실과 비교가 안 됩니다. 공기는 열을 옮기는 능력이 물보다 훨씬 떨어져서, 이 밀도에서는 아무리 세게 불어도 못 식힙니다. 그래서 물을 칩 가까이까지 끌고 갑니다. 대신 배관·누수 관리라는 새로운 운영 부담이 생깁니다.

우리 회사도 이런 걸 알아야 하나요?

직접 이 규모를 다룰 일은 거의 없습니다. 다만 영향은 받습니다. 클라우드에서 GPU 인스턴스를 못 구하거나 가격이 오르는 이유가 이런 대형 단지들의 일정과 전력 계약에 달려 있기 때문입니다. 특정 리전에 원하는 GPU가 없을 때, 그게 재고 문제가 아니라 그 지역 전력 문제일 수 있다는 것 정도는 알아둘 만합니다.

루프 트랜스포머는 기존 방식보다 무조건 좋은 건가요?

장단이 있습니다. 장점은 모델을 키우지 않고도 더 깊게 계산할 수 있다는 것이고, 그래서 메모리와 비용에서 유리합니다. 단점은 생각 과정이 밖에서 잘 안 보인다는 점입니다. AI가 왜 그 답을 냈는지 추적하는 일이 어려워지고, 이건 안전성 논의에서 실제로 문제가 제기됐습니다. OpenAI는 반복 횟수에 상한을 두는 방식으로 절충했다고 밝혔습니다.

AGI에 도달했다는 말은 어디까지 믿어야 하나요?

벤치마크 점수와 AGI는 다른 얘기입니다. ARC-AGI는 이름에 AGI가 들어갈 뿐 문제 세트 이름이고, 만점은 “이 시험지를 다 풀었다”는 뜻입니다. 실제로 이 시험지는 이미 3세대째이고, 다 풀리면 다음 세대가 나옵니다. 성능이 크게 올라간 것은 사실이지만, 특정 시험에서의 만점을 일반 지능의 달성으로 읽는 것은 비약입니다. 게다가 이 모델은 공개된 지 며칠 되지 않아 독립적인 검증이 아직 쌓이지 않았습니다.