구글 TPU 8tx·TPU 8i Max 차이 — 8t에 보안을 얹고, 8i는 칩 2개를 한 패키지로

구글이 2026년 11월 9일(미국 시각) 8세대 TPU 제품군에 TPU 8tx와 TPU 8i Max 두 시스템을 추가했다. 4월 구글 클라우드 넥스트에서 공개한 TPU 8t(학습용)·TPU 8i(추론용)에 이은 세 번째·네 번째 시스템이다. 구글 AI·인프라 최고기술책임자 아민 바닷은 회사 블로그에서 한 해에 TPU 시스템 네 종을 내놓은 것은 처음이라고 밝혔다.

두 시스템은 새 칩이 아니다. 8tx는 8t와 같은 실리콘에 보안 기능을 갖춘 호스트를 붙인 것이고, 8i Max는 8i 칩 2개를 한 패키지에 넣은 것이다. 이미 만든 칩을 조합해 '규제 산업용'과 '초대형 컨텍스트용'이라는 두 시장을 따로 겨냥한 셈이다. 구글은 TPU 고객이 프런티어 AI 연구소, 트레이딩 회사, 유통사, 대학을 포함해 100곳에 가깝다고 했다. 고객사 이름은 밝히지 않았다.

1. 한눈에 보는 8세대 TPU 네 종

표의 수치는 모두 구글 자체 발표다. 독립 기관이 측정한 벤치마크는 아직 없다.

이름 읽는 법은 단순하다. t는 학습(training), i는 추론(inference)이다. 여기에 x가 붙은 8tx는 8t의 변형이고, Max가 붙은 8i Max는 8i의 확장판이다. 다만 8tx는 이름과 달리 대규모 학습용이 아니다. 구글은 8tx의 용도를 '안전한 기밀 추론'과 '소규모 학습'이라고 설명했다. 학습용 칩의 실리콘을 쓰되, 추론용 8i의 네트워크 구조를 가져와 응답 지연을 줄인 혼합형이다.

2. TPU 8tx — 기밀 컴퓨팅이 무엇이고 왜 AI 칩에 필요한가

데이터가 가장 무방비한 순간

데이터는 세 가지 상태에 있다. 디스크에 저장돼 있을 때, 네트워크로 전송될 때, 그리고 프로세서가 처리할 때다. 앞의 둘은 암호화가 이미 보편화됐다. 문제는 세 번째다. 계산을 하려면 암호를 풀어 메모리에 올려야 하고, 그 순간 데이터는 평문으로 존재한다.

기밀 컴퓨팅(confidential computing)은 이 세 번째 구간을 하드웨어로 막는 기술이다. 프로세서가 메모리의 일부를 암호화된 격리 구역으로 만들고, 그 안에서만 데이터를 풀어 계산한다. 서버를 운영하는 클라우드 회사의 관리자나 시스템 소프트웨어도 그 안을 들여다볼 수 없게 하는 것이 목표다. 구글 블로그는 8tx가 "데이터와 모델 가중치를 사용 중에도 격리"한다고 설명했다.

왜 AI 가속기에서 어려웠나

CPU 쪽 기밀 컴퓨팅은 새 기술이 아니다. AMD의 SEV(Secure Encrypted Virtualization)를 쓴 기밀 가상머신은 구글 클라우드를 비롯한 여러 클라우드에서 수년 전부터 제공돼 왔다. 빈틈은 가속기였다. AI 작업에서는 데이터가 CPU 메모리에 머물지 않고 GPU나 TPU로 넘어가 계산된다. CPU만 격리해서는 정작 계산이 일어나는 곳이 보호되지 않는다.

8tx는 이 구간을 메우려는 시스템이다. 이위크가 전한 AMD의 11월 9일 발표에 따르면, 5세대 EPYC 호스트 CPU의 SEV 기능이 기밀 컴퓨팅 보호 범위를 호스트에서 연결된 가속기까지 넓히고, 가속기의 신원과 보안 설정을 하드웨어로 확인한다. 서브더홈은 호스트가 5세대 EPYC(코드명 튜린) 2소켓 구성이라고 전했다.

구글이 든 용도는 비공개 미세조정, 큰 모델을 작은 모델로 옮기는 증류, 에이전트용 강화학습이다. 민감한 데이터를 여러 클러스터로 옮기지 않고 한곳에서 처리할 수 있다는 것이 구글의 설명이다.

'최대 2배'는 속도가 아니라 지연 시간이다

8tx의 성능 주장은 보도마다 방향이 다르게 옮겨졌다. 원문을 기준으로 정리하면 이렇다.

구글 원문은 '8t보다 지연 시간이 최대 2배 낮다'이다. 지연 시간(latency)은 요청을 보내고 응답이 오기까지 걸리는 시간이고, 처리량(throughput)은 일정 시간에 처리하는 총량이다. 지연이 절반이 됐다고 해서 처리량이 2배가 된다는 뜻은 아니다. 따라서 '2배 빠르다'는 표현은 원문보다 넓게 읽힌 것이다. 비교 대상도 이전 세대 TPU가 아니라 같은 8세대의 8t다.

이 개선의 출처도 보안 기능이 아니다. 구글은 8tx가 8i의 보드플라이 네트워크를 쓰기 때문이라고 설명했다. 서브더홈에 따르면 보드플라이는 칩 사이를 건너는 최대 홉 수가 7로, 학습용 토러스 구조의 16보다 짧다. 학습용 칩에 추론용 배선을 깔아 응답을 빠르게 한 것이다. 어떤 작업에서 잰 수치인지, 절대값이 얼마인지는 공개되지 않았다. '보안에 따른 성능 손실이 거의 없다'는 주장 역시 구글의 자체 설명이다.

3. TPU 8i Max — 칩 2개를 한 패키지에, HBM 대역폭 2배

8i Max는 구조가 단순하다. TPU 8i 칩 2개를 하나의 패키지에 올렸다. 구글은 이 시스템이 8i 대비 연산 2배, SRAM 2배, HBM 대역폭 2배를 내고, 기존 랙 면적에 실리콘을 2배로 넣는다고 밝혔다.

겨냥한 문제는 '메모리 벽'이다. AI 에이전트 여러 개가 커다란 코드 저장소를 통째로 읽거나 긴 영상을 다루면 모델이 한 번에 붙들고 있어야 하는 컨텍스트가 매우 커진다. 이때 병목은 연산 속도보다 메모리에서 데이터를 얼마나 빨리 꺼내 오느냐, 즉 대역폭에서 생긴다. 칩 2개를 한 패키지에 넣으면 칩 사이 거리가 짧아지고, 각 칩에 붙은 HBM이 합쳐져 대역폭이 2배가 된다.

눈여겨볼 대목은 용량이다. 서브더홈이 전한 수치대로라면 대역폭은 2배인데 HBM 용량은 약 33%만 늘었다. 대역폭과 용량은 다른 지표다. 대역폭은 초당 옮길 수 있는 데이터 양이고, 용량은 담아 둘 수 있는 양이다. 다만 384GB라는 수치는 한 매체에서만 확인했고 구글 블로그 본문에는 없으므로 확정된 사양으로 보기는 이르다.

한국 메모리 업체에 뜻하는 바 — 확인된 것과 추측

HBM은 SK하이닉스·삼성전자·마이크론 세 회사가 만든다. 이번 발표와 관련해 확인된 것과 아닌 것을 나누면 다음과 같다.

아래 두 줄은 추측이다. 공급사가 공개되지 않은 이상 이번 발표를 특정 한국 업체의 수혜로 단정할 근거는 없다.

4. 시장 반응과 남은 것

블룸버그는 이번 발표를 구글이 엔비디아와의 경쟁을 한 단계 끌어올린 것으로 보도했다. 인베즈가 인용한 블룸버그 인텔리전스 추정에 따르면 구글 TPU 매출은 2026년 약 120억 달러에서 2028년 1,350억 달러를 넘을 수 있다.

알파벳 상승폭은 보도 시점에 따라 달라 하나의 숫자로 정리되지 않는다. 엔비디아 하락은 TPU 발표 하나로 설명할 수 없다. 같은 날 엔비디아 이사회의 독립 조사 소식이 함께 나왔기 때문이다. 이 사안은 2026년 11월 10일 지면 「엔비디아 젠슨 황 조사」에서 다뤘다.

아직 공개되지 않은 것은 다음과 같다.

자주 묻는 질문

Q. TPU 8tx는 새로 설계한 칩인가? 아니다. 구글은 8tx가 TPU 8t와 같은 실리콘을 쓴다고 밝혔다. 달라진 것은 5세대 AMD EPYC 호스트와 기밀 컴퓨팅 기능, 그리고 8i에서 가져온 보드플라이 네트워크다.

Q. TPU 8i Max는 8i보다 2배 빠른가? 구글이 밝힌 것은 연산·SRAM·HBM 대역폭이 8i의 2배라는 것이다. 칩이 2개이니 자원이 2배라는 뜻이고, 실제 작업 속도가 2배라는 측정값은 공개되지 않았다.

Q. 기밀 컴퓨팅을 쓰면 클라우드 회사도 내 데이터를 못 보나? 그것이 설계 목표다. 다만 실제로 그런지는 증명(attestation) 구조와 외부 검증으로 확인해야 하는데, 8tx는 이 부분이 아직 공개되지 않았다.

Q. 일반 기업이 바로 쓸 수 있나? 가격과 출시 시점이 공개되지 않았다. 4월에 나온 8t·8i는 2026년 하반기 일반 제공 예정이라고 발표됐었다(MLQ.ai).

구글이 엔비디아 GPU 대신 자기 칩을 만드는 배경은 「커스텀 AI 칩(ASIC)이란」에서, 학습용과 추론용 칩을 따로 만드는 이유는 「AI 추론 칩이란」에서, 대역폭이 왜 AI 칩의 병목인지는 「HBM이란」에서 다뤘다.