용어사전

TPU

[Tensor Processing Unit]

TPU는 구글(Google)이 개발한 인공지능(AI) 및 딥러닝(Deep Learning) 연산에 최적화된 맞춤형 반도체, 즉 ASIC(Application-Specific Integrated Circuit)이다. 텐서플로(TensorFlow) 프레임워크에 최적화된 구조로 시작되었으나, 이후 JAX, PyTorch 등 다양한 프레임워크를 지원하는 방향으로 발전해왔다.

TPU는 AI 모델의 학습(training)과 추론(inference)을 빠르고 효율적으로 처리하도록 설계되었으며, 2015년 개발을 시작해 2016년에 처음 공개되었다. 현재는 챗봇, 이미지 생성, 코드 자동화 등 생성형 AI 모델의 학습과 서비스에 활용되고 있다.

2025년 11월 출시된 제미나이 3(Gemini 3) 훈련에 TPU v4 및 v5p 클러스터가 사용된 것으로 알려졌다. 제미나이 3는 멀티모달 처리와 언어 이해 등 다양한 벤치마크에서 기존 GPT 모델과 경쟁하며, 엔비디아 GPU 중심으로 형성된 AI 가속기 시장에 변화의 가능성을 제시했다.

같은 해 4월, 구글 클라우드는 7세대 TPU인 아이언우드(Ironwood)를 공개하며 추론(inference)에 최적화된 최신 칩을 선보였다. 아이언우드는 이전 세대인 TPU v5p 대비 최대 10배 향상된 피크 연산 성능과, 더욱 향상된 에너지 효율을 제공한다. 또한, 고대역폭 메모리(HBM) 용량은 6배 증가하였으며, 최대 9,216개의 칩을 연결해 하나의 Superpod로 구성할 수 있으며, 이 경우 최대 42.5 엑사플롭스(ExaFLOPS)의 추론 성능을 제공할 수 있다.

이러한 기술적 진화는 구글이 AI 인프라 운영에서 엔비디아(NVIDIA) GPU에 대한 의존도를 줄이고, 자체적인 AI 생태계를 강화하려는 전략의 일환으로 해석된다. 초대형 언어 모델의 실시간 서비스 수요가 급증함에 따라, TPU의 활용도와 수요 역시 앞으로 지속적으로 확대될 것으로 예상된다.

관련어

• 참조어AI칩, 구글 텐서, 엔비디아