TPU v2는 구글이 신경망 머신러닝 워크로드를 가속화하기 위해 개발한 주문형 집적 회로(ASIC)인 2세대 텐서 처리 장치(Tensor Processing Unit)이다. 2017년 5월에 발표되었으며, 원래 TPU의 뒤를 이어 부동소수점 계산 기능과 구글 브레인(Google Brain)이 발명한 bfloat16 형식을 포함하는 등 중요한 아키텍처 개선을 도입했다. 이로 인해 TPU v2는 정수 연산에만 제한되었던 전임자와 달리 머신러닝 모델의 훈련과 추론 모두에 적합해졌다. TPU v2는 구글 클라우드의 Cloud TPU 서비스를 통해 제3자에게 제공되었으며, 트랜스포머 기반 모델과 대규모 언어 모델을 포함한 구글 자체 프로덕션 시스템에서 광범위하게 사용되었다.
TPU v2는 1세대 TPU의 메모리 대역폭 한계를 해결하기 위해 설계되었다. 16GB의 고대역폭 메모리(HBM)를 통합함으로써 2세대 설계는 메모리 대역폭을 600GB/s로 늘리고 칩당 45테라플롭스의 성능을 제공했다. 이 칩들은 4칩 모듈로 구성되어 총 180테라플롭스의 성능을 달성했으며, 이러한 모듈 64개가 256칩 포드로 조립되어 총 11.5페타플롭스의 성능을 제공했다. 이러한 확장 가능한 아키텍처 덕분에 구글은 신경망 및 딥러닝을 포함한 대규모 머신러닝 작업에 TPU v2 시스템을 배포할 수 있었다.
개발 및 역사
TPU v2의 개발은 구글 커스텀 실리콘 그룹을 설립하고 이끈 아미르 살레크(Amir Salek)가 주도했으며, 노먼 P. 주피(Norman P. Jouppi)가 전체 TPU 프로그램의 기술 책임자이자 수석 아키텍트를 맡았다. 원래 TPU는 단 15개월 만에 프로덕션에 배포되었으며, v2는 그 기반 위에 구축되었다. 원래 TPU 엔지니어 중 한 명이자 이후 Groq의 창립자가 된 조나단 로스(Jonathan Ross)에 따르면, 시스톨릭 어레이 아키텍처를 사용하는 TPU 설계는 구글의 세 가지 경쟁 AI 가속기 제안 중에서 선택되었다. TPU v2는 업계 최초의 프로덕션 딥러닝 훈련 칩으로, AI용 커스텀 실리콘의 이정표를 세웠다. 브로드컴(Broadcom)은 TPU v2를 공동 개발하여 구글의 아키텍처를 제조 가능한 실리콘으로 변환하고 TSMC와 같은 파운드리를 통해 제조를 관리했다.
기술 사양
TPU v2는 정수 및 부동소수점 산술을 모두 지원하는 행렬 곱셈 엔진이다. 주요 혁신은 기존 16비트 형식보다 더 넓은 동적 범위를 제공하면서도 메모리와 대역폭을 덜 요구하는 16비트 부동소수점 표현인 bfloat16 형식의 도입이었다. 이는 심층 신경망 훈련에 특히 효과적이었다. 각 TPU v2 칩에는 곱셈기와 누산기의 시스톨릭 어레이와 함께 600GB/s의 대역폭을 제공하는 16GB의 HBM이 포함되어 있다. 칩은 4칩 모듈로 상호 연결되며, 이러한 모듈은 더 큰 포드로 결합된다. 256칩 포드 구성은 11.5페타플롭스를 제공하여 트랜스포머 및 기타 대규모 언어 모델 훈련과 같은 작업에 막대한 병렬 계산을 가능하게 한다.
응용 및 사용
구글은 다양한 프로덕션 응용 프로그램에서 TPU v2 시스템을 사용했다. 이 시스템은 알파고 대 이세돌 바둑 시리즈와 게임 규칙만으로 체스, 쇼기, 바둑을 학습한 알파제로(AlphaZero) 시스템에 사용되었다. TPU는 또한 구글 스트리트 뷰 텍스트 처리에도 사용되어 스트리트 뷰 데이터베이스의 모든 텍스트를 5일 미만 만에 추출할 수 있게 했다. 구글 포토에서는 단일 TPU가 하루에 1억 장 이상의 사진을 처리할 수 있었다. 또한 TPU v2는 검색 결과를 제공하는 구글의 시스템인 RankBrain에도 사용되었다. 구글 클라우드의 Cloud TPU 서비스를 통해 제3자는 TensorFlow, JAX, PyTorch와 같은 프레임워크를 지원하는 자체 머신러닝 워크로드에 TPU v2를 액세스할 수 있었다.
GPU와의 비교
GPU와 비교할 때 TPU는 줄당 더 많은 입출력 작업을 제공하는 대용량, 저정밀도 계산을 위해 설계되었다. 래스터화나 텍스처 매핑을 위한 하드웨어가 없으며 대신 행렬 연산에 집중한다. TPU는 합성곱 신경망(CNN)에 잘 맞는 반면, GPU는 일부 완전 연결 신경망에 이점이 있고, CPU는 순환 신경망(RNN)에 이점이 있을 수 있다. 대규모 언어 모델을 위한 트랜스포머 기반 신경망 워크플로우에서 TPU는 종종 추론에 사용되고 GPU는 훈련에 자주 사용된다. 이러한 역할 분담은 각 프로세서 유형의 서로 다른 강점을 반영하며, TPU는 많은 현대 AI 모델에서 발견되는 특정 계산 패턴에 탁월하다.
유산 및 영향
TPU v2는 칩당 두 배의 성능과 4배 많은 칩을 갖춘 포드를 제공하는 2018년 5월 8일에 발표된 TPU v3를 포함한 이후 세대의 구글 TPU 하드웨어의 템플릿을 확립했다. bfloat16의 도입은 AI 하드웨어 생태계에 지속적인 영향을 미쳐 다른 가속기 설계에도 영향을 주었다. 2025년 현재 구글 클라우드는 TPU 시스템 판매에서 상당한 제품 수익을 창출하고 있으며, 구글은 다양한 "네오클라우드" 및 메타(Meta)와 같은 기업과 데이터 센터에 TPU를 배포하는 방안을 논의해 왔다. TPU v2는 인공지능 하드웨어 역사에서 머신러닝을 위한 커스텀 실리콘의 가치를 입증한 기반 플랫폼으로 남아 있다.