在AI算力争霸中，英伟达凭借GPU市值狂飙，但谷歌TPU正悄然撕开一道裂缝——2024年苹果用TPU训练AI，2025年Anthropic签下数十亿美元TPU订单，Meta也租用TPU跑Llama。这款从谷歌搜索推荐系统里“长出来”的定制芯片，究竟藏着多少能与GPU抗衡的秘密？前谷歌TPU工程师Henry（2018-2024年参与三代TPU研发）从硬件架构、软件生态、供应链三个维度，揭开了TPU的神秘面纱。

一、架构对决：TPU是“流水线”，GPU是“大厨厨房”

TPU与GPU的设计哲学截然不同。Henry用“厨房”比喻：  
• GPU像“大厨厨房”（SIMT架构）：众多独立大厨（线程）并行处理多任务，灵活但调度成本高，矩阵计算时易因数据搬运出现“空闲周期”（idle period），利用率受限。  

• TPU是“流水线”（专为矩阵计算定制）：每个步骤指令明确（如“取菜→加工→传递”），类似心脏泵血，减少调度损耗，通过芯片间互联（ICI）构建3D Torus网络，让数千张芯片在用户感知中如同一张芯片协同工作，内存利用率拉满。  

核心差异：TPU通过软硬件深度协同，在已知任务负载时对整颗TPU Pod全局优化（算子融合、内存管理），将硬件性能“榨干”；而GPU早期依赖单卡性能，集群协同弱于TPU。  

成本优势：当任务负载明确（如大模型预训练），TPU的TCO（总拥有成本）更低。例如，谷歌Ironwood芯片物理参数接近英伟达GB200，但因软硬件协同优化，训练效率更高，推理成本比GPU低（省去NVLink/NVSwitch交换机“基础设施税”）。

二、产能之困：HBM、封装与良率的“卡脖子”难题

TPU的产能高度受制于三大瓶颈：  
1. HBM（高带宽内存）垄断：仅SK海力士、三星、美光三家供应，英伟达是最大客户，TPU长期是“次要客户”，难以获得优质HBM或大订单。  
2. CoWoS封装依赖台积电：TPU采用2.5D堆叠封装（计算芯片+HBM），需台积电CoWoS产能，而该产能被英伟达等巨头瓜分。  
3. 良率挑战：TPU强调芯片间通信一致性，良率低会导致整系统效率下降；而GPU可通过“阉割版”（如H100/A100）应对，TPU因定制化无法降级，良率差则芯片报废。  

Henry透露，TPU V7前因内部部署为主，未与外部供应链（博通、台积电、HBM厂商）锁定大订单，导致产能受限；即使Anthropic下单100万颗TPU，仍需依赖博通争取台积电CoWoS产能，议价权被压缩。

三、软件黑盒XLA：性能“双刃剑”

TPU的软件核心是XLA编译器，它被Henry称为“谷歌的秘密武器”，但也因“黑盒”特性阻碍生态扩展：  
• 优势：静态编译器可在已知任务负载时全局优化（算子融合、内存管理），将硬件利用率拉满（如Gemini训练效率提升）。  

• 劣势：外部开发者难调试（需硬件知识），无法像CUDA生态那样自主修补bug；PyTorch/JAX/TensorFlow代码需通过XLA转为TPU汇编，迁移成本高。  

Anthropic、苹果能用好TPU，因前者有谷歌背景工程师，后者由前谷歌高管带团队迁移软件栈；普通客户若用谷歌云跑TPU，利用率仅50%-60%（需付全价），而直接购买TPU机架（如Anthropic）才能发挥全部性能。

四、定制芯片的终极痛点：押注模型范式的风险

TPU是专为机器学习设计的ASIC芯片，优势是“已知任务负载下的极致优化”，但风险也源于此——需在两年前预测模型走向（芯片设计周期2-3年，而模型每6个月迭代一次）。  

• 先发优势：TPU因谷歌发明Transformer架构，早期针对Attention优化，V6/V7代在Transformer预训练中表现优异（如Gemini 3）。  

• 通用性妥协：为应对模型快速迭代（如MoE从低效到高效），TPU引入3D Torus网络、稀疏计算单元，向通用性靠拢；但GPU因通用性强，在算法变化时迭代更快。  

Henry担忧：若未来模型范式脱离Transformer（如新架构），TPU的定制优势可能被GPU反超。

五、供应链命门：博通的角色与HBM的“上限”

博通是TPU供应链的关键“中间人”：负责ICI（芯片间互联）的物理连接与拓扑网络布局，帮谷歌争取台积电CoWoS产能。但博通的议价权随TPU订单增长而提升，可能推高成本。  

HBM决定性能上限：当前AI从计算密集型转向内存密集型（如Attention需快速搬运内存数据），HBM质量直接影响训练效率。英伟达垄断HBM产能，TPU若拿不到优质HBM，性能将被限制。

六、TPU十年进化：从推荐系统到AI大模型

TPU的诞生源于谷歌内部需求：2013年Jeff Dean发现CPU推理推荐系统成本过高（若用户发3分钟语音，数据中心成本翻倍），David Patterson参与设计首代TPU（推理芯片）；二代TPU（V2）支持训练，用于AlphaGo、PaLM等模型；V5/V6起针对Transformer优化，V7（Ironwood）对标英伟达GB200，V8已规划未来模型需求。  

关键转折：从服务内部推荐算法（稀疏计算）到大模型预训练（矩阵计算），TPU的定位从“专用加速器”向“通用AI芯片”演变，但始终未脱离“定制”底色。

七、未来格局：TPU与GPU的“并存生态”

Henry的结论是：TPU在特定条件下可挑战GPU，但无法取代。  

• TPU的优势场景：大规模部署（如云推理）、模型稳定（无需频繁迭代）、成本敏感（TCO更低）。  

• GPU的优势场景：通用计算、模型快速迭代（算法变化快）、中小规模部署（灵活性高）。  

未来芯片市场将分层：巨头（谷歌、英伟达）主导大规模训练/推理，初创公司聚焦垂类场景（如Groq的低延迟Agent推理）。供应链问题解决后，百花齐放的生态将降低成本，释放AI应用潜力。

总结：TPU不是英伟达的“颠覆者”，而是AI算力生态的“补充者”。它的成功依赖软硬件协同与成本控制，短板则是生态封闭与供应链脆弱。这场博弈的关键，或许不在于“谁取代谁”，而在于谁能更精准地捕捉模型需求，在通用与定制间找到平衡。