知识卡片：谷歌TPU推理性价比测算，最高领先B300近一倍

一句话结论

SemiAnalysis 对第七代 TPU Ironwood 的首份第三方推理测算显示，在同等负载下，TPU 每美元性能最高领先 B200 达 50%、领先 B300 达 96%，优势主要来自极低的每小时租赁成本而非物理吞吐；TorchTPU 正尝试用原生 PyTorch 接入填平 CUDA 生态壁垒。具体测算配置、报告原文与可复现性待核实。

事件概述或研究问题

• 本条来自《腾讯研究院AI速递 20260911》第八条“谷歌TPU推理性价比测算，最高领先B300近一倍”。
• SemiAnalysis 发布第七代 TPU Ironwood 的首份第三方推理测算。
• 核心问题：在同等推理负载下，Google TPU Ironwood 相比 NVIDIA B200/B300，每美元性能与每百万 Token 成本表现如何。
• 相关软件变量：TorchTPU 是否能让 TPU 更顺畅地融入 PyTorch 生态，从而削弱 CUDA 的迁移壁垒。

方法/产品要点

• 测算对象：第七代 TPU Ironwood，对比 NVIDIA B200、B300。
• 测算指标：每美元性能、每百万 Token 成本。
• 材料给出的成本数据：
  • TPU：0.181 美元/百万 Token；
  • B200：0.222 美元/百万 Token；
  • B300：0.276 美元/百万 Token。
• 材料称，TPU 优势主要来自“极低的每小时租赁成本”，而非物理吞吐。
• 软件栈方面：TorchTPU 使用 PyTorch 的 PrivateUse1 后端，让 TPU 成为原生 Torch 设备，取代此前的 TorchAX 翻译层。
• 待核实：SemiAnalysis 原始报告标题与链接；具体模型、上下文长度、批大小、并行策略、吞吐量、是否包含网络/存储/冷却/运维成本；TPU 租赁价格来源、地区、SLA 与可用性；TorchTPU 的性能损耗与功能覆盖。

主要结果或产业意义

• 同等负载下，TPU 每美元性能最高领先 B200 达 50%、领先 B300 达 96%。
• 每百万 Token 成本排序在材料中为：TPU 0.181 美元 < B200 0.222 美元 < B300 0.276 美元。
• 如果测算成立，TPU 在推理经济性上对 NVIDIA 高端 GPU 构成更直接竞争，尤其影响成本敏感的推理服务与云租赁决策。
• TorchTPU 若成熟，可能降低从 CUDA/PyTorch 迁移到 TPU 的软件改造成本，从而改变“硬件性能之外”的生态竞争格局。
• 产业竞争焦点从单纯峰值算力，进一步转向 TCO、每小时租赁价格、单位 Token 成本和软件生态兼容性。

为什么重要

• 推理需求持续增长，单位 Token 成本直接决定 AI 应用的毛利、定价与规模化能力。
• TPU 过去常被认为软件生态弱于 CUDA；TorchTPU 的 PrivateUse1 路线若被验证，是关键增量信息。
• 与既有卡片的关系：Epoch AI 出版物页面关注算力扩展、AI 能力基准、芯片产业等研究趋势，本条增量是具体到 TPU 与 B200/B300 的第三方推理性价比测算；OpenRouter 博客归档关注 LLM 网关与模型路由，本条与其无直接重叠；NIST AI RMF 属治理框架，与本条芯片经济性主题不同。
• 待核实：该测算是否经过独立复现，是否只覆盖推理、是否适用于训练，以及“最高领先”对应的具体负载条件。

局限与不确定性

• 来源为二手速递，未提供 SemiAnalysis 原始报告链接与完整方法说明。
• “最高领先”可能高度依赖模型、序列长度、批大小、并行方式、软件版本、网络配置和租赁价格。
• 每小时租赁成本可能因地区、承诺用量、现货/预留、SLA 和供给情况变化。
• 材料仅称优势主要来自租赁成本而非物理吞吐；TPU 与 B200/B300 在原始吞吐、延迟、能效等维度的对比待核实。
• TorchTPU 的成熟度、算子覆盖、调试工具、分布式训练/推理支持、与 CUDA 生态工具链的兼容性待核实。
• B200/B300 的具体配置、功耗、散热、网络与总拥有成本口径待核实。
• 日期“20260911”及报告实际发布时间、版本号待核实。

可用于图书/PPT/简报的角度

• 推理成本战：每百万 Token 成本正在成为 AI 基础设施竞争的核心 KPI。
• 软硬件协同：TPU 以低租赁价格 + PyTorch 原生接入挑战 CUDA 护城河。
• 采购决策框架：自建 GPU、租用 GPU 与租用 TPU 的 TCO 对比。
• 生态竞争：PrivateUse1 后端作为“去翻译层”的生态策略。
• AI 芯片多元化：云厂商自研芯片在经济性上是否已具备规模化替代条件。

原始材料

• 原始来源：腾讯研究院AI速递 20260911
• Fetched title：腾讯研究院AI速递 20260911
• Parent digest：腾讯研究院AI速递 20260911
• URL：https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-1337_13.0.0-0-0-0-0.5_1334&digest_item=8
• Parent URL：https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-1337_13.0.0-0-0-0-0.5_1334
• 相关条目：八、谷歌TPU推理性价比测算，最高领先B300近一倍
• 英文关键词：SemiAnalysis, TPU Ironwood, B200, B300, TorchTPU, PyTorch, PrivateUse1, TorchAX, CUDA
• 英文标题：待核实（材料未提供 SemiAnalysis 原始报告英文标题）
• SemiAnalysis 原始报告链接：待核实