谷歌推出两款新TPU:TPU 8tx主打保密计算,8i Max主攻大内存

谷歌推出TPU 8tx和TPU 8i Max,前者面向受监管行业的保密计算,后者合并两颗8i芯片,应对大上下文和多智能体负载。小编梳理规格、客户和软件生态。

企业想用 AI,却不敢把敏感数据随便放上云;做大上下文应用,又常卡在内存上。谷歌这次推出的两款新 TPU 系统,针对的就是这两个痛点:TPU 8tx 主打数据安全,TPU 8i Max 主打大内存。

这两款加入后,谷歌第八代 TPU 组合共有四个系统:4 月在 Google Cloud Next 上推出的 TPU 8t(大规模模型训练)、TPU 8i(低延迟推理),以及这次的 TPU 8tx 和 TPU 8i Max。新系统沿用已有芯片设计,只是配置不同。谷歌说,开发它们部分是回应企业客户对更强数据保护、以及给 AI 智能体更大处理能力的要求。谷歌首席技术专家兼 AI 与基础设施高级副总裁 Amin Vahdat 称,不必为每种负载重新设计处理器,而是调整内存、网络、封装和安全功能,这种模块化方式能让谷歌在几个月而不是几年内做出专用计算系统。

一表看懂四个系统

系统主要用途
TPU 8t大规模模型训练
TPU 8i低延迟推理
TPU 8tx(新)受监管行业的保密推理与小规模训练
TPU 8i Max(新)处理海量信息的内存密集型应用

TPU 8tx:给敏感数据用的

目标客户是处理敏感信息的政府机构和受监管行业企业。谷歌称,其硬件级保密计算能力,可以在数据和模型权重被处理时对它们加以保护和隔离。系统和 TPU 8t 用同一款芯片,搭配第五代 AMD EPYC 处理器,还用上了为低延迟 AI 处理开发的 Boardfly 网络,据谷歌称延迟最多比 TPU 8t 低一半,性能损失接近于零。

它既支持 AI 推理,也支持较小规模的训练:企业可以用私有数据微调模型,用模型蒸馏从大模型里做出小模型,还能用强化学习训练 AI 智能体。谷歌说这些操作可以在一个系统内完成,不需要把敏感数据在不同计算集群之间搬来搬去。谷歌云 AI 与计算基础设施副总裁 Mark Lohmeyer 对 TechTarget 说:“你不能只盯着芯片来优化这套基础设施。”他认为数据传输速度、内存效率、延迟、安全和运营成本,现在和算力同样重要。

TPU 8i Max:给“吃内存”的应用

它针对要同时处理大量信息的 AI 应用,比如处理庞大代码库、分析长视频、或协调多个 AI 智能体的系统。谷歌把两颗 TPU 8i 芯片合封在一个封装里,计算能力、片上静态随机存取存储器(SRAM)和高带宽内存(HBM)带宽都比标准 TPU 8i 翻倍。TechTarget 报道,双芯片配置提供 768 MB 片上 SRAM 和 17.2 TB/s 的 HBM 带宽,适合大上下文窗口的应用,这类应用里数据在内存和处理器之间搬运常常是性能瓶颈。它还能装进现有机架空间,谷歌称每平方英尺和每瓦的算力密度都有提升,但没有公布系统的详细功耗。

谷歌正把 TPU 卖给更多人

TPU 最早是为谷歌自家的 AI 负载(包括 Gemini)开发的,现在通过谷歌云提供,也支持部署在客户自己的数据中心。谷歌称其 TPU 业务服务近 100 家客户,包括 AI 实验室、交易公司、零售商和大学,也在和其他云厂商合作扩大供应。

10 月,谷歌与甲骨文宣布,将通过甲骨文云基础设施(OCI)提供 TPU,2027 年开始部署,甲骨文将成为谷歌之外第一家提供这些处理器的超大规模云厂商;不过双方没有说明新的 TPU 8tx 和 TPU 8i Max 是否包含在内。OCI 总裁 Mahesh Thiagarajan 说:“不同的 AI 负载有不同的算力需求。”

软件方面,谷歌 10 月开源了与 Meta 的 PyTorch 团队共同开发的 TorchTPU,让现有 PyTorch 负载只需很少代码改动就能在 TPU 上运行,支持 Hugging Face、vLLM、SGLang 等工具和框架。TPU 8tx 和 TPU 8i Max 的价格和正式可用日期,谷歌都还没公布。

常见问题(FAQ)

TPU 8tx 和 TPU 8t 有什么不同?

用同一款芯片,但 8tx 加了硬件级保密计算和 Boardfly 低延迟网络,面向敏感数据场景。

TPU 8i Max 的“Max”体现在哪?

把两颗 8i 芯片合封,算力、片上 SRAM 和 HBM 带宽都翻倍,据报道片上 SRAM 为 768 MB、HBM 带宽 17.2 TB/s。

现在能买到吗?价格多少?

谷歌没有公布价格和正式可用日期,需要等后续消息。

用 PyTorch 的团队能上 TPU 吗?

可以关注 TorchTPU:谷歌称它能让现有 PyTorch 负载在 TPU 上以很少的代码改动运行。

这和英伟达是竞争关系吗?

在 AI 加速器市场上是。英伟达 GPU 被广泛用于训练和推理,谷歌则在把自研处理器推广到自家基础设施之外。