扎克·詹森关于TPU/GPU博弈论的讨论扎克：“谷歌提前给了我TPU v7/v8版本。我正在那里部署大量的Llama。我希望B200的定价能够反映出这一点。”詹森：“那就选择TPU（过渡单元）。如果你相信他们能按时完成，那就全力以赴。”扎克：“我是认真的。我可以把NVIDIA的资源占用减少三分之一。”詹森：“很好。这样一来，CoWoS 的配额就可以留给那些需要保证交付的客户了。从下个季度开始，您的配额将会减少。”扎克：“……等等。我们仍然需要H100/B200作为主线型号的基准。”詹森：“你会得到一些配额，但不是优先权。你的需求会被分散——其他人会优先获得配额。”扎克：“Jensen，TPU v7/v8 将会缩小差距。我们会没事的。”詹森：“Anthropic 在编译器延期之前也是这么说的。OpenAI 在重新推出 H100 之前也是这么说的。每个人都认为自己可以双栈开发。但真正能做到的寥寥无几。”扎克：“我们拥有工程技术人才。”詹森：“你没有时间表。训练窗口会延期。调试周期会成倍增加。而且谷歌总是会优先给予 Gemini TPU 峰值容量的使用权。你把整个路线图都押在了你最大的竞争对手的慷慨上。”扎克：“我们会想办法解决的。”詹森：“也许吧。但你白白损失了两个季度的训练速度，让给了那些坚持使用 CUDA 的实验室。在你完成移植之前，他们就能发布下一代模型了。”扎克：“……我们仍然需要4万辆B200。”詹森：“已经售罄了。欢迎您加入候补名单。”扎克伯格醒悟得太晚了：他把TPU这张牌用得太过了。詹森连眼皮都没眨一下。Meta 的一半训练服务器都运行在一个尚不成熟的生态系统中，而且他们的 NVIDIA 配额也被减半了。而那些坚持纯 CUDA 的实验室现在正全力冲刺。
