超节点的强项不是算力,是通讯带宽,而通讯是华为的强项。 你玩过开放模型就知道,如

晖志谈情 2026-02-10 14:59:19

超节点的强项不是算力,是通讯带宽,而通讯是华为的强项。 你玩过开放模型就知道,如果能把整个模型放进显存,哪怕GPU差一点,效率也挺高;但是如果显存不够大,大模型被暂存在内存里,那这个模型输出token大概就剩下1/10,原因就是GPU调用显存和内存的带宽差别很大。 NV也做超节点,但在通讯上和华为目前还有距离。。。

0 阅读:7
晖志谈情

晖志谈情

感谢大家的关注