英伟达2025GTC大会核心信息梳理(附图)

凝阳聊商业 2025-12-04 00:07:32
AI已从perception AI(语音识别、成像)、Generative AI(数字营销、内容创作)、Agentic AI(能够感知、接收信息、规划行动并使用工具执行任务,如代码辅助、客户服务、医疗护理)发展到Physical AI(能理解物理、惯性,用于自动驾驶汽车和机器人领域)。AI从检索计算模型转变为生成模型,从检索数据转变为生成答案。\n\t\nAI有三条Scaling Law,即预训练扩展、后训练扩展和测试时扩展(长时推理)。Chain of thought,Best of N,Consistency Check等技术的出现让推理计算量可能比原来的单次推理高出100倍以上。为了保持模型的交互性,当模型处理的令牌数量增加10倍时,运行速度也要提高10倍。推理的计算量比一年前预期的要大得多。\n\t\n推理模型对令牌的需求增加:训练过程存在数据来源以及如何避免受人为因素限制的问题。行业的突破在于通过强化学习价值回归(RLVR)进行训练后处理,它可以在一个模型上生成超过100万亿个令牌。该模型的工作原理是通过一个提示运行模型,并由一个验证器辅助生成答案。\n\t\n数据中心资本支出将从2022年的2500亿美元增长到2028年的1万亿美元,英伟达预计数据中心资本支出不会放缓。\n\t\n推出了英伟达Halos,这是一套从芯片到部署的自动驾驶安全系统。其Cosmos模型与Omniverse相结合,实现模型蒸馏,云端训练的教师模型转化为汽车中的学生模型。闭环训练通过Omniverse模拟,创建场景、测试驾驶行为并获取反馈以改进模型。基于世界数字孪生的3D合成生成技术,精确模拟各场景优化模型。\n\t\n正式发布 Dynamo,号称是 \"AI 工厂的操作系统\",本质是一个 \" 分布式推理服务库 \"。可以协调和加速数千个 GPU 之间的推理通信,并使用分离式服务在不同的 GPU 上分离大语言模型的预处理和生成阶段。使得每个阶段都能根据其特定需求进行独立优化,确保 GPU 资源利用率最大化。\n\t\n更多信息参考附图…\n\t\n

0 阅读:0
凝阳聊商业

凝阳聊商业

感谢大家的关注