‼️ DeepSeek V4 已开源,支持本地部署。
它的模型权重文件已在 Hugging Face 等平台发布,官方也提供了完整的工程解决方案供用户自行下载部署。
🚀 关键信息速览
在实际动手部署前,以下两点值得注意:
· 版本选择:V4提供了两个主要版本供你按需选择。 V4-Pro (旗舰版) 拥有1.6T总参数,适合复杂任务,但硬件要求极高;V4-Flash (轻量版) 拥有284B总参数,性价比高,硬件门槛相对较低,更适合大多数开发者。· 算力生态:V4的适配方案同时支持NVIDIA GPU(基于CUDA) 和以华为昇腾(Ascend NPU) 为代表的国产算力,为企业和开发者提供了更多选择。
💻 硬件门槛:挑战依然很高
虽然支持本地部署,但V4对硬件的要求是“数据中心级”的,以下是不同配置方案的显存和内存需求参考:
· Flash版(纯GPU):需要约160GB以上显存,推荐4x48GB(最低)或4x80GB(更稳妥)的多卡配置。· Flash版(CPU Offload):需要约256GB的系统内存。· Flash版(Mac统一内存):需要约192GB的统一内存(256GB以上更佳)。· Pro版(GPU):需要约800GB-1TB以上显存,推荐8张H200/B200级别GPU。
🛠️ 部署方式:从入门到专业
1. 轻量级工具 (新手友好):像 Ollama 这样的工具已经快速支持了V4-Flash模型,通过简单的命令行操作即可完成部署。2. 专业量化工具 (进阶用户):llama.cpp 支持GGUF等量化格式,通过模型量化(如Q4, Q8)能显著降低显存占用,例如Flash版在CPU上运行时建议至少准备256GB内存。3. 高性能推理引擎 (专业部署):官方推荐使用 vLLM 等高性能框架进行生产级部署,这需要更专业的配置和调优。