DeepSeek-V4论文中CSA（CompressedSparseAtte

蚁工厂 2026-04-28 21:24:21

DeepSeek-V4论文中CSA（Compressed Sparse Attention）的参考实现。www.k-a.in/CSA.html

作者把论文中的关键公式逐段落实成 PyTorch 实现，涵盖 token 压缩、稀疏索引、滑动窗口 KV、共享 KV 注意力和输出投影，并拿它和标准多头注意力（MHA）比较 KV cache 占用、训练收敛、前向延迟和长上下文 passkey retrieval 表现。AI创造营

0 阅读：0

感谢大家的关注

作者最新文章

1

DeepSeek-V4论文中CSA（Compressed Sparse Atte

2

Open Design ：Claude Design 的开源替代品。地址：git

3

原来美团longcat家的公仔长这个样子

4

clawd.rip/还有这种网站，claude翻车史，记录了claude的每一次

5

电子书《逻辑学简短入门》牛津通识读本的重译版。地址：wxflogic.gitbo

6

cc switch使用手册，出品网页链接很详细的教程

7

Larus Canus （推特id：MrLarus）创作的《平面几何字体海报》提

8

国产螺丝刀成了老外的梦中情刀喝热水的外国人正被中国螺丝刀硬控这波“螺丝刀出海”其

9

Arena的编码排行榜上GPT-5.5的排名太低了。。负责人出来解释了下，现在虽

10

即梦AI的图标变这样了呢和HappyHorse的发布有关……？抓马？~~AI创造

热门分类

科技TOP

1

苹果公司近日为其员工送上了一份特殊的“生日礼物”，以此纪念品牌创立50周年。据悉

2

鸿蒙6.1的机型升级计划表，看看有没有你的机型，老机型几乎都是正式版，高端机型和

3

一图看懂OPPOFindX9sPro、OPPOFindX9Ultr

4

鸿蒙6.0系统又更新了，这次新增的功能还挺挺多的，主要是增加相机水印、以及图库的

5

小米澎湃OS3“死亡笔记”更新了，小米官网产品安全中心更新部分终止维护（EOL

6

我也越来越像个“旁观者”……用过功能机、翻盖机，也见过智能机怎么一步步把生活

7

折叠屏这些年一直被吐槽“能用但不好用”，所以到底是不好用还是做不好？这次华为

8

荣耀600Pro曝光：双2亿主摄+9000mAh电池，这配置绝了最近在网上看

9

主流大模型横向横评：DeepSeek最新一代到底强在哪？

10

【OpenAI完成其史上最大融资：OpenAI融资1220亿美元，估值达8520

科技最新文章

1

一加Ace6至尊版165Hz京东方电竞屏，8600毫安时电池，120W快充。

2

8600mAh冰川电池+120W快充，支持旁路充电，搭载聚能芯片，这个续

3

老板亲自下场开撕，这届生意人不装了追觅科技CEO俞浩在微博公开炮轰小红书，各

4

我也越来越像个“旁观者”……用过功能机、翻盖机，也见过智能机怎么一步步把生活

5

折叠屏这些年一直被吐槽“能用但不好用”，所以到底是不好用还是做不好？这次华为

6

是苹果最稳的CEO还是被低估的赌徒？库克在任15年把苹果带到巅峰，随着AI、

7

这是iPhone17ProMax和iPhone18ProMax的区别

8

不吹不黑，客观对比chatgpt5.5和Deepseekv4:主要看技术结构

9

有点没看懂，为什么华为Pura90配置明明还没华为Nova15Ultra高，

10

闲鱼真想成为中国暗网，为啥搞了这么一波宣传？