今天终于去打篮球了。到华采天地去打了。虽然说商场有空调,但球馆在顶楼,有很大的窗口,所以空调的效果并不特别好,还是挺热的,当然,比在室外打球还是凉快得多。
好几天没运动了,躯体都快腐朽掉了。其实,不运动比有氧运动要更加掉肌肉。掉肌肉的并不是运动,而是缺乏对肌肉的刺激,以及营养不良。现代社会,营养都是过剩的,所以掉肌肉原因还是缺乏运动。
我真的掉肌肉了。好几天没打球了。睡眠也不规律,经常到下半夜天快亮了才睡。掉肌肉掉得厉害。今天等地铁的时候,做了个金刚蹲,结果小腿差点抽筋。肌肉不行了,没力量了,支撑不住突然的压力。
但是天天打球也不行,最近玩ai占据太多时间了,没有时间打球了。
自撸的代码助手,已经基本可用。它会比claude code这些产品好用。虽然没啥花里胡哨的界面,但它高效,省token。
现在它比所有的代码助手都省token。
但是,我这个工具,缓存命中率不高。因为它把冗余的 信息都砍掉了,所以缓存命中会低一些。但如果计算总的不命中token,它还是节约的。
虽然deepseek缓存命中token非常便宜,但是节约还是意义重大的。因为上下文膨胀到100k之后,ai的理解能力会明显下降,即使缓存命中,也不过是节约了前面命中部分的输入的计算,每个tokens的输出,还是要跟之前的输入关联计算的。虽然它能跑大的上下文,但大的上下文,AI理解力会显著下降,而且,服务器的回复速度,也会随着上下文的增长而明显变慢。短上下文秒回,长上下文,数分钟才一个回复,工作效率下降得很厉害。
从费用说,节约上下文长度,也能很有意义。虽然deepseek的缓存非常便宜,但是,一个迭代到后期(通常是工作一两个小时之后),上下文长度达到200k,每次的费用还是可观的。200k命中,5轮就是0.02元。500轮就是 2元。一天假如开支是5元,那节约80%的token,还是能省掉两三元的。开支降低50%,如果是一个大企业,那总体节流效果也是相当可观了吧。何况,节约token还会带来错误的减少(因为ai低负载下犯错少),以及工作效率的提高(AI回复快了)。
所有省了token就是给整个系统的性能翻倍了。
省token就是提效。从这个角度,我做得最好。这不是技术问题,它的技术说穿了很简单,但这是系统设计理念的问题,错误的理念,会导致丑陋的设计。
简洁优雅的设计,才能打造出高效率的产品。你要推翻所有复杂的设计,最后找到一种非常和谐的简单设计,平衡了所有需求的设计,那种设计,才是答案。
做ai代码助手,其实就是给AI设计一种AI编程语言,并不是那么简单。简单的只是现在这些代码助手,他们那个做法不叫简单,叫粗糙。就从上下文管理看,这些代码助手的设计就没有一个聪明的。
省token,不过是第一个小改进。下一步,我还会玩更大的。玩匪夷所思的设计。其实我现在的设计就可以写论文了,不过不混学术圈,刷这个没啥意义。
AI代码助手这玩意儿,最后肯定是开源的天下,无论是claude code还是其它大厂,都不可能垄断。因为它的门槛就是没那么高。靠吹牛逼没用。
大模型方面,claude code之所以略微领先,是因为它通过代码助手收集到了大量的高质量数据。但是,deepseek现在这么便宜,下一步必然引爆全球市场,deepseek的数据会比claude code更多。因此,下个版本,deepseek有可能反超claude code。