Token翻译成词元，在英语中Tonken是比字小的单位，用来减少AI

刘韧商业 2026-03-25 13:37:55

Token 翻译成词元，在英语中 Tonken 是比字小的单位，用来减少 AI 的字典数量，在汉语中，Tonke 是比汉字大的单位，是词，甚至比词更大的单位，非常多， AI 只能收录常用汉字 Token。有人竟然说汉子简练，用汉字处理节省 Token，真的比 AI 幻想还幻想。

0 阅读：0

感谢大家的关注

作者最新文章

1

他只是累了《盗梦空间》终局网页链接科布是靠梦赚钱的人，最终用梦完成了回家。但

2

过往的选择，是一面面镜子，想看到你自己，想了解你自己，照照就行。大多时候，是不愿

3

“我在高中时成绩并不出色，还做了各种其他事情。可以说我有点叛逆。但如果你不叛逆，

4

语言的能指，是AI时代的红利。大模型太博学了，我随口一说，它立刻能将我平庸的说辞

5

《罪人》从未认罪杀死审判者留下夜晚网页链接他自己的族群被英国殖民者摧毁——土地

6

分享图片

7

分享图片

8

CBS 新闻将裁员 6%

9

井喷时我想结束但《血色将至》网页链接资本主义抵达一片土地，不只带来财富，它重新

10

最近学微积分，最大的收获是，建立了假设-算法-结果是否收敛的验证模型。只要设想超

热门分类

财经TOP

1

这就是多年后土葬的结果

2

事实证明！嫁人一定要嫁潜力股。

3

压力大的时候，想想中国最负的十个人：1.许家印（恒大集团）：负债约2.0

4

3月19日游资龙虎榜

5

事实证明，嫁人一定要嫁潜力股！

6

A股投资者的日常

7

满仓的人恐怕今晚要睡不着了吧！很多朋友觉得昨晚全球资本市场跳水又慌了，不过现在

8

在绝对的资本面前再红的顶流也要放低姿态

9

电动车要涨价涨幅200到300元只是放出消息要涨价，现在还没涨，估计是想刺激一些

10

这国企工资怎么样

财经最新文章

1

明天大盘仍然继续下跌！昨天大盘狂涨100个点，很多人冲进去了，今天则是跟昨天完全

2

今天A股冲击4000点关口之际突然出现洗盘，不少投资者心里是不是都慌了？大盘会不

3

🌙迟重瑞说，她走之前，把身后事都安排好了。大部分生意上的股份和产业，留给了赵勇

4

家庭存款的八个等级，你在哪一层？1.贫困层（PoorLevel）：家庭存款

5

短短五年，香港和新加坡的经济差距被拉开了一大截。2019年香港GDP是3660亿

6

0.1元梭哈100万股，一天赚了70万！这只股票让人看的目瞪口呆！谁能想到，0.

7

现在的农商银行这么牛逼了吗？陪新入职的同事带着公司的证明资料，到农商银行开工资

8

感谢咱妈！国家再次出手，油价不疯涨了！官方实锤，今晚24时起，全国油价调整！

9

#绝味鸭脖反向造假遭重罚#【#绝味鸭脖财务造假后补税超3亿元#】4月4日，素有

10

沙特阿拉伯传来消息，4月6日，沙特阿拉伯突然宣布重磅消息：销往亚洲的原油，每桶