[CL]《ARosebyAnyOtherNameWouldSmel

[CL]《A Rose by Any Other Name Would Smell as Sweet: Categorical Homotopy Theory for Large Language Models》S Mahadevan [Adobe Research] (2025)

提出了利用范畴论和同伦理论深刻理解大规模语言模型（LLM）语义等价性的全新框架，核心内容如下：

• 语言中表面差异的句子（如“Charles Darwin wrote”和“Charles Darwin is the author of”）应被视为“同伦等价”，但传统LLM产生的下一个词概率分布并不一致。文章引入LLM Markov范畴，使用对称幺半范畴结构建模语言概率分布。

• 传统范畴中非同构箭头对应同义句，导致模型难以理解语义等价。作者采用范畴同伦理论，通过“弱等价”及提升问题(lifting diagrams)捕捉语义等价类，实现对语句重述的数学刻画。

• 论文系统构建了LLM的模型范畴(Model Category)框架，证明LLM范畴满足同伦代数的公理，支持对文本的抽象同伦结构分析。

• 结合变换器(Transformer)模型的置换等变性，定义了LLM语法范畴及语义范畴，提出利用k-NN语言模型补偿下一个词分布差异，提升同义句预测的准确性。

• 通过代数K-理论和群族(groupoids)等工具，阐释了LLM语句等价类的代数不变量，并将模糊单纯复形(fuzzy simplicial objects)引入LLM范畴，进一步拓展了语义空间的拓扑表达。

• 文章还探讨了拓扑空间的笛卡尔结构、同伦群、几何实现及其在LLM语义表示中的潜力，为未来研究构建了理论基础。

该工作首次将深奥的范畴同伦理论系统引入LLM语义建模，提供了理解和统一不同语义表达的数学工具，具有重要的理论启发意义和长期价值。未来有望促进更稳定、语义一致的语言生成及解释能力提升。

详情见🔗arxiv.org/abs/2508.10018

大规模语言模型范畴论同伦理论自然语言处理数学基础人工智能