Coconut 的关键做法是把模型的最后一个隐状态直接作为下一步输入,而不是每一步都先解码成自然语言词元。它改变了中间推理状态的表示方式。已有精读笔记中最值得保留的问题是:表示变短以后,计算是否也按同样比例变少?
一个连续向量没有被写成文字,不代表生成它不需要计算。假设某个示意流程有六个隐藏步骤,每一步都执行一次模型前向,那么输出日志里即使看不到这六段文字,也不能把这六次计算当成零。这个例子只是说明计数口径,不是对论文实验数据的复述。
比较两种推理方式时,至少应分别记录答案正确率、实际前向次数、输出词元数、总时延与内存开销。它们回答的是不同问题。输出更短,可能减少某些开销;是否整体更快,仍取决于具体模型、缓存和执行方式。
论文把连续状态与同时保留候选路径联系起来,这是一种机制解释。读者仍应区分:论文观察到了什么行为,用什么实验支持解释,以及是否排除了“只是多算了几步”这样的替代原因。如果比较双方没有对齐计算预算,就还不能把提升全部归因于连续表示本身。