ConvergeFlow 是一种基于嵌入空间的流式语言模型:它将数据预测器约束在 token 嵌入的凸包内,并仅用流匹配(flow matching)产生的均方误差(MSE)目标训练,在合适的正则条件下可证明流会收敛到合法 token 嵌入,从而无需交叉熵(CE)监督解码器即可直接预测 token;在 OpenWebText 上取得了与现有连续/离散扩散语…
值得关注:为连续流语言模型摆脱交叉熵解码器提供了一条可证明的收敛路径,直接回应了“流轨迹无法终止于合法 token 嵌入”这一关键缺口。 将“凸包几何约束”与“流匹配”结合,拓展了连续表示语言模型的设计空间。 为基础模型(fou…