知识卡片：Latent Core Tokenizer——压缩之外，让分词更有意义

一句话结论

LCT（Latent Core Tokenizer）主张把“结构发现”与“词表构建”分开：先用最小描述长度、熵边界信号与形态规则找出可复用的语言单元，再构建共享词表；在104种语言、200K词表规模下，它比 BPE、Unigram、parity-aware BPE 取得更低 fertility、更高 MorphScore，并在四个多语言下游基准上分别提升1.48、1.83、2.00分。

事件概述或研究问题

分词器通常以压缩率为优化目标，但紧凑词表未必能在不同语言间均衡分配容量。论文提出 LCT，试图回答：如果不再单纯追求压缩，而是引入形态学驱动的结构发现，是否能同时改善分词质量与多语言下游表现。

方法/产品要点

• 语言无关的方法，明确分离“结构发现”与“词表构建”两个阶段。
• 结构发现阶段使用三类信号：
  • Minimum Description Length（最小描述长度）
  • entropy-based boundary signals（基于熵的边界信号）
  • morphotactic constraints（形态句法/形态序列约束）
• 在识别出可复用语言单元之后，再构建共享词表。
• 词表规模与评测范围：104种语言、200K tokens。
• 对照基线：BPE、Unigram、parity-aware BPE。

主要结果或产业意义

• 分词质量：LCT 相比三类基线取得更低 fertility 与更高 MorphScore。
• 跨语言成本差异：在分词成本的跨语言差距上与基线保持可比（comparable cross-lingual disparity）。
• 下游表现：在四个多语言基准上，聚合分数分别比 BPE、Unigram、parity-aware BPE 高1.48、1.83、2.00分。
• 核心论点：压缩本身并不能预测表示质量；形态学驱动的结构发现，以及“频率如何用于在语言间分配最终词表”，才是关键。

为什么重要

• 对多语言模型而言，词表容量如何跨语言分配，可能比单纯压缩率更影响下游效果。
• 它为“分词器设计”提供了一个不同于纯频率/压缩导向的思路：先发现结构，再谈容量分配。
• 与“分词器移植”这类关注边缘语言与分词崩溃的脉络相关，但本条增量在于：提出一个语言无关的结构发现框架，并给出104种语言、200K词表的系统对照结果。

局限与不确定性

• 摘要未说明四个多语言下游基准的具体名称、任务类型与语言覆盖，待核实。
• 摘要未给出 fertility、MorphScore 的具体数值、统计显著性或方差信息，待核实。
• “comparable cross-lingual disparity”只有定性表述，具体差距指标与阈值待核实。
• 200K 词表之外的其他规模是否同样有效，待核实。
• 计算开销、训练成本与实现细节（如形态约束的具体形式）在摘要中未展开，待核实。

可用于图书/PPT/简报的角度

• “压缩不等于质量”：分词器优化目标的反思。
• 多语言词表容量分配的公平性与效率问题。
• 从 BPE 到形态学驱动分词：结构发现先于词表构建。
• 104种语言、200K词表的规模化多语言分词实验案例。
• 分词器设计如何影响下游多语言基准分数。

原始材料

• 标题：Latent Core Tokenizer: Compress, but Meaningfully
• arXiv ID：2610.12376v1
• 作者：Felermino D. M. A. Ali, Millicent Ochieng, Ogbemi Ekwejunor-Etchie, Ade Famoti, Jacki O'Neill, Debjit Paul
• 发布时间：2026-10-08T17:32:32Z
• 主分类：cs.CL
• 摘要链接：https://arxiv.org/abs/2610.12376v1
• PDF 链接：https://arxiv.org/pdf/2610.12376v1
• 关键词：Latent Core Tokenizer; LCT; tokenizer; multilingual; Minimum Description Length; entropy-based boundary signals; morphotactic constraints; fertility; MorphScore; BPE; Unigram; parity-aware BPE