知识卡片：离散视觉词元能否成为视觉信号的语义无损表示？

一句话结论

论文挑战“量化误差必然导致语义损失、连续表示是上限”的通行假设，指认离散索引的有效比特预算才是下游多模态理解性能的关键，并提出 Factorized Vector Quantization（FVQ）以缓解量化器饱和，使离散表示在多模态理解上追平连续表示。

事件概述或研究问题

离散视觉词元以类似语言的形式表示视觉，为共享“下一词元预测”目标的多模态建模提供原生接口。但学界普遍认为量化误差会造成不可避免的语义损失，从而限制离散视觉词元的语义保真度，并把连续视觉表示视为内在上限。论文以多模态理解作为语义保真度的代理指标，重新检验这一假设。

方法/产品要点

• 重新审视量化误差：发现量化误差并不可靠——误差明显更大的离散表示反而能获得更好的理解性能。
• 有效比特预算：离散索引的有效比特预算被视为决定下游性能的关键因素。
• 饱和问题：现有量化器在增加码本时最终会饱和，新增码本贡献的语义信息逐步递减。
• FVQ（Factorized Vector Quantization）：用对称并行码本对视觉特征的互补、固定维度视图进行量化，作为缓解饱和的一种方案；在更大比特预算下性能持续提升。
• 训练与开源：在工业级多模态数据上训练；代码与模型见 https://github.com/hustvl/FVQ 。

主要结果或产业意义

• 在九项指标平均值上，模型在离散表示模型中达到 SOTA，分别超过 UniAR 22.8%、Emu3-Chat 59.2%。
• 据作者所知，这是首个在包括细粒度 OCR 任务在内的场景中与强连续表示模型（如 Qwen3-VL）具有竞争力的离散表示模型。
• FVQ 在更大比特预算下最终在多模态理解上匹配连续视觉表示。
• 论文进一步总结了实现这一竞争力的关键原则与实践配方（recipe）。

为什么重要

若离散视觉表示可在理解任务上追平连续表示，则“原生”多模态基础模型可以统一在共享的下一词元预测框架下，而不必依赖连续视觉编码器作为上限参照。这一结论把讨论焦点从“量化误差大小”转向“有效比特预算与量化器可扩展性”，为大规模原生多模态基础模型提供了离散路线的可行性依据。

局限与不确定性

• 论文以多模态理解作为语义保真度的代理指标，“语义无损”在其他维度（如生成、重建）上的表现待核实。
• 摘要未给出九项指标的具体构成、各单项结果与消融细节，待核实。
• “工业级多模态数据”的规模、构成与配比待核实。
• FVQ 的具体结构细节（码本数量、维度设置、与现有量化器的对比条件）待核实。
• 与 Qwen3-VL 等连续模型的对比设置（参数规模、训练数据是否对齐）待核实。

可用于图书/PPT/简报的角度

• “量化误差 ≠ 语义损失”：评估离散视觉表示时应关注有效比特预算而非重建误差。
• 量化器饱和：为什么堆码本会边际收益递减，以及并行码本分解如何延缓饱和。
• 离散 vs 连续视觉表示之争：从“连续是上限”到“离散可竞争”的叙事转折。
• 原生多模态基础模型的接口选择：共享下一词元预测目标下的统一建模。
• 离散表示在细粒度 OCR 上的表现，可作为“离散不牺牲细节”的例证。

原始材料

• 标题：Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
• arXiv ID：2610.37662v1
• 作者：Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang
• 发布：2026-10-27T17:59:22Z
• 主分类：cs.CV
• 摘要页：https://arxiv.org/abs/2610.37662v1
• PDF：https://arxiv.org/pdf/2610.37662v1
• 代码与模型：https://github.com/hustvl/FVQ