知识卡片：超越离散Token——在医学视觉语言模型中保持数值连续性

一句话结论

HAD-VLM 提出一种自回归-扩散混合框架，用扩散过程预测连续测量值（卡尺端点坐标与长度），在超声心动图定量测量上把平均绝对误差相对自回归基线降低 21.4–37.6%，同时保留语言问答能力。

事件概述或研究问题

医学视觉语言模型通常以离散 token 输出数值，而临床定量测量（如超声卡尺测量）本质是连续量，二者存在不匹配。该论文针对“提示条件化的定量超声测量”提出统一视觉语言模型，试图在同一个骨干网络中兼顾语言交互与解剖学意义上的连续数值预测。

方法/产品要点

• HAD-VLM 框架：自回归文本生成与连续测量预测共享骨干网络的混合自回归-扩散架构。
• 视觉提示微调：用 visual prompt tuning 让视觉编码器适配超声图像。
• 扩散预测：扩散过程输出五分量表示，包含卡尺端点坐标与测量长度。
• 后处理：提出坐标-长度一致性机制，并与集成预测结合以精化测量估计。
• 评测范围：EchoNet-LVH 上四项超声心动图测量任务，另加医学问答评估与 X 射线椎体测量评估。

主要结果或产业意义

• 四项超声心动图任务（IVSd、LVIDd、LVIDs、LVPWd）平均绝对误差分别为 1.36、2.77、3.05、1.16 mm，相对基于 Vicuna 的自回归基线降低 21.4–37.6%。
• 四项任务上均优于微调后的 Qwen3-VL 与直接 MLP 回归。
• 在所评估数据集上保留了医学问答性能。
• X 射线椎体测量中，平均绝对误差从 11.4 像素降至 6.7 像素。
• 作者结论：自回归语言生成与扩散式连续预测结合，可在保持提示条件化任务灵活性的同时提升定量测量精度。

为什么重要

它把“数值输出”从离散 token 采样改为连续扩散预测，直接针对医学定量测量中精度与解剖一致性这两个关键需求；且在同一模型中保留语言问答，指向“对话式定量影像分析”的统一范式。

局限与不确定性

• 摘要未给出数据集规模、训练细节、推理耗时与模型参数量，待核实。
• 医学问答“性能保留”仅在“所评估数据集”上报告，泛化性待核实。
• X 射线椎体测量为附加评估，其具体协议与对比设置待核实。
• 与既有卡片的关系：此前三张卡片分别讨论 VLA 忠实性、VLM 失败归因、VLM 视觉-认知错误演变；本卡片提供的是“数值连续性”这一新维度，与上述错误类型学无直接重叠，属增量补充。

可用于图书/PPT/简报的角度

• “离散 token 不是万能的”：连续量预测为何需要扩散式解码头。
• 医学影像中的“语言交互 + 定量测量”一体化架构示意（自回归分支 vs 扩散分支）。
• 坐标-长度一致性作为几何约束后处理的案例。
• 混合架构在专业领域（超声、X 射线）替代纯自回归基线的量化收益对比图。

原始材料

• 标题：Beyond Discrete Tokens: Preserving Numerical Continuity in Medical Vision-Language Models
• arXiv ID：2610.32948v1（cs.CV, cs.AI）
• 作者：Dianye Huang, Jiamei Guo, Yue Zhou, Mingde Li, Yi Xiong, Wei Wang, Nassir Navab, Zhongliang Jiang
• 发布/更新：2026-10-23T17:40:58Z
• 摘要页：https://arxiv.org/abs/2610.32948v1
• PDF：https://arxiv.org/pdf/2610.32948v1

关键词：vision-language model; medical image measurement; diffusion; autoregressive; ultrasound; numerical continuity