本文首次揭示了全双工口语语言模型(SLM)中模态干扰的根本原因——声学与语义建模在共享深层参数空间时产生梯度冲突,并提出了Lychee-FD框架,通过层次化参数分离策略有效解耦冲突模态,同时利用专用语义对齐通道保持跨模态连贯性。实验表明,该方法在Spoken QA上提升7.4%,在FullDuplexBench 1.5上提升28.5%,且不牺牲推理效率。
值得关注:模态干扰是制约全双工SLM“人性化”的核心瓶颈,长期未获根本性解决。本文不仅从优化力学角度揭示了根因,还提供了可实践的解耦方案,使得语音交互既保持流畅(全双工)又具备语义理解能力,为下一代智能语音助手、实时对话系统等应…