LEMS 与 KFAC-SVD 针对低秩 SVD 压缩中的“全局秩分配不准”和“分解质量差(秩塌缩)”两类问题,分别引入逐层误差代理与基于 token 级统计的分解方法;据摘要称在 Mistral、Qwen3、Llama 3 上取得最高 4.8 个百分点的零样本精度提升、困惑度平均改善 15%(细节待核实)。
值得关注:低秩 SVD 压缩是降低 LLM 计算成本的重要路线;该工作把改进点落在“秩分配”和“分解质量”两个可直接复用的环节,若结果成立,对现有 SVD 压缩流程具有即插即用式的改进意义。 将误差建模与 ILP 结合用于全局秩…