(待核实)据摘要性材料,TACO 是一种面向大语言模型全参数微调的优化器,通过“每列仅保留绝对值最大元素符号”的列式一稀疏更新来压缩优化器状态,据称可将持久优化器状态相对 AdamW8bit 减少约 174 倍,并在单张 80 GB H100 上支持 30–32B 参数模型的全参数微调;相关数据与结论尚待原文核实。
值得关注:显存瓶颈而非算力瓶颈,常是决定“能否上全参数微调”的第一约束;优化器状态是其中占比可观的一块(待核实)。 若 TACO 能在压缩状态的同时保持与 AdamW 预训练权重兼容的更新几何,则可降低“换优化器就要重调或掉点”…