知识卡片：Manacá-1B-Instruct-2——面向原生巴西葡萄牙语 LLM 的可复现安全对齐

一句话结论

巴西葡萄牙语（PT-BR）专用小模型 Manacá-1B 的第二代对齐工作表明：其安全性提升主要来自专门的安全 SFT（AnswerCarefully 风格）而非 DPO（三次 DPO 尝试全部失败），同时揭示了 LLM 裁判在部分安全题上“拒绝打分”的静默失效模式，会导致有效样本量被悄悄削减。

事件概述或研究问题

• 背景问题：PT-BR 在开源语言模型中长期处于欠服务状态；少数做过安全对齐的模型也很少记录“哪些方法不奏效”，且对比缺乏统计显著性验证。
• 研究对象：Manacá-1B-Instruct-2，即 Manacá-1B（1.72B 参数、从零为 PT-BR 训练）的第二代后训练对齐版本，SFT 语料规模 291,223 条。
• 核心问题：在 PT-BR 小模型上，安全对齐到底由什么环节驱动？DPO 是否有效？安全与帮助性如何权衡？评测本身是否可靠？

方法/产品要点

• SFT 语料：291,223 条示例（SFT corpus）。
• DPO 尝试：记录三次 DPO 尝试，结果全部为负面（negative）。
• 安全来源：采用专门的安全 SFT（LLM-jp AnswerCarefully 风格），经三轮迭代，直到“安全—帮助性”前沿收敛。
• 受控配比扫描：对安全 SFT 混合中通用数据占比做 10% 至 60% 的受控扫描。
• 评测方法：与四个外部 PT-BR 模型在同一批题目上对比，使用 Wilson 置信区间、配对 McNemar 检验并做 Holm-Bonferroni 校正。
• 附加检查：n-gram 去污染检查（decontamination check）；以 Chinchilla 为锚的计算预算表。
• 可复现性：所有代码、原始数据、日志与生成每个报告数字的脚本均公开释放。

主要结果或产业意义

• DPO 负面结果：三次 DPO 全部为负面，其中包括一个训练奖励间隔（reward margin）达到 1.0、但自由生成（free generation）完全不变的情况。
• 安全来自安全 SFT：安全性提升归因于专门的安全 SFT，而非 DPO。
• 过拒答曲线：通用数据占比从 10% 到 60% 的扫描显示非单调的过拒答（over-refusal）曲线，拐点（knee point）落在 40%–50%。
• 对比结果：最终模型安全区间下界为 94.1%，高于全部四个基线的区间上界。
• 能力差距归因：Chinchilla 锚定的计算预算表将通用能力差距归因于预训练规模，而非对齐方法。

为什么重要

• 对低资源语言（PT-BR）的安全对齐提供了可复现的“负结果 + 统计检验”范式，弥补了该领域普遍不记录失败尝试的空白。
• 揭示“训练奖励间隔很高但生成行为不变”这一现象，对依赖 DPO 做安全对齐的实践者具有警示意义。
• 指出 LLM 裁判在部分安全题上无论被评回复如何都拒绝打分，会静默降低该类别的有效 N，从而影响项目历史报告中所有相关结论——这是评测方法论层面的增量信息，可与既有的“LLM 作为裁判的偏差可解释性”脉络相互补充（后者关注打分偏差的机制，本条关注的是“根本不打分”的静默失效）。

局限与不确定性

• 模型规模较小（1.72B），结论能否外推到更大模型或其他语言，待核实。
• DPO 失败的具体原因（是数据、超参还是任务本身）在摘要中未展开，待核实。
• 安全区间的 94.1% 下界所基于的具体评测集规模与构成，待核实。
• “LLM 裁判拒绝打分”的触发条件与可迁移性，待核实。

可用于图书/PPT/简报的角度

• “负结果也是成果”：如何把失败的 DPO 尝试写成可复现的方法论贡献。
• 安全对齐的归因拆分：安全 SFT vs. DPO，谁真正起作用。
• 过拒答的非单调曲线与“拐点”概念：安全—帮助性权衡的量化视角。
• 评测的隐藏陷阱：LLM 裁判拒答导致有效 N 被静默削减。
• 低资源语言模型的可复现工程实践：统计检验、去污染检查、计算预算表。

原始材料

• 标题：Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge
• arXiv ID：2610.20570v1
• 作者：Bruno Leonardo Santos Menezes, Carlos Leonardo Souza Cardoso, Fabio André Machado Porto
• 发布：2026-10-14T17:53:46Z
• 分类：cs.CL
• 摘要页：https://arxiv.org/abs/2610.20570v1
• PDF：https://arxiv.org/pdf/2610.20570v1