知识卡片：为什么仅遗忘式机器遗忘需要记忆

一句话结论

论文指出，仅凭已训练模型和待遗忘样本、没有保留数据或额外训练信息的“forget-only unlearning”并不总能准确逼近从零重训练；其可行性取决于学习方法，成功时往往要求模型记住普通训练中会丢弃的训练数据信息。

事件概述或研究问题

机器遗忘（machine unlearning）通常要求删除算法输出接近“移除指定遗忘样本后从头重训练”的模型。本文研究更受限的设定：forget-only unlearning，即删除算法只拿到训练好的模型和要遗忘的样本，没有保留数据，也没有额外训练信息。核心问题是：这种遗忘是否总是可能？摘要给出的结论是，这取决于学习方法。

方法/产品要点

• 设定：输入 = trained model + forget examples；无 retained data / extra training information；目标 = 匹配不含 forget examples 的 retraining 输出。
• 观察：不同数据集可能产生同一个训练模型，但在删除同样样本后，要求的目标输出可以非常不同。
• 据此推导遗忘精度匹配重训练的下界，并实例化到若干标准学习算法（具体算法列表待核实）。
• 进一步推导：当 forget-only unlearning 成功时，算法必须对训练数据记住什么，才能处理任意删除请求。
• 简单阈值学习器（threshold learners）案例：所需记忆信息可能和整个数据集一样大，而普通训练只保留一个边界点。

主要结果或产业意义

• Forget-only unlearning 不是无条件可行；可达到的“像重训练一样”的精度存在下界。
• 删除请求可能依赖普通训练已经丢弃的信息，因此为 forget-only 遗忘设计的模型/流程可能需要保留比标准训练更多的信息。
• 若用于删除、模型更新或合规相关场景，其理论提示是：删除能力与信息保留、存储之间存在张力；具体工程取舍待核实。

为什么重要

与已有 LACUNA、TILDE 等卡片相比，本条不是评测某个遗忘平台或概念遗忘方法，而是从理论上说明 forget-only 遗忘何时不可能、成功需要多少记忆。增量信息是：把“遗忘精度”问题前推到学习与信息保留层面，提示仅靠已训练模型做删除可能先天信息不足。与“放宽忠实性假设”卡片无直接事实重叠；本条聚焦机器遗忘理论。

局限与不确定性

• 摘要未列出具体下界公式、假设条件、常数和证明细节，待核实。
• 摘要提到“若干标准学习算法”，但未列明具体算法，待核实。
• 是否包含实验评估、是否覆盖深度模型或大模型，摘要未说明，待核实。
• 阈值学习器结论明确来自摘要，但其一般化范围和实际影响待核实。

可用于图书/PPT/简报的角度

• “删除不是免费操作：遗忘可能需要记忆”
• “普通训练丢弃的信息，为什么在删除请求到来时反而重要”
• “机器遗忘的理论边界：仅给模型和待删样本够不够？”
• “数据删除与信息保留的张力”
• “从重训练等价性理解遗忘算法下界”

原始材料

• 英文标题：Why Forget-Only Unlearning Needs Memorization
• 英文关键词（据摘要提取）：machine unlearning; forget-only unlearning; memorization; lower bounds; retraining; threshold learners; deletion algorithm
• 作者：Luka Radić, Vikrant Singhal, Amartya Sanyal
• arXiv ID：2610.10519v1
• 分类：cs.LG, cs.IT, stat.ML
• 发布/更新：2026-10-07T17:55:46Z
• Abstract URL：https://arxiv.org/abs/2610.10519v1
• PDF URL：https://arxiv.org/pdf/2610.10519v1
• 原始摘要：Machine unlearning asks for a deletion algorithm whose output is close to retraining from scratch without the selected forget examples. In this work, we study forget-only unlearning, where the deletion algorithm receives only the trained model and the examples to forget, with no retained data or extra training information. We ask whether forget-only unlearning is always possible. We first show that this depends on the learning method: different datasets can produce the same trained model but require very different outputs after the same examples are removed. Using this observation, we derive lower bounds on how accurately unlearning can match retraining and instantiate them for several standard learning algorithms. We then ask what must be true when forget-only unlearning succeeds. To this end, we derive lower bounds on what an algorithm must memorize about the training data to handle arbitrary deletion requests. For simple threshold learners, the required information can be as large as the entire dataset, even though ordinary training keeps only one boundary point. Overall, our results show that information discarded during ordinary learning may be needed later for deletion, so models designed for forget-only unlearning may need to retain more information than standard training does.