知识卡片：生成模型水印取证的熵率定律

一句话结论
本文揭示了生成模型输出中嵌入的水印在“检测→归因→提取→定位”四个法医层级上所需的最小样本长度，给出了首个紧的熵率定律：归因到 (N) 个用户之一需 (\Theta(\log N / h)) 个 token，提取 (\ell)-bit 载荷需 (\Theta(\ell / h))，且存在真实不可归因窗口和足迹-分辨率不确定性原理。

事件概述或研究问题
生成模型水印通常仅用于检测文本是否为机器生成。本文将其拓展为“法医阶梯”（forensic ladder）：同一水印可完成归因（识别产生该文本的用户）、提取（携带隐藏载荷）和定位（找出经编辑后仍存活的片段）。核心问题是：每一级在样本长度 (n) 上的代价是多少？

方法/产品要点

• 引入信息轮廓 (\nu(t) = I(S; X_t \mid X_{<t}))，刻画第 (t) 个 token 在已知前文时关于秘密 (S)（用户身份或载荷）泄露的信息量。总信息量支付归因与提取，分布方式支付定位，而检测仅依靠有标记分布与无标记分布的距离（即“存在性”）。
• 文献中两类质量模型（每个 token 皆微弱的嵌入 vs. 少数 token 大声的嵌入）是该轮廓的两种不可比较的约束方式。
• 针对统计无失真（statistically distortion-free）方案，主要定理给出熵率定律：对任意平稳遍历熵率 (h) 的源，归因到 (N) 个用户之一所需 token 数为 (\Theta(\log N / h))，常数因子紧至 ((1+o(1)))。提取 (\ell)-bit 载荷需 (\Theta(\ell / h))。
• 自然的碰撞计数分析会无限过度计费；只有对每个候选者以其自身实现惊奇度（surprisal）进行阈值化的解码器才能达到该速率且几乎不诬陷无辜用户。匹配的反向界使定律变成双向。
• 发现两个真实间隙：一个 (\Theta(\log N))-token 的窗口内文本可证为机器生成但无法归因；一个足迹-分辨率不确定性原理。

主要结果或产业意义

• 为多用户归因提供了首个紧的熵率定律（通过精确对齐），并在 GPT-2、Pythia-410M 和 Qwen2.5 上通过实验恢复了预测常数。
• 量化了水印任务之间的根本权衡：检测成本（仅需分布距离）最低，归因和提取成本由信息总量决定，而定位成本由信息分布决定。
• 证明了即使统计无失真，算法上也无法抹除 (\Theta(\log N)) 的不可归因窗口——这具有安全与实践意义。

为什么重要

• 首次从信息论角度统一了生成模型水印的四个取证能力，并给出了精确的样本复杂度下界与上界。
• 与已有相关卡片（如 Mamba 状态测量、Deform360、神经编码器 GLMM）无直接重复，本文专注于水印取证的理论极限，是理论安全与生成式 AI 交叉领域的基础性工作。
• 增量信息：此前水印研究多聚焦检测性能或单用户归因，本文给出了多用户归因的紧熵率定律以及两个不可约的间隙。

局限与不确定性

• 定理假设方案是统计无失真的（即不改变原始分布），实际中可能有轻微失真。
• 实验结果仅在三个模型上验证，通用性有待在更大规模、不同架构上确认。
• “足迹-分辨率不确定性原理”的具体量化边界待核实。
• 信息轮廓 (\nu(t)) 的计算在长文本或复杂秘密下是否保持可操作性待核实（材料未详述）。

可用于图书/PPT/简报的角度

• 一张图展示“法医阶梯”的四个层级及其对应的信息代价公式。
• 对比“均匀低强度”与“稀疏高强度”两种嵌入策略的不可比较性，适合作为信息论课堂案例。
• 解释“不可归因窗口”对AI内容溯源实际应用的限制——即使知道文本是AI生成的，也可能在短文本内无法指向具体用户。

原始材料

• 标题：Watermark Forensics for Generative Models: An Information-Theoretic Perspective
• 英文关键词：watermark forensics, generative models, information theory, attribution, extraction, entropy rate
• arXiv ID：2607.13003v1
• 来源链接：https://arxiv.org/abs/2607.13003v1
• 作者：Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu
• 发布日期：2026-07-14