知识卡片：训练前先测量——个人多语言收件箱路由中类型化决策模型、经典基线与生成式LLM的对比

一句话结论

一篇 arXiv 预印本提出“先测量、再训练”的个人收件箱代理评测协议（Foyer），声称在 739 封真实意大利语/英语邮件上比较了关键词规则、TF-IDF+逻辑回归、类型化决策模型与生成式 LLM；但正文未能抓取，以下要点均来自元数据，具体数值与结论待核实。

事件概述或研究问题

• 研究对象：自托管、日常使用的个人收件箱代理 Foyer，对每封邮件判断其类型、是否紧急、是否需要起草回复、是否创建任务或忽略。
• 核心问题：这类代理的错误率很少被测量，因为存储的标签由系统自身产生，缺乏独立真值。
• 提出的测量协议（据元数据）：分层采样、冻结快照、按邮件线程分组划分、预注册假设、在代理审核回路中引入人工标签，以在训练前获得 ground truth。

方法/产品要点（均据元数据，待核实）

• 数据：739 封真实意大利语/英语邮件，由邮箱所有者标注；其中 231 封为无偏样本，500 封为对抗性采样。
• 比较对象（九套系统）：生产环境关键词规则；TF-IDF + 逻辑回归基线；本地类型化决策模型（Tev1、Nimble）；托管决策模型（Nimble v4-max）；托管生成式 LLM（Qwen2.5-7B、Gemma 4 26B/31B）。
• 评估方式：按线程分组的交叉验证。

主要结果或产业意义（据元数据，待核实）

• 生产规则在“邮件类型”字段上得分 28%，而多数类基线为 58%——即界面最显眼的字段不携带信息。
• 约 200 个标签下，逻辑回归在各字段准确率最高（类型 0.79、紧急度 0.74、需回复 0.83、是否噪声 0.90），但从不预测两个最稀有类别，且在类型上与 Gemma 4 统计打平；few-shot 提示未能缩小差距。
• 发件人关系（客户、供应商、服务方）在联系人已出现时可由同一联系人的其他邮件以 98.6% 准确率恢复，且任何模型都无法从单封邮件推断——该信息属于联系人图谱而非提示词。
• 准确率不等于产品指标：组合成动作后，最准确的系统最常忽略需要处理的邮件（18% vs 最佳 LLM 的 4%）；在其噪声概率上按成本选择阈值可将该比率减半，并使其成为成本最低的系统。

为什么重要

• 指出个人邮件代理评测中的标签循环问题，强调训练前建立独立真值的必要性。
• 提示“字段准确率高”与“动作层面可用”之间存在落差，阈值与成本应纳入系统选择。
• 对上下文工程给出具体边界：联系人关系应放在结构化图谱而非提示词中。

局限与不确定性

• 正文未能抓取，所有数值、系统名称与结论均来自元数据，待核实。
• 数据仅覆盖单一用户的意大利语/英语收件箱，泛化性待核实。
• “Gemma 4”“Nimble v4-max”“Tev1”等名称与版本信息待核实。
• 预印本是否经同行评审、协议可复现性待核实。

可用于图书/PPT/简报的角度

• “先测量再训练”：代理系统评测中的标签循环与真值构建。
• 经典基线（TF-IDF+逻辑回归）在小样本下与生成式 LLM 的对比叙事。
• 准确率 ≠ 产品指标：从字段准确率到动作层成本的评估转变。
• 上下文该放哪里：联系人图谱 vs 提示词的工程分工。

与既有脉络的关系

本卡片聚焦个人收件箱代理的评测协议与系统选型，与已有卡片中“评分 LLM 作为引用验证器”的评测校准主题相邻但任务不同；与自我修正修辞、Deform360 数据集无直接重叠。若后续获取正文，可作为“小样本下经典基线仍具竞争力”的增量证据补充。

原始材料

• 标题：Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox
• 来源：arXiv（预印本）
• URL：https://arxiv.org/abs/2610.32955v1
• 关键词（英文）：personal email agent; measurement protocol; typed decision models; TF-IDF logistic regression; generative LLM; multilingual inbox
• 备注：正文未抓取，内容待核实。