知识卡片：代理式分布回归——通过代理编写程序进行条件密度估计

一句话结论

论文提出“代理式分布回归”（ADR）：让语言模型代理编写一段简短程序，直接输出给定协变量下响应的条件分布，并给出该程序的有限样本误差界、选择 Oracle 不等式与渐近正态性；在 12 个真实数据集及训练后新采集数据集上，ADR（Claude Opus 5.5）取得所比较方法中的最佳平均表现。

事件概述或研究问题

• 研究问题：如何从独立同分布（iid）样本出发估计条件密度，并使估计结果可被独立检查与复现。
• 核心思路：不直接让代理输出数值预测，而是让代理生成“估计器程序”；该程序对每个协变量取值返回响应的估计条件分布。
• 方法命名：Agentic Distributional Regression（ADR）。

方法/产品要点

• 程序构造：程序由概率分布库搭建，返回的分布律可以是参数分布、混合分布或多变量因子分解；参数为协变量的显式函数。
• 可检查性：由于程序中的操作数与常数数量受限，拟合得到的条件密度是一个公式，可脱离代理独立检查与求值。
• 分工：模型结构与拟合过程的选择交给语言模型代理；代理负责“写程序”，而非直接给出黑箱预测。
• 理论处理：将返回程序视为随机条件密度估计器，在显式复杂度与优化假设下推导有限样本误差界；并给出使用独立验证数据进行模型选择的 Oracle 不等式。
• 渐近性质：对稳定选择的正则结构且拟合足够准确时，得到拟合常数的渐近正态性。

主要结果或产业意义

• 实验范围：模拟研究、12 个真实数据集，以及一个在代理训练数据之后新采集的数据集。
• 主要结果：ADR 搭配 Claude Opus 5.5 在所比较方法中平均表现最佳（具体指标与对比方法清单待核实）。
• 产业意义：把“统计建模的结构搜索与拟合策略”部分交给语言模型代理，同时保留最终模型为可审计公式，为需要可解释、可复现建模流程的场景提供了一种人机协作范式。

为什么重要

• 可审计性：与端到端黑箱预测不同，ADR 的产物是可读程序/公式，便于独立评估与复现，降低对代理运行时的依赖。
• 理论支撑：同时给出有限样本误差界、选择 Oracle 不等式与渐近正态性，使“代理写模型”这一做法具备统计学习理论层面的分析框架。
• 增量信息（与既有脉络的关系）：与“代理上下文管理”“元推理调度”等卡片关注代理运行机制不同，本条关注代理产物的统计性质与可检查性；与遮挡识别+条件扩散卡片同属条件分布建模，但本条聚焦条件密度估计的程序化表达与理论保证，而非特定视觉任务。

局限与不确定性

• 理论结果依赖显式复杂度与优化假设；“稳定选择的正则结构”“拟合足够准确”等条件的具体含义与适用范围待核实。
• 实验对比的方法清单、评价指标、数据集细节与统计显著性待核实。
• 新采集数据集与代理训练数据的时间关系已说明，但其规模、分布偏移程度待核实。
• 程序操作数与常数受限带来的表达能力边界待核实。

可用于图书/PPT/简报的角度

• “让代理写公式而非给答案”：可审计建模流程的范式转变。
• 统计理论如何跟上代理式建模：有限样本界、Oracle 不等式与渐近正态性三件套。
• 人机分工设计：结构搜索交给代理，验证与推断交给统计工具。
• 训练数据之后的新数据集测试：作为评估代理泛化/记忆问题的实验设计案例。

原始材料

• 标题：Agentic Distributional Regression: Conditional Density Estimation through Agent-Written Programs
• 作者：Lorenzo Tedesco
• arXiv ID：2610.37611v1（stat.ME；交叉 stat.ML）
• 发布/更新：2026-10-27
• 摘要页：https://arxiv.org/abs/2610.37611v1
• PDF：https://arxiv.org/pdf/2610.37611v1