知识卡片：面向长文本的 LLM 引导分块特征工程与可执行程序搜索

一句话结论

LLM-BlockFE 通过在离线阶段用 LLM 增量构建可执行特征程序、冻结后部署，把长文本中的信息转成结构化特征供下游模型使用，从而在在线推理时不再调用 LLM，并在多个数据集和已上线风控应用中取得优于基线的效果。

事件概述或研究问题

工业风控系统通常依赖结构化数据模型进行高效预测，但大量有价值信息仍嵌在非结构化长文本中。人工特征工程成本高，而让 LLM 处理每个实时输入又可能无法满足实际部署要求。本文提出 LLM-BlockFE，试图将长文本到结构化特征的转化放到离线阶段完成，避免在线推理时的 LLM 调用。

方法/产品要点

• 离线特征构造框架：LLM-BlockFE 通过增量追加不可变代码块（immutable code blocks）来构造特征程序，并用下游模型评估候选特征。
• 块级回滚机制：针对传统贪心搜索容易陷入次优解的问题，引入基于深度校准信用分配（depth-calibrated credit allocation）的块级回滚机制。
• 交错多轨迹搜索：以交错方式推进多条独立搜索轨迹，并通过共享每条轨迹探索方向的固定描述来减少冗余探索。
• 冻结与部署：搜索结束后，生成程序被冻结并部署，用于提取结构化特征供下游预测模型使用。

主要结果或产业意义

• 在两个公开数据集和两个私有数据集的全量数据比较中，LLM-BlockFE 相比最强基线取得 0.0069 至 0.0358 的绝对 AUC 提升。
• 在五个已部署的金融风控应用中，上线后监测显示，相比现有手工设计策略，绝对 KS 提升 0.02 至 1.56 个百分点。
• 产业意义：该方法把 LLM 能力用在离线特征生成环节，在线推理阶段无需调用 LLM，更符合风控系统对实时性和稳定性的要求。

为什么重要

在工业风控等场景中，长文本信息价值高但实时 LLM 调用成本与延迟不可忽视。LLM-BlockFE 提供了一条“离线用 LLM 生成特征程序、在线只跑结构化模型”的路径，兼顾信息利用效率与部署可行性；同时其块级回滚与多轨迹搜索机制，针对特征工程中搜索空间大、贪心易陷局部最优的问题给出改进思路。

与既有脉络的关系

（待核实。来源材料未提供与已有相关卡片之间的直接关联信息。）

局限与不确定性

• 搜索过程中对 LLM 的具体调用方式、提示设计、代码块定义与候选评估细节，来源材料未展开，待核实。
• 两个私有数据集与五个已部署金融风控应用的具体业务背景、数据规模与上线监测周期，来源材料未提供，待核实。
• 方法在非风控领域、其他语言或更长文本上的泛化能力，来源材料未说明，待核实。

可用于图书/PPT/简报的角度

• “离线用 LLM 造特征，在线不调 LLM”：面向工业部署的 LLM 应用模式。
• 从长文本到结构化特征的自动化特征工程流程。
• 块级回滚与多轨迹交错搜索：改进贪心搜索在程序/特征空间中的探索效率。
• 学术指标（AUC）与业务指标（KS）双重验证的案例展示。

原始材料

• 英文标题：Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search
• 英文关键词：LLM-Guided Feature Engineering, Executable Program Search, Long Text, Blockwise Feature Construction, Industrial Risk Control（注：关键词根据摘要归纳，来源材料未单列关键词字段）
• arXiv ID：2610.12390v1
• 作者：Ziming Dai, Dabiao Ma, Ziheng Guo, Jack Dong, Zimu Zhou
• 发布时间：2026-10-08T17:39:11Z
• 分类：cs.LG（主类），cs.LG, cs.CL
• 摘要链接：https://arxiv.org/abs/2610.12390v1
• PDF 链接：https://arxiv.org/pdf/2610.12390v1