知识卡片：Jev创始人称RLHF是弯路，自主自动化是下一程

一句话结论

材料称，RLHF论文共同作者、TypeSafe创始人阿尔梅达把RLHF视为“始料未及的弯路”，认为大模型在有人类回路的协助任务上表现惊人，但在需要移出人类的自动化任务上不堪使用；TypeSafe因此转向RLCD路线，并推出快速判断模型Jev。

事件概述或研究问题

• 这是腾讯研究院AI速递 20260921 中“Jev创始人：RLHF是弯路，自主自动化才是下一程”一节，以及同一速递对Jev实测的相关描述。
• 核心问题：如果AI目标从“有人类协助”转向“自主自动化”，后训练应优化什么？材料中阿尔梅达的答案是校准决策，而非人类偏好或数理正确性。
• 他称幻觉源自奖励模型的不对称性：说“不知道”会被惩罚，自信编造反而得高分；因此RLHF是一条“始料未及的弯路”，Claude Code仍属协助时代产物。

方法/产品要点

• Jev：定位为System One判断模型，可对程序状态或文本快速返回Noul、Choice、Score等结构化结果与概率。
• 实测：开发者约40秒分析37个品牌724条实时广告，并产生8724次判断，Token成本约9美分，单次调用约0.44秒。
• 用途：材料称Jev已被用于压缩Claude Code上下文，也可驱动浏览器Agent完成读页、候选动作、选型与执行的完整循环。
• RLCD：TypeSafe选择的“第三条路线”，优化校准决策，而非人类偏好或数理正确性。RLCD全称待核实。
• 采用信号：材料称Jev上线24小时被Vercel AI Gateway近13%付费团队采用，两天内出现6个克隆项目；统计口径待核实。

主要结果或产业意义

• 对RLHF的批评来自其共同作者之一，材料将其表述为“始料未及的弯路”：在协助任务上表现惊人，在移出人类的自动化任务上不堪使用。
• 训练目标可能从“人类偏好/数理正确”转向“校准决策”，即让模型知道自己不知道什么，并快速给出结构化判断。
• Jev的速度、成本、结构化输出与代理循环用途，显示“判断层”可能成为代理/自动化系统的基础组件：既做上下文压缩，也做动作候选与选型。
• 上线后快速采用和克隆现象，若口径成立，可作为AI工具在开发者/代理生态中需求强度的信号。

为什么重要

• 它把当前AI产业竞争的一个关键问题摆到台面：下一程是继续优化有人类回路的助手，还是构建能移出人类的自主自动化。
• 若RLHF确有奖励不对称问题，那么仅靠人类偏好数据可能系统性惩罚“承认不知道”，鼓励自信幻觉；这会直接影响代理可靠性与安全。
• 相对已有关于OpenRouter等LLM网关/代理中间层的卡片，本条增量是：代理中间层不仅包括路由与API网关，还可能包括以快速判断、概率与校准为核心能力的模型层；同时它提供了一种对RLHF主流后训练范式的内部批评。

局限与不确定性

• 来源是腾讯研究院AI速递的摘要，不是阿尔梅达完整访谈、论文或TypeSafe技术报告；观点归属明确，但证据链待核实。
• “RLHF是弯路”“幻觉源自奖励模型不对称性”是材料转述的阿尔梅达判断，不等于领域共识；需要原始论文/实验说明。
• RLCD的定义、训练数据、评测基准、与RLHF/RLVR等关系，材料未展开，待核实。
• Jev的广告分类实测、0.44秒/约9美分、上下文压缩与浏览器Agent循环，均为材料中的描述；复现条件与基准待核实。
• “上线24小时被Vercel AI Gateway近13%付费团队采用”中的“付费团队”分母、统计时点、Vercel AI Gateway与Jev的关系待核实；“两天内6个克隆项目”的识别标准待核实。
• 阿尔梅达英文全名、TypeSafe英文实体名、原始英文标题均未在材料中给出，待核实。
• “Noul”拼写按材料原文保留，具体含义待核实。

可用于图书/PPT/简报的角度

• 从RLHF到RLCD：后训练目标从“讨人喜欢/做对题”转向“校准决策”。
• 幻觉的激励结构：为什么“不知道”被惩罚，自信编造被奖励。
• 协助型AI vs 自主自动化：Claude Code被归为前一时代的产物。
• 判断模型作为代理基础设施：低成本、低延迟、结构化输出、概率。
• 上下文压缩与浏览器Agent循环：Jev在代理工作流中的两个落点。
• 产品采用与克隆速度：需求信号还是短期热度？需要看统计口径。
• 与LLM网关/路由/代理基础设施的关系：判断层是否成为新的中间件。

原始材料

• 原始来源：腾讯研究院AI速递 20260921
• 来源标题：Jev创始人：RLHF是弯路，自主自动化才是下一程
• 英文标题：待核实（材料未提供原始英文标题）
• 英文关键词：RLHF, RLCD, TypeSafe, Jev, Claude Code, Vercel AI Gateway, autonomous automation, reward model, hallucination
• Parent digest: 腾讯研究院AI速递 20260921
• Parent URL: https://m.sohu.com/a/1078730115_455313?scm=10001.325_13-325_13.0.0-0-0-0.5_1334
• URL: https://m.sohu.com/a/1078730115_455313?scm=10001.325_13-325_13.0.0-0-0-0.5_1334&digest_item=9