AI4AI-Bench 将递归自我改进(RSI)的关键问题落到一个可测量任务:LLM智能体能否改写训练算法本身。结果显示,6个系统的29种配置在10个任务上的平均分只有0.166,最佳系统0.250,即使最强系统也只完成从已有算法到任务最优距离的不到1/5;多数提交甚至从未改变模型的学习方式。
值得关注:论文把RSI的可行性归结为“智能体能否设计训练算法”,AI4AI-Bench 是试图在此处建立可重复评测的基准。 与“通过收集数据或调超参就能获胜”的旧基准不同,它用“从零重跑+固定评估器+原算法对照”把分数集中在训练…