自改进智能体的全面综述

递归自改进 智能体之路

关于自改进智能体系统的综述,研究智能体如何将经验、评估反馈与训练信号转化为对自身组件的持久更新

Shuaiqi Liu*, Zhengkai Lin*, Yuxiang Zhang*, Yuanyi Ren*, Yue Wu, Yongbin Li, Zheng Wang, Zhihang Fu*, Jieping Ye
Alibaba Group

L1–L5 对相关工作的自改进能力进行分级

自改进能力分级

关键不只是智能体能否提出改进建议,而是它能否自主提出、实施、验证改进,并进一步改写未来的改进机制

等级 类别名称 自主提出改进 自主实施改进 自主验证改进 改进改进的机制 领域泛化性
L1 人工改进
L2 辅助改进
L3 固定机制的自改进
L4 受限域递归自改进
L5 通用递归自改进
L1

人工改进

这类智能体系统没有自主改进能力,系统以固定形式部署和运行,每次修改都需要由人开发与部署流程

L2

辅助改进

这类系统可以提出候选修改,但人类仍负责验证并实施修改,改进机制本身仍由人类维护

L3

固定机制的自改进

这类系统可以自主提出、应用并验证对运行组件的修改,例如基座模型、agent harness、数据系统或 trainer,但改进机制本身仍然固定或由外部维护

L4

受限域递归自改进

这类系统不仅可以提出、验证并应用候选修改,还可以重写自身的改进机制,使改进过程具备自指性,并支持在限定的领域内持续长期进步

L5

通用递归自改进

L5 保留了 L4 的自主性、自指性和长期进步能力,同时能够把改进能力迁移到广泛且不断变化的任务领域,而不是局限于固定 benchmark 或受限的运行场景

从多维度筛选代表性论文

代表论文

论文 组件 年份 级别 关注点
正在从 papers.yaml 加载论文…
当前筛选条件下没有匹配论文

一张图看清当前系统在改进什么

分类体系

RSI Survey 分类体系总览图
Harness

Agent Harness 自改进

持续修改非参数化执行层,包括记忆、技能、工具、提示、工作流、编排与 scaffold 代码,从而改变智能体可观察什么、可调用什么以及如何组织目标导向的工作流

Data

Agent 数据系统自改进

迭代改进数据生产与数据利用,包括环境生成、任务和轨迹合成、验证以及课程自适应,并依据验证结果和训练反馈生成更高质量的训练与评测数据

Trainer

Agent Trainer 自改进

利用训练和评测结果持续修改数据如何转化为模型更新,包括监督设计、优化策略、训练基础设施以及 trainer 改进机制

Co-evolution

跨组件协同改进

研究系统级反馈循环,其中 harness、data 与 trainer 组件通过依赖关系协同改进,以应对演化中不断转移的系统瓶颈

迈向通用可靠 RSI Agent的开放问题

开放研究问题

1

长周期真实生产环境评测

评测集应检验反复自我修改是否在不断变化的工作负载、目标、预算、工具和环境中提升可靠性、鲁棒性、实用性、能力保持以及改进过程本身

2

可观测、可扩展、可修改的训练和推理基础设施

RSI 需要统一且智能体友好的表示来描述执行轨迹、训练记录、验证结果、版本历史和资源使用,使智能体能够观察、复现、比较并安全修改整个改进过程

3

从受限递归自改进到通用递归自改进

关键挑战是让改进机制能够跨领域迁移,同时避免把只适用于特定任务的策略错误迁移到新场景

4

递归自我修改下的安全与可控

系统需要能力组件可修改,同时通过更严格验证、持续监控、回滚版本、安全警报、事故日志和人类审查来保护合规组件

5

人类专家与智能体协同改进

危险场景需要智能体知道何时请求专家参与、选择合适交互方式、提供可解释证据,并把专家反馈转化为可复用改进资源

引用本综述,并参与维护

引用

@article{202608.0051,
  doi = {10.20944/preprints202608.0051.v1},
  url = {https://www.preprints.org/manuscript/202608.0051},
  year = 2026,
  month = {August},
  publisher = {Preprints},
  author = {Shuaiqi Liu and Zhengkai Lin and Yuxiang Zhang and Yuanyi Ren and Yue Wu and Yongbin Li and Zheng Wang and Zhihang Fu and Jieping Ye},
  title = {The Path to Recursive Self-Improving Agents: Foundation, Framework, and Future Directions},
  journal = {Preprints}
}