自主智能体进化 —— AI 系统的安全递归自改进

作者 MAREF Engineering

递归自演进 自主 AI 红蓝训练 对抗鲁棒性

自主自改进是 AI 运维界的圣杯——一个无需人类在每一轮循环中干预、就能在自己的本职工作上越做越好的系统。但自我修改的 AI 代码也是你能赋予智能体的最危险能力。MAREF 的递归演进引擎通过 Lyapunov 式收敛监控与多层安全约束，化解了这一张力。

什么是 AI 智能体的递归自演进？

递归自演进是一种闭环过程：AI 系统持续观察自身的性能表现，识别改进机会，生成并验证变更，部署这些变更，然后重复该循环。与由人类发起再训练的传统 MLOps 不同，递归演进是自主的——系统持续自我调适，无需在每一轮循环中由人类发起。

MAREF 以 Self-* 流水线实现这一理念：八个自主组件（Self-Observer、Self-Knowledge、Self-Diagnostician、Self-Architect、Self-Executor、Self-Healer、Self-Optimizer、Self-Version）在严格的治理约束下运作。相关 递归演进（Recursive Evolution）解释 一文介绍了完整架构。

Lyapunov 式收敛监控如何追踪安全的演进？

自主自改进的根本挑战在于验证系统确实在变好——而不只是发生变化。在控制理论中，Lyapunov 稳定性是证明动态系统收敛到期望状态的框架。MAREF 借鉴这一思想的精神，将其实现为运行时监控启发式：从观测到的错误指标历史中计算稳定性指数，并观察这些指标是否随时间呈下降趋势。

这是运行时遥测，而非形式化证明。MAREF 不宣称错误率单调递减——它插桩度量指标，让公开基准测试套件重现这一趋势。这种可复现性让声明可被核查，而不是一句营销断言，这对安全关键的智能体部署很重要。

收敛监控：基于指标历史的启发式 Lyapunov 指数（见 tests/benchmark/）

红蓝对抗演进如何让智能体更强？

红蓝演进让对抗性攻击智能体（红队）与防御性智能体（蓝队）在结构化的回合中对垒。每个回合包含五个阶段：侦察（reconnaissance）、利用（exploitation）、升级（escalation）、持久化（persistence）和外渗（exfiltration）。红队的攻击强度自适应地升级，而蓝队则从每次攻击中学习并强化自身防御。

收敛是被监控而非假设的：引擎跨回合追踪错误指标是否呈下降趋势，并报告增量，你可以从公开基准测试套件中复现。 

from maref.redblue import RedBlueEngine, PHASE1_ATTACKS
from maref.redblue import RedLevel, BlueLevel

engine = RedBlueEngine()
result = engine.run_round(
    round_id="learn-1",
    phase=1,
    attack=PHASE1_ATTACKS[0],
    red_level=RedLevel.R3,
    blue_level=BlueLevel.B2,
)

print(f"防御评分: {result.total_score:.0f}/100")

哪些安全约束能防止失控的自改进？

自我修改本质上是自主系统中最危险的能力。MAREF 强制执行五层安全约束，任何演进循环都无法绕过：

  • 宪法红线（Constitutional Red Lines）——不可变更的安全规则。任何演进循环都无法修改宪法约束。
  • 规则冻结区（Rule Freeze Zone）——治理规则的变更需要经过 HMAC 签名的人类审批。
  • AST 沙箱（AST Sandbox）——所有生成的代码在部署前都会经过解析、验证和沙箱测试。畸形 AST 会被拒绝。
  • 原子化部署 + 回滚（Atomic deployment + rollback）——变更以原子方式部署。如果部署后验证失败，系统会自动回滚。
  • 饱和检测（Saturation detection）——优化器检测到改进进入平台期时即停止该循环，防止过拟合。

这些约束在元治理层强制执行——即使演进引擎“决定”要修改，系统也无法修改自身的安全规则。这正是受控演进与失控涌现之间的区别。

我能否在不具备完整治理的情况下部署递归演进？

技术上可以——Self-* 模块可以从 MAREF 包中单独导入。但是，在生产部署中强烈不建议在没有治理层的情况下运行自主自我修改。治理层提供了熔断器、漂移检测、宪法红线和审计追踪，正是这些让自演进变得安全而非鲁莽。

部署细节请参阅 演进（Evolution）功能页。治理基础知识请阅读 Agent 治理（Agent Governance）解释。

MAREF 是开源 Agent 治理操作系统。5 分钟快速上手——通过 pip install maref 开始。