MAREF 的性能数字是公开的 —— 我们这样测量

作者 MAREF Engineering

基准测试 SLA 性能 开源 验证

"快"是营销词汇。P95 < 200ms 是可以验证的数字。MAREF 把企业级 SLA 基准作为可执行的测试代码发布——不是一页幻灯片。任何工程师都能克隆仓库、跑一条命令，看到我们在 CI 中断言的那些门槛。

这篇文章列出 MAREF 断言的每一项性能指标，指明精确的源文件，并解释每项对生产 Agent 部署意味着什么。我们宁可你来验证我们，而不是相信我们。

自己复现

下面所有指标都由 MAREF 仓库中的 tests/benchmark/performance_benchmarks.py 强制执行。克隆、安装、运行：

运行 MAREF 公开 SLA 基准 
git clone https://github.com/maref-org/maref
cd maref
pip install -e ".[dev]"
pytest tests/benchmark/performance_benchmarks.py -v -m benchmark

每个测试都标记为 benchmark 和 slow，确保它们被排除在快速单元测试之外、被有意单独运行。任何一个门槛不达标，构建就失败——这些是硬性门槛，不是目标愿景。

我们断言的指标

指标 目标 为什么重要
屏幕捕获 P95 < 200 ms 在截图上卡顿的桌面 Agent 感觉就像坏了。
安全门决策 P99 < 10 ms 治理在输入事件频次下必须是隐形的。
4 层策略决策树 P95 < 100 ms Rule → Mode → SafetyGate → User 不能带来可感知延迟。
审计日志吞吐 > 100 ops/s 防篡改的审计链，还要跟得上写入速度。
状态机吞吐 > 500 transitions/s 治理状态转换必须扛得住突发流量。
GC 停顿 < 100 ms 垃圾回收导致的延迟尖峰不可接受。
空闲 Agent 占用 < 10 MB 对象 治理层不该让你多花一台虚拟机的钱。

这些是仓库中随附的断言目标。基准模块还会检查熔断器的失败阈值（1 到 10 次连续失败之间），确保在故障叠加成事故之前就触发自动隔离。

为什么把基准发布成代码？

三个原因，按自利程度降序排列：

  • 可复现。跑不了的基准只是个愿望。我们的基准随仓库发布，能在任何 CI 上运行。
  • 防回归。任何一个把安全门 P99 推过 10ms 的 PR 都会让 CI 失败。性能不能悄悄烂掉。
  • 信任。我们要求团队把治理层放在 Agent 和世界之间。我们欠他们证据，不是形容词。

这些数字声明了什么，没声明什么

它们确实声明：在 CI 硬件上，治理原语达到这些阈值，任何将来破坏它们的提交都会让构建失败。

它们没有声明：它们不是某个具体生产负载在你自己硬件上的端到端延迟测量。每个部署都有自己的网络、模型延迟和资源争用。这正是我们开源基准的原因——你可以把它们改造成适合自己环境的版本，而不是相信我们的。

🛡️ 来源：MAREF 仓库 —— tests/benchmark/performance_benchmarks.py（上表所有指标；通过 pytest -m benchmark 运行）。项目状态：11,000+ 测试 —— 关于 MAREF。自己跑一遍。