跳转至

Remilia 性能报告

最后更新: 2026-10-13 引擎基准测试环境: AMD Ryzen 7 5800H (16 线程), 32 GB RAM, Go 1.26.5, Windows 测试工具: examples/benchmark/throughput_bench.go(端到端压测)+ go test -benchmem(micro-benchmark)


端到端吞吐量(standard 套件,阻塞模式)

通过 pumpAdapter 注入事件,包含完整适配器 → 引擎 → 中间件 → 处理器链路,每场景持续 10 秒。

场景                               目标(msg/s)  实际(msg/s)  成功率    CPU(进程)    P50(ms)
─────────────────────────────────────────────────────────────────────────────────────
smoke      (100 msg/s, 0 matchers)       100         100     100.0%      0.4%     0.0000
medium    (1000 msg/s, 0 matchers)     1,000       1,000     100.0%      1.7%     0.0000
high      (5000 msg/s, 0 matchers)     5,000       4,996     100.0%      0.6%     0.0000
stress   (20000 msg/s, 0 matchers)    20,000      19,965     100.0%      0.6%     0.0000
extreme  (50000 msg/s, 0 matchers)    50,000      49,936     100.0%      6.8%     0.0000
matcher-100   (20K/100)               20,000      19,997     100.0%      3.5%     0.0000
matcher-1K    (20K/1K)                20,000      19,989     100.0%      3.5%     0.0000
matcher-5K    (20K/5K)                20,000      19,985     100.0%      3.5%     0.0000
matcher-100   (50K/100)               50,000      49,912     100.0%     75.0%     0.0000
matcher-1K    (50K/1K)                50,000      49,823     100.0%      6.8%     0.0000
unlimited  (64 workers, sema=8)     unlimited   2,900,777    100.0%     36.9%     0.0000

注:所有场景 0 丢包、0 失败。matcher-* 场景的匹配器中一半命中事件类型,一半不命中。

2026-08-03 复测(当前 RoutingStrategy 版,同机):有界场景全部复现 (50K msg/s 目标 + 5K 匹配器 100% 达标);unlimited 场景实测 1,366,247 msg/s(6 月的 2,900,777 未复现,疑为当时环境/配置漂移, 与今日 quick 套件 1.39M 一致,非重构回退)。

关键结论

发现 说明
最大吞吐量 ~1.4M msg/s(16 核,unlimited 场景;有界场景最高 50K msg/s 目标 100% 达标)
5K 匹配器影响 几乎无影响——无 Handler 的匹配器在 sortedCache 层面已被过滤
50K msg/s 达标率 含 1K 匹配器时 99.8%,含 5K 匹配器时 100%(20K 目标)
内存效率 50K msg/s 下堆内存仅 ~24 MB(avg 23.7 / peak 37.7 MB)
延迟 所有场景 P50 < 0.0001 ms(队列未堆积时)

Micro-benchmark 延迟

2026-08-03 复测(当前 RoutingStrategy 版);括号内为与直接前身 HEAD=32ef416(v1.31.0)的对比。

操作                         延迟       分配
─────────────────────────────────────────────
Engine ProcessEvent         393 ns/op   272 B/op (2 allocs)  (+36%)
Engine ProcessEvent (并行)   204 ns/op   272 B/op (2 allocs)  (~持平)
Engine HotPath/Empty         207 ns/op     0 B/op (0 allocs)  (+61%, +0.08µs)
Engine HotPath/Light         565 ns/op     0 B/op (0 allocs)  (+15%)
Engine HotPath/Medium      3,033 ns/op     0 B/op (0 allocs)  (+11%)
Engine HotPath/Heavy      24,812 ns/op     0 B/op (0 allocs)  (+8%)
Engine HotPath/AllMatch   42,141 ns/op     6 B/op (0 allocs)  (~持平)
Temp Matcher 处理           370 ns/op   272 B/op (2 allocs)  (+38%)
命令解析 (简单)             1,250 ns/op  2032 B/op (26 allocs)  (未变)
命令解析 (复杂)             2,444 ns/op  2864 B/op (37 allocs)  (未变)
Context.Get                  29 ns/op     0 B/op  (未变)
Context.Set                  40 ns/op     0 B/op  (未变)

路由层(RoutingStrategy.Plan,见 docs/notes/25)

操作                         延迟       分配
─────────────────────────────────────────────
Plan/Empty(纯路由层)       94 ns/op     0 B/op
Plan/CommandHit             653 ns/op     0 B/op
Plan/RegexHit(慢带+Meta) 1,448 ns/op   451 B/op (12 allocs)

路由重构(六路归并 → 可插拔 RoutingStrategy)引入约 166ns 抽象税, 经三轮语义等价优化(单迭代器/内置索引直引/池化零化裁剪)回收 86ns(52%)。剩余差距集中在空事件/轻负载(+61%~+15%), 重负载(Heavy/AllMatch/池化)与 HEAD 持平——真实 bot 负载形态 不受影响,端到端吞吐无差异(见上节)。全程 0 allocs 保持。

归并迭代器(merge_iter.go,0 allocs)

基准 v1.31.0(6 路硬编码) 当前(add 动态流)
SingleList 805 ns 473 ns(-41%)
TwoLists 857 ns 580 ns(-32%)
SixLists 2,714 ns 2,774 ns(+2%)
Alloc/UnderThreshold 3,843 ns 2,303 ns(-40%)
Alloc/OverThreshold 15,112 ns 9,197 ns(-39%)

单/双流提升来自空列表跳过使 K_act 衰减;SixLists 峰值场景 +2% 为每次 add 空检查的代价(噪声级)。

COW 写操作

操作                         延迟       分配
─────────────────────────────────────────────
单 Matcher 注册             ~99,000 ns   294 KB  (v1.31.0: ~89µs)
批量注册 (10)              ~482,000 ns   1.4 MB  (v1.31.0: ~519µs, -7%)
Temp Matcher 增删           ~25,000 ns    71 KB  (v1.31.0: ~25µs)

写操作为 COW 复制-修改-替换,比读操作高出 ~250x——与设计预期一致。 注册批处理(RegisterBatch)将 1000 命令顺序注册从 786ms 降至 ~1.6ms(见 docs/notes/01-cow-engine.md V6)。


优化历程

此报告中的 Benchmark 工具曾存在多个设计问题,经过修复后数据可靠性大幅提升:

阶段 Unlimited/5K 问题
原始非阻塞 + 3s drain 10,725 (53.6%) ❌ Drain 不足假象
修复 drain + 阻塞模式 9,821 ✅ 暴露真实瓶颈
+ ExecProfile 预分配缓冲区 25,735 ✅ GC 风暴消除
+ demoted 快速路径 53,420 ✅ ShouldPool 排序消除
+ sortedCache hasHandler 过滤 235,000+ ✅ 源头过滤无 Handler 匹配器

AI 插件微基准(2026-10-13)

新增的 AI 插件基准覆盖了请求准备前的主要本地 CPU 路径:

包 覆盖范围
builtin/ai/catalog 工具目录候选装配、快照、排序和查找
builtin/ai/decision 冷/热工具选择、会话已用工具提取
builtin/ai/session 工具选择状态、RAG 缓存快照、会话获取
builtin/ai/promptctx 动态上下文构造、RAG 命中格式化
builtin/ai 不同事实数量下的记忆检索
builtin/ai/retrieval 分词、关键词排序、相似度计算、语义向量缓存命中
builtin/ai/protocol 工具定义转换、Provider 请求准备、多模态请求准备

首轮短测样本(Windows amd64,AMD Ryzen 7 5800H,Go 1.27.1,-benchtime=250ms):

场景 延迟 分配
100 个工具,冷选择 482 µs/op 226,524 B/op,2,655 allocs/op
100 个工具,缓存命中 15.4 µs/op 29,315 B/op,120 allocs/op
500 个工具,冷选择 2.61 ms/op 1,119,362 B/op,13,067 allocs/op
OpenAI 典型请求准备 62.2 µs/op 54,002 B/op,204 allocs/op
会话管理器,同 ID 缓存命中 36.3 ns/op 0 B/op,0 allocs/op
动态上下文,缓存正文截断 719 ns/op 3,072 B/op,1 alloc/op

在这组本地合成用例里,100 个工具的冷选择约 0.48 ms,缓存命中约 15 µs;500 个工具的冷选择约 2.6 ms,并产生更多内存分配。请求准备本身为几十微秒量级。这些数据可作为后续优化的起点,不能直接代表生产延迟或并发吞吐;基准使用本地数据和假实现,不调用真实 LLM、嵌入服务或数据库,也不包含网络耗时。

# 从仓库根目录运行 AI 插件全部微基准
go test -run '^$' -bench . -benchmem ./builtin/ai/...

# 多轮采样,用于对比代码变更前后的结果
go test -run '^$' -bench . -benchmem -benchtime=1s -count=5 ./builtin/ai/...

运行基准测试

# 端到端吞吐量压测(推荐)
cd examples/benchmark
go run throughput_bench.go -suite quick              # 快速验证
go run throughput_bench.go -suite standard            # 完整标准套件
go run throughput_bench.go -suite matcher5k           # 5K 匹配器针对性测试
go run throughput_bench.go -inject-mode blocking      # 阻塞模式(背压测试)

# 额外参数
go run throughput_bench.go -duration 10s -disable-latency   # 减少统计开销

# Micro-benchmark
go test -benchmem -bench="BenchmarkEngine" ./tests/benchmark/
go test -benchmem -bench="BenchmarkContext" ./core/context/

# 路由层 / 热路径 / 归并迭代器(RoutingStrategy 重构相关)
go test -benchmem -bench="BenchmarkRoutingPlan" ./core/engine/
go test -benchmem -bench="BenchmarkHotPath" ./core/engine/
go test -benchmem -bench="BenchmarkMergeIter" ./core/engine/