GAIA k=5:一个模型,两个 harness,谁更「稳」
TL;DR:同一批 25 题、同一个模型,换 harness 的分数差,比同一 harness 隔一小时重跑的分数差还小——所以单次跑分不能拿来排名。于是每题跑 5 次,把「能做对一次」(Pass@5)和「次次做对」(pass^5)分开量:tako 24/25 · 20/25,dsh 23/25 · 14/25。dsh 丢掉的 pass^5 主要是撞 300 秒墙钟被截断,不是答错。判断「为什么挂」靠 trace 取证,不靠感觉。
本文记的是 2026-11-01 夜到 11-02 凌晨这一轮:为什么跑、怎么定的口径、踩了哪些坑、数怎么读。方案的常驻口径在 doc/56 §4.7、§4.10;这里只讲故事与数据。
1. 起因:一张不敢下结论的分数表
白天先跑了一轮单次对照:同一 25 题、同一个 deepseek-flash、同一个搜索后端、同一把密钥、同一句尾句、同一套判定器,只换 harness——tako 22/25,dsh 20/25。
数字上 tako 领先两题。可同一小时里把 tako 臂原样重跑一遍,总分只动了 1 题(21→22),逐题判决却翻了 7 题。两臂之间的逐题差异只有 6 题。
也就是说:换 harness 的影响,比把同一个 harness 再跑一遍还小。这张表能说明「同一个模型换个壳,有六道题的对错会翻」,但说明不了「谁更强」——样本里的抖动比要量的差还大。
要压住抖动,只有一条路:把同一道题重复跑。
2. 拍板一:用 pass^k,而不是「跑几次取平均」
重复跑有几种统计法,我们选了最保守的一种(doc/45 已定口径):
- Pass@N:N 次里至少过一次就算过。回答「这个 harness 天花板在哪」。
- pass^N:N 次全部过才算过。回答「它可不可靠」。
同一道题,5 次里对 4 次——Pass@5 记通过,pass^5 记失败。两个数之间的差,就是「不稳」的价钱。为什么不取平均分?因为这里的「过」是一次判定(答案逐字比对官方 scorer),不是连续分数;「5 次里过 3 次 = 0.6 分」没有意义,不如直接看「有几次没兑现」。
为什么不改成多跑几道题、每题只跑一次? 切片是固定的 25 题(公开题的 L1 纯文本子集),扩题要换切片、重做口径;而这一轮要回答的是「同一批题上,这个 harness 稳不稳」,重复次数才是对症的变量。
跑之前还定了两条约束:
- 串行,不并发。同一时刻只有一场 run 落在同一台隔离引擎上——并发会把「引擎是不是被别的 run 拖慢」混进墙钟与超时。代价是慢:250 场跑了 4 小时 31 分。
- k=5。再少分不出「偶发一次」与「一半一半」;再多,边际信息少、钱和时间成倍。
3. 拍板二:归因要有证据,且只能后补
光有「过/不过」回答不了下一个问题:这道题这次挂了,是引擎坏了,还是模型这次没做对?
于是加了归类,判据只用三样东西:本轮判决、基线、trace 证据。
| 结论 | 什么时候给 |
|---|---|
incomplete |
有任一轮没跑完(超时/报错)——先说没跑完,别急着归因 |
engine_regression |
基线过、本轮挂,且 trace 里工具有「错误:」回执或 trace 串号——要查引擎 |
model_below_baseline |
基线过、本轮挂,trace 正常(工具没报错、span 齐全)——模型这次没做对 |
model_baseline |
基线本来就挂,本轮也挂——模型就这水平,不拦门禁 |
unasserted |
没基线或缺 trace——证据不够,不下结论 |
(另有通过时的 ok 与「基线挂、本轮过」的 above_baseline。)
只有 engine_regression 与 model_below_baseline 让脚本退出码非零——这两类才是「这次比上次差,且差得可疑」。
为什么归因必须是后处理? trace 不是同步写进平台的:引擎用 BatchSpanProcessor 批量上报,跑完那一刻去拉,最后几场的 span 可能还在路上。第一版把归因塞在跑分主循环里,实测 6 场里有 1 场拉不到 trace,被判成 unasserted。所以流程拆成两步:
# 跑完,先只出判定与钱
python3 scripts/bench/run_bench.py --cases gaia --arms tako,dsh --repeat 5 \
--tail "最后一行只输出答案,不要解释。" --write-baseline --engine-log tmp/d1-engine.log
# trace 落齐后,拉事实 → 回填归因,不重跑题
python3 scripts/bench/traces.py --report <报告>.json --all --summary-json facts.json
python3 scripts/bench/run_bench.py --rebuild <报告>.json \
--baseline scripts/bench/baselines/gaia.json --traces facts.json--rebuild 只重算派生量(归因、钱、摘要)并重渲染 markdown,题目一行都不再跑。报告里因此会记录 attributionInputs:这份归因用了哪份基线、哪份 trace 事实——下次有人质疑,能照着复现。
4. 拍板三:基线是「第一次实测」,只拦「更差」
基线不是目标线,是已知水平线。第一次跑出来的数抄成真值,之后每轮只回答一个问题:这次比基线差了吗?
- 没差或更好:不红;
- 差了,且 trace 显示工具在报错/串号:
engine_regression,红; - 差了,trace 正常:
model_below_baseline,红——模型这次确实没做对,要查提示词/预算; - 差了,但基线本来就挂:
model_baseline,不红——那是已知水平。
基线文件只存判定,不存题面、答案、题号明文:
{"caseSet":"gaia","repeat":5,"modelRef":"deepseek/deepseek-flash",
"sliceHash":"sha256:ee7e3305…","taskKey":"sha256(task_id)[:12]",
"arms":{"tako":{"0011b22d84d1":{"passAtN":true,"passK":true,
"verdicts":[true,true,true,true,true]}}}}题键用 sha256(task_id) 前 12 位:能跟同一份切片对上号,又不把 GAIA 的 task_id 带进版本库。模型、提示词口径、切片 hash 任一变了,基线作废重建——{modelRef, engineCommit, sliceHash, repeat} 都写在文件头,读的人不用猜。
5. 那一夜的三个坑
坑一:少一个参数,就是另一个协议。
第一版 k=5 是在 22:46 起的,命令里没写 --tail。跑到 39/250 时看日志不对:几乎全挂,通过的几道答案也是整段散文。
回头查:没有尾句时,user message 就是题面本身——这是白天已经判死的 A 口径(题面本身 2/25),钉死的 B 口径要带「最后一行只输出答案,不要解释。」。同一个脚本、同一个模型、同一个判定器,少一个参数就是另一个实验。
当场停掉作废,39 场的钱与时间认亏,23:37 带尾句重开。新跑第一题的末个 assistant 文本是干净的 Rockhopper penguin;A 口径下同一题给的是带「顺带一提……」的一整段。尾句生效是能直接看见的。
坑二:拉 125 份 trace,撞上读接口限流。
Langfuse 的 observations 列表接口限 30 次/分钟。125 场逐条拉,第一遍就收到 429 {"limit":30,"retryAfterSeconds":19},整批失败——脚本当场退出,facts.json 一个字没写。
改成按 retryAfterSeconds 退避重试(最多 8 次)。第二遍 125/125 全拉回,0 份缺 trace。这条已写进 traces.py,以后全量拉不会再裸循环。
坑三:花了钱的报告,死于非原子写。
更早的一次调试里,--rebuild --traces 把 trace 事实写成字典后又试图序列化,键是 tuple,json.dump 写到一半抛异常——报告被写成半截 JSON,读都读不回来。
修法不是「小心点」,是所有报告写盘先写 .tmp 再 os.replace。一份报告值一小时墙钟和一笔真实账单,不允许有「写了一半」的中间态。
6. 数据
口径:GAIA L1 25 题纯文本切片(slice_hash 前缀 ee7e3305)、deepseek-flash、每题 300s 上限、B 口径(题面 + 尾句)、每题每臂 5 次、串行。引擎是同一台隔离实例(8953),125 个 tako run 的根 span traceId 从引擎日志对上了 125/125。
| 臂 | Pass@5 | pass^5 | 未完成轮次 | 模型调用 | 工具调用 | token | 墙钟合计 | $(本臂口径) | $(同口径上界) |
|---|---|---|---|---|---|---|---|---|---|
| tako | 24 / 25 | 20 / 25 | 1 | 605 | 668 | 10,796,281 | 3124.2s | 1.6954 | 1.6954 |
| dsh | 23 / 25 | 14 / 25 | 22 | 1472 | 1570 | 34,480,868 | 13170.6s | 0.5511 | 5.3433 |
配对(25 题):
| 口径 | 都过 | 只 tako 过 | 只 dsh 过 | 都没过 |
|---|---|---|---|---|
| Pass@5 | 23 | 1 | 0 | 1 |
| pass^5 | 13 | 7 | 1 | 4 |
不稳的分布:
- tako:4 题 5 次里错 1 次(其中 1 次是超时),1 题 5 次全挂;
- dsh:9 题不稳,22 个未完成轮次落在 8 道题上,其中 2 道题 5 次全超时。
归因(基线 = 本轮自身,所以没有「更差」的红):
| 臂 | incomplete | model_baseline | ok |
|---|---|---|---|
| tako | 1 | 4 | 20 |
| dsh | 8 | 3 | 14 |
两臂的单轮规模对比(同一批题、同一模型):
| 平均模型调用/题 | 单轮最多 | token 总量 | |
|---|---|---|---|
| tako | 4.8 | 27(步数闸 50,未触顶) | 10.8M |
| dsh | 11.8 | 43 | 34.5M |
7. 怎么读:三个「不能」与一个「能」
不能给两臂排名。 pass^5 的 13/7/1/4 看着 tako 领先,但 dsh 那 4 道「都没过」里有 2 道是 5 轮全超时——那是步数预算与 harness 的差,不是知识差。真要排名,得先把预算对齐(给 dsh 加步数闸、或把两臂上限都放宽),否则比的是谁更早被截断。
不能说 dsh 便宜。 它的 $ 列小,是因为 usage 分了缓存命中、命中按便宜价算;两臂拉平到「一律按缓存未命中价」之后,dsh 反而更贵(5.34 vs 1.70)。同一张表里只有「同口径上界」这一列能横向比。
不能说 dsh 故意多探。 它的循环和 tako 是同一个形状:模型 → 工具 → 模型,直到模型不再发工具调用。差别只在「模型选择跑几轮」,而这一轮没有做消融——能说的只有:dsh 的提示词是一句英文「You are a coding agent…」、工具面是 bash/文件搜索/编辑器、每题给一个干净工作目录;这三样里哪一样造成 2.5 倍步数,要做 A/B 才知道。
能说的是:这批题上,「能做对一次」两臂几乎一样(24 vs 23);「次次做对」差出来的部分,主要不是能力,是预算与形态——超时、答案形态、步数。
8. 下一步(待拍)
- 对齐预算再比一次:给 dsh 加步数闸(tako 是
MaxIterations=50,见yk-tako-eino/internal/runengine/worker.go),或把两臂统一放宽 300s,看 pass^5 的差还剩多少; - 消融「coding 属性」:dsh 的 persona 是一行配置(
personaPrefix),换成 tako 的中文提示重跑同一批题,直接量提示词贡献了几步; - pi 臂:装上后是三臂并排;缺臂不进分母这条不变;
- SWE-bench:仍是 gated(要 Linux + Docker + 引擎镜像),不在这一轮范围。
9. 所以这解决了什么
一张单次分数表,曾让我们以为「tako 比 dsh 强两题」。跑 5 次之后,这个结论变成两句话:「能做对一次」两者几乎一样;「次次做对」差的不是同一件事——dsh 输在 300 秒里跑不完,而不是答不出。
更重要的是流程定了型:以后任何一轮跑分,都能回答「这次比上次差了吗、差在哪、证据是什么」,而不是再对着一个总分猜。