崩溃后这场 run 算什么状态
模块:运行生命周期(
internal/runengine/)| 状态:已落地(2026-10-21 收口)| 证据:doc/30-崩溃续跑.md、tmp/30-崩溃续跑/planning.md、commit37ec3dd/ab18c2f/cf9b55a
1. 场景与病灶
张三让 agent 拉完 40 份日志、写完一份报告。进程跑到第 12 分钟被 kill -9(机器回收、OOM、部署滚动重启都可能)。PG 里那一行 runs 还写着 status='running',但它续租的 lease_until 已经过期。
用户刷新页面,看到气泡停在半截,于是问系统:这场 run 是死了,还是还能接着跑?
三种做法各自会把事情弄坏:
- 把它翻成
error。看起来干净,但error在用户语言里是「失败了、没救了」,而这场 run 其实还能续——账本、会话、工作区都还在。更糟的是状态机从此分不清「模型出错的失败」与「机器掉了的可续」。 - 新增一个
interrupted存储状态。写进去的那一刻,会话级部分唯一索引one_live_run_per_session(只盖status='running'的行)立刻放闸:用户再发一条消息就能起一场新 run,而旧的半截 run 还挂着可续。同一会话里于是出现两套模型上下文,谁先接上算谁的。 - 保持
running+ 过期租约,读的时候再派生成「已中断」。闸仍然占着(同一会话不能开第二场),状态机一个字段都不用改;用户点「继续这一轮」时,CAS 把租约抢回来,状态自然回到 running。
2. 候选与代价
| 候选 | 做法 | 好处 | 代价 |
|---|---|---|---|
| A 翻 error | 崩溃后把行改成 error |
状态简单 | 语义污染;不可续;分不清「模型失败」与「机器掉了」 |
| B 新增 interrupted 状态 | 落库一个新状态值 | 读侧直观 | 部分唯一索引放闸;新 run 与待续 run 并存;状态机、查询、前端全改 |
| C 读侧派生 | 行仍 running,租约过期即对外显示「已中断」 |
闸不放、零状态机变更;续跑成功自动转正 | 读侧要解释「running 但租约过期」;旧客户端要兼容 |
裁定:选 C。 崩溃后不把 runs 行翻成 error——它是「暂时没人续租的 running」,不是「失败的 run」。
3. 同族小裁定(同一个问题的其他面)
| 小问题 | 裁定 | 代价 / 备注 |
|---|---|---|
| 续跑信 eino checkpoint 还是自建账本? | 自建 run_journal 步骤账本 |
eino v0.9.21 只在 cancel/interrupt 路径存 checkpoint,kill -9 不经过;也没有官方 PG 后端。接它等于把恢复建在覆盖不到目标故障的机制上 |
| 账本表放哪? | 独立 PG 表 run_journal |
复用 runlog_entries 会把「展示真源」与「恢复真源」绑死;放 Redis 则过期即丢,不能当恢复真源 |
| 崩溃时在途的工具重跑吗? | 不重跑,回填固定文本「结果未知/已中断」 | 账本只知道「intent 有、result 没有」,不知道底层副作用;自动重跑是 at-least-once,会把写文件、发搜索做两遍 |
| 防旧执行者写脏数据只靠租约吗? | runs.lease_epoch + Redis tk:runepoch 双比 |
租约只回答「现在有没有人续」,不回答「续的是不是当初那个」;接管后旧进程的 EndRun 守卫会重新成立 |
账本 seq 用 MAX+1 吗? |
bigserial 发号;重放按 call id 归组 |
MAX+1 在并行工具下撞主键;按 seq 猜配对会把并行结果配错 |
| 恢复时旧 runlive 帧流追加还是重建? | 整个丢掉、重建,首帧是 resume、offset 从 0 开始 |
崩溃前可能有半截 delta 从未进账本,留在流里会让「模型说过的字」与账本对不上 |
| 谁触发续跑:服务端巡检还是客户端按钮? | 只做客户端显式按钮 | 无人在场时自动恢复会悄悄烧 token、执行有副作用的工具;2026-10-21 用户拍板,原「server 巡检」作废 |
| 同一会话,新消息与续跑谁优先? | 新消息优先 | 活人优先;旧 turn 留在 interrupted,等用户之后处理 |
| 工具一执行就写模型历史吗? | 只在 EndRun 定稿时写 mh |
否则 error 的 run 会在会话历史里留下「调了工具但没有结果」的半截环 |
| 账本包在 handler 链哪里? | 链尾统一包 | 只在池装配点包会漏掉 MCP 与委派工具;崩溃在 MCP 调用中时账本连 intent 都没有 |
4. 证据
- 方案:
doc/30-崩溃续跑.md§2.3(run 死在哪)、§3.2(eino checkpoint 救不了)、§6(账本三表分工)、§7(围栏)、§8(Redis 重建)、§9(重放)、§11(竞态)、§12(自动续跑)。 - 台账:
tmp/30-崩溃续跑/planning.md§6 演进记录(账本形态、围栏、seq、包装点、旧帧流)。 - 代码:
pgstore.go的RunStatus与 interrupted 派生;journal.go的journalWrapHandler/replayJournal/interruptedResultText;redisstore.go的seedResume;store.go的ClaimResume与EndRun。 - 复核命令:
grep -n "interrupted" yk-tako-eino/internal/runengine/pgstore.go;grep -n "func replayJournal\|func (h \*journalWrapHandler)" yk-tako-eino/internal/runengine/journal.go。
5. 现状
仍有效。doc/38 后来删掉了 draft 键,但没有改「读侧派生 interrupted」这条;doc/39 把同一条思路扩到子代理(只重接有 terminal 行的完整档案),见 doc/problems/子代理档案放哪里。