tako 文档 GitHub

崩溃后这场 run 算什么状态

模块:运行生命周期(internal/runengine/)| 状态:已落地(2026-10-21 收口)| 证据:doc/30-崩溃续跑.md、tmp/30-崩溃续跑/planning.md、commit 37ec3dd / ab18c2f / cf9b55a

1. 场景与病灶

张三让 agent 拉完 40 份日志、写完一份报告。进程跑到第 12 分钟被 kill -9(机器回收、OOM、部署滚动重启都可能)。PG 里那一行 runs 还写着 status='running',但它续租的 lease_until 已经过期。

用户刷新页面,看到气泡停在半截,于是问系统:这场 run 是死了,还是还能接着跑?

三种做法各自会把事情弄坏:

2. 候选与代价

候选 做法 好处 代价
A 翻 error 崩溃后把行改成 error 状态简单 语义污染;不可续;分不清「模型失败」与「机器掉了」
B 新增 interrupted 状态 落库一个新状态值 读侧直观 部分唯一索引放闸;新 run 与待续 run 并存;状态机、查询、前端全改
C 读侧派生 行仍 running,租约过期即对外显示「已中断」 闸不放、零状态机变更;续跑成功自动转正 读侧要解释「running 但租约过期」;旧客户端要兼容

裁定:选 C。 崩溃后不把 runs 行翻成 error——它是「暂时没人续租的 running」,不是「失败的 run」。

3. 同族小裁定(同一个问题的其他面)

小问题 裁定 代价 / 备注
续跑信 eino checkpoint 还是自建账本? 自建 run_journal 步骤账本 eino v0.9.21 只在 cancel/interrupt 路径存 checkpoint,kill -9 不经过;也没有官方 PG 后端。接它等于把恢复建在覆盖不到目标故障的机制上
账本表放哪? 独立 PG 表 run_journal 复用 runlog_entries 会把「展示真源」与「恢复真源」绑死;放 Redis 则过期即丢,不能当恢复真源
崩溃时在途的工具重跑吗? 不重跑,回填固定文本「结果未知/已中断」 账本只知道「intent 有、result 没有」,不知道底层副作用;自动重跑是 at-least-once,会把写文件、发搜索做两遍
防旧执行者写脏数据只靠租约吗? runs.lease_epoch + Redis tk:runepoch 双比 租约只回答「现在有没有人续」,不回答「续的是不是当初那个」;接管后旧进程的 EndRun 守卫会重新成立
账本 seq 用 MAX+1 吗? bigserial 发号;重放按 call id 归组 MAX+1 在并行工具下撞主键;按 seq 猜配对会把并行结果配错
恢复时旧 runlive 帧流追加还是重建? 整个丢掉、重建,首帧是 resume、offset 从 0 开始 崩溃前可能有半截 delta 从未进账本,留在流里会让「模型说过的字」与账本对不上
谁触发续跑:服务端巡检还是客户端按钮? 只做客户端显式按钮 无人在场时自动恢复会悄悄烧 token、执行有副作用的工具;2026-10-21 用户拍板,原「server 巡检」作废
同一会话,新消息与续跑谁优先? 新消息优先 活人优先;旧 turn 留在 interrupted,等用户之后处理
工具一执行就写模型历史吗? 只在 EndRun 定稿时写 mh 否则 error 的 run 会在会话历史里留下「调了工具但没有结果」的半截环
账本包在 handler 链哪里? 链尾统一包 只在池装配点包会漏掉 MCP 与委派工具;崩溃在 MCP 调用中时账本连 intent 都没有

4. 证据

5. 现状

仍有效。doc/38 后来删掉了 draft 键,但没有改「读侧派生 interrupted」这条;doc/39 把同一条思路扩到子代理(只重接有 terminal 行的完整档案),见 doc/problems/子代理档案放哪里。