同项目并发写文件怎么防
模块:工具层 / 项目目录 / 产品形态(
internal/runengine/)| 状态:已落地(b9cf037文件防护、44cf7ca项目闸退役)| 证据:doc/42-产品形态收窄与共享项目退役.md、tmp/文件写入并发/planning.md、doc/19-v6/19v6-08-file-tools.md
1. 场景与病灶
同一项目目录允许多场会话同时跑(这是「项目」这个概念的意义:上一场写的 中间产物.md,下一场要接着读)。一旦并发,两条实际的破坏链就出现了:
- 基于旧内容的全量覆盖:run A 读完
report.md(3000 字),模型想了 20 秒,期间 run B 把同一文件改成了 3200 字;A 用自己记忆里的 3000 字整文件写回,B 的改动无声消失,而 A 得到「写入成功」的回执。 - 并行子代理互踩:主代理一次委派两个 coder,各写同一个
src/main.go,后完成的覆盖先完成的;两边都报成功。
还有第三类,属于「读了旧文本再做局部编辑」:edit_file 按 old_string 替换,若这段文本在两次调用之间已被别人改掉,替换结果不是任何人预期的版本。
核心矛盾:要 100% 不冲突,只能整层禁止并发(把项目闸请回来);而禁止并发会把「项目」退化成排队,吞吐和体验都不可接受。
2. 候选与代价
| 问题 | 候选 | 好处 | 代价 |
|---|---|---|---|
| 同项目并发 | A 项目闸:同时只允许一个活 run,冲突 409 | 实现简单、绝对正确 | 整层串行;误伤同用户多会话;与「项目」本意相反 |
| B 允许并发,冲突显式失败 | 吞吐与体验;跨机也成立 | 极窄窗口关不掉;模型被拒后要重读再写 | |
| 写锁用什么 | A PG advisory lock | 跨进程 | 要 DB 连接做锁,锁与文件生命周期脱节;持锁阻塞整项目 |
| B Redis 锁 | 快 | 易失;多一套设施;过期语义要自己兜 | |
| C flock(定案) | 随 fd 释放、崩溃自动解锁、同机真串行;锁的对象就是文件 | 跨机无效 | |
| 凭什么判过期 | A 只加锁不比内容 | 简单 | 「基于旧内容的覆盖」照样发生——锁解决同时写,不解决写过期 |
| B 版本号 / etag | 精确 | 需要文件系统或 DB 维护版本,外部改动跟踪不到 | |
| C 内容指纹 mtime+size+sha256(定案) | 不依赖外部元数据,bash/人工改动也能发现 | 大文件哈希贵,要降级阈值 |
裁定:B + C + C。 允许并发;写前在 flock 内比对内容指纹,变了就显式失败;跨机靠同一套指纹兜底(两台机器各有各的 flock,但内容变了都能看见)。
3. 同族小裁定
| 小问题 | 裁定 | 代价 / 备注 |
|---|---|---|
| 项目闸留不留? | 整条退役,one_live_run_per_workspace 索引删除 |
doc/42 形态收窄;先发新代码(保留 409 兜底)再删索引,避免旧代码把冲突翻译成 500 |
| 读到的指纹基准放哪? | run 级内存 map,key =(agent 名, 绝对路径) | 「读过」是会话事实、不是文件事实;进程重启即丢可接受(重启后本来就要重读) |
edit_file 也查基准吗? |
不查,只靠 old_string 不唯一即失败 |
强制先读全文会带来一次全文 token 成本;edit 的失败模式由唯一性校验兜底 |
bash 写文件参与锁吗? |
不参与,交人工审批 | 从命令串解析写目标不可靠(重定向、tee、脚本内部写都拿不到);宁可承认缺口,也不做「看起来锁了其实没锁」的假保证 |
| 大文件怎么降级? | 超过 64MB 只比 (mtime, size),不算 sha256,并显式标记为弱指纹 |
用弱判据换可用性,把「弱」建模出来而不是悄悄跳过 |
| 锁粒度多细? | 256 桶(b46893b 后) |
早期按路径直接哈希做锁,桶化避免同一目录高频锁冲突 |
4. 证据
- 方案:
doc/42-产品形态收窄与共享项目退役.md§2.4(并发策略、锁选型、Kimi 四件事)、§3.2(索引退役两拍)、§8 开放问题 1;doc/19-v6/19v6-08-file-tools.md(文件工具语义裁定)。 - 台账:
tmp/文件写入并发/planning.md§2(三个真实事故)、§4.1(基准表)、§4.4(edit 不查)、§4.6(指纹与阈值)、§4.7/4.10(锁选型与 bash 缺口)、§10 演化记录。 - 代码:
filefp.go:34-40(64MB 阈值)、filefp.go:77(fingerprintOf)、filefp.go:158(withFileBaseline)、filefp.go的lockPaths;filetools.go的 write / edit / move 调用点;pgstore.go的幂等DROP INDEX IF EXISTS one_live_run_per_workspace。 - 复核命令:
grep -n "fingerprintHashMaxBytes\|func fingerprintOf\|func lockPaths" yk-tako-eino/internal/runengine/filefp.go。
5. 现状
仍有效。已知缺口登记在案:bash 写文件不受锁保护,靠人工审批兜底;跨机只靠指纹「事后发现」,不能事前串行。