tako 文档 GitHub

记忆要不要上向量

模块:长期记忆与召回(internal/runengine/memory.go、recall.go)| 状态:已落地(doc/29 A1–B4,29f9d18,2026-10-18);线二检索栈由自研 tsvector+BM25 改为 pg_search| 证据:doc/29-长期记忆.md §2、§10.1–§10.3、tmp/pgsearch-verify/

1. 场景与病灶

三周前,用户在会话 A 里和 agent 排查构建失败,顺口说「这个项目的 Go 不在 PATH,得用 PATH=$HOME/sdk/go1.27.0/bin:$PATH」。三周后会话 B,用户说「加个 handler,跑一下测试」,agent 直接 go test,报了一屏 package requires go >= 1.27。它不知道这句话:notes 里没有(用户没说「记下来」),search_history 只能搜会话 B 自己。同一件事,用户第二次付了时间。

更麻烦的是决策与原文:会话 A 里比较半小时后拍板「Go + Gin,理由单二进制部署」,会话 B 里 agent 又推荐 FastAPI;会话 A 里定下「dev 库 5433、迁移窗口周六凌晨」,会话 B 问「5433 那件事,旧实例读到几号」——原料都在 runlog_entries 里,断的是「把上一场 run 变成下一场可用的结论 / 可搜的原文」这两段。

2. 候选与代价

问题 候选 好处 代价
召回用什么检索 A pgvector 语义召回 换说法也能命中(「周末」→「周六」) embedding provider、外部调用故障面、RRF 融合、HNSW 调参;tako 是工作伙伴不是知识库,语义噪声会挤掉精确事实
B ILIKE 词法(线一,定案) 零扩展、零外部依赖、可预测 只认字面;短句记忆量小,词法够用
C PG 内核 tsvector + Go 侧 BM25(第三稿) 不装扩展 要自研 bigram 预处理、生成列 + GIN、重排;中文分词与 BM25 都要自己维护
D pg_search 扩展(线二,定案) Lindera 分词 + 扩展内 BM25,一条 @@@ 查询 部署矩阵多一个扩展;dev 实例要 preload + 重启
一份还是两份索引 A 一张表一个召回函数 实现少 蒸馏记忆与原文的形态、预算、召回路完全不同,混在一起必互相拖累
B 一份原料两条加工线(定案) 各用各的检索栈:记忆 ILIKE、原文 pg_search 两条写链、两个召回口,但只在一个注入点汇合
要不要 search_memory 工具 A 给模型一把工具 模型可按需查 自动召回已覆盖主场景;工具要模型自觉调用,弱模型不可靠
B 只做自动召回(定案) 不依赖模型自觉 召回块不够用时没有第二条路(二期再加,它只是召回函数的一层壳)

裁定:A 不做;线一 B、线二 D;两条线分开建;search_memory 不做。

3. 同族小裁定

小问题 裁定 代价 / 备注
原文怎么切块? 一个 run 一块 passage(≤4000 rune),不切 WeKnora 同款;切块会切碎上下文,排名也更难解释
工具行进不进索引? 两条线都不进 工具输出大、噪、多是网页/文件原文;需要精确找时本会话有 search_history
子代理终稿进不进? 两条线都进(各截 1000 rune) tako 的大活常整体委派,root 终稿可能只有一句;不收,委派型 run 的记忆是空壳
抽取什么时候触发? run complete,EndRun 同事务写 memory_jobs(outbox) 同事务保证「run 定稿 ⇒ 待抽任务一定存在」;不塞进 EndRun 同步做,主流程不欠记忆任何东西
索引什么时候触发? 常驻循环每 2s 反查未索引 run 本地毫秒级写入,幂等重扫比 outbox 更少件达到同等可靠性
失败怎么办? 抽取 job 重试三次后 failed;索引重扫覆盖同一行 run 早已 complete,记忆失败不拖垮主流程
语义召回的「换说法」怎么办? 明确放弃,写进契约并验收固化 「库里有『周六』、问『周末』命中 0」是接受的限制,不是 bug;将来若要捡回,pg_search 自带混合检索,门比当初宽
记忆合并/淘汰? 一期不做;写入只增不改,召回同 topic 取最新 二期加 status/superseded_by 再议

4. 证据

5. 现状

仍有效。线一是 ILIKE 词法 + 命中数;线二落 pg_search(@@@)。pgvector 未 CREATE EXTENSION——它只是 pg_search 的捆绑依赖文件,不是启用状态。与 召回块放哪一层 的交界:检索栈决定「召回什么」,注入位置决定「召回块怎么进模型输入」,两件事分开裁定。