记忆要不要上向量
模块:长期记忆与召回(
internal/runengine/memory.go、recall.go)| 状态:已落地(doc/29A1–B4,29f9d18,2026-10-18);线二检索栈由自研 tsvector+BM25 改为 pg_search| 证据:doc/29-长期记忆.md§2、§10.1–§10.3、tmp/pgsearch-verify/
1. 场景与病灶
三周前,用户在会话 A 里和 agent 排查构建失败,顺口说「这个项目的 Go 不在 PATH,得用 PATH=$HOME/sdk/go1.27.0/bin:$PATH」。三周后会话 B,用户说「加个 handler,跑一下测试」,agent 直接 go test,报了一屏 package requires go >= 1.27。它不知道这句话:notes 里没有(用户没说「记下来」),search_history 只能搜会话 B 自己。同一件事,用户第二次付了时间。
更麻烦的是决策与原文:会话 A 里比较半小时后拍板「Go + Gin,理由单二进制部署」,会话 B 里 agent 又推荐 FastAPI;会话 A 里定下「dev 库 5433、迁移窗口周六凌晨」,会话 B 问「5433 那件事,旧实例读到几号」——原料都在 runlog_entries 里,断的是「把上一场 run 变成下一场可用的结论 / 可搜的原文」这两段。
2. 候选与代价
| 问题 | 候选 | 好处 | 代价 |
|---|---|---|---|
| 召回用什么检索 | A pgvector 语义召回 | 换说法也能命中(「周末」→「周六」) | embedding provider、外部调用故障面、RRF 融合、HNSW 调参;tako 是工作伙伴不是知识库,语义噪声会挤掉精确事实 |
| B ILIKE 词法(线一,定案) | 零扩展、零外部依赖、可预测 | 只认字面;短句记忆量小,词法够用 | |
C PG 内核 tsvector + Go 侧 BM25(第三稿) |
不装扩展 | 要自研 bigram 预处理、生成列 + GIN、重排;中文分词与 BM25 都要自己维护 | |
| D pg_search 扩展(线二,定案) | Lindera 分词 + 扩展内 BM25,一条 @@@ 查询 |
部署矩阵多一个扩展;dev 实例要 preload + 重启 | |
| 一份还是两份索引 | A 一张表一个召回函数 | 实现少 | 蒸馏记忆与原文的形态、预算、召回路完全不同,混在一起必互相拖累 |
| B 一份原料两条加工线(定案) | 各用各的检索栈:记忆 ILIKE、原文 pg_search | 两条写链、两个召回口,但只在一个注入点汇合 | |
要不要 search_memory 工具 |
A 给模型一把工具 | 模型可按需查 | 自动召回已覆盖主场景;工具要模型自觉调用,弱模型不可靠 |
| B 只做自动召回(定案) | 不依赖模型自觉 | 召回块不够用时没有第二条路(二期再加,它只是召回函数的一层壳) |
裁定:A 不做;线一 B、线二 D;两条线分开建;search_memory 不做。
3. 同族小裁定
| 小问题 | 裁定 | 代价 / 备注 |
|---|---|---|
| 原文怎么切块? | 一个 run 一块 passage(≤4000 rune),不切 | WeKnora 同款;切块会切碎上下文,排名也更难解释 |
| 工具行进不进索引? | 两条线都不进 | 工具输出大、噪、多是网页/文件原文;需要精确找时本会话有 search_history |
| 子代理终稿进不进? | 两条线都进(各截 1000 rune) | tako 的大活常整体委派,root 终稿可能只有一句;不收,委派型 run 的记忆是空壳 |
| 抽取什么时候触发? | run complete,EndRun 同事务写 memory_jobs(outbox) |
同事务保证「run 定稿 ⇒ 待抽任务一定存在」;不塞进 EndRun 同步做,主流程不欠记忆任何东西 |
| 索引什么时候触发? | 常驻循环每 2s 反查未索引 run | 本地毫秒级写入,幂等重扫比 outbox 更少件达到同等可靠性 |
| 失败怎么办? | 抽取 job 重试三次后 failed;索引重扫覆盖同一行 | run 早已 complete,记忆失败不拖垮主流程 |
| 语义召回的「换说法」怎么办? | 明确放弃,写进契约并验收固化 | 「库里有『周六』、问『周末』命中 0」是接受的限制,不是 bug;将来若要捡回,pg_search 自带混合检索,门比当初宽 |
| 记忆合并/淘汰? | 一期不做;写入只增不改,召回同 topic 取最新 | 二期加 status/superseded_by 再议 |
4. 证据
- 方案:
doc/29-长期记忆.md§1(三场戏)、§2(两条线对照与四条判据)、§3(写链/读链/重建链)、§4–§5(两线实现)、§6.3(接受的限制)、§10.1(WeKnora 抄/不抄)、§10.2(两次路线裁决)、§10.3(远期备选)。 - 台账:
tmp/pgsearch-verify/(PG 17.4 临时实例四项实证;5433/5432 全程未动)。 - 代码:
memory.go(抽取管线)、recall.go(renderMemoryBlock、memoryCandidate.CreatedAt)、internal/runengine的dialogue_chunks手写迁移与 pg_search 索引。 - 复核命令:
grep -rn "pg_search\|dialogue_chunks\|ILIKE" yk-tako-eino/internal/runengine/*.go | head。
5. 现状
仍有效。线一是 ILIKE 词法 + 命中数;线二落 pg_search(@@@)。pgvector 未 CREATE EXTENSION——它只是 pg_search 的捆绑依赖文件,不是启用状态。与 召回块放哪一层 的交界:检索栈决定「召回什么」,注入位置决定「召回块怎么进模型输入」,两件事分开裁定。