tako 文档 GitHub

12 · 上下文压缩

性质:已实现。算法见第 9 节,实施任务见《13》。对应《05》能力路线第 4 项。 窗口大小的文件路径和查询方式在第 2 节。检索落在 Web 用的同一个 SQLite,见第 9 节。

1. 什么时候可以发给模型

发给主模型的那一整份内容,按 token 数算,要小于窗口大小的 80%。没超过就直接发,不做压缩。

这一整份里有:系统指令、这一次带上的工具说明、摘要、还没写进摘要的检索结果、要原样留下的旧对话、当前这一轮,以及用户刚发的这句话。

系统指令和工具说明不拿去摘要。上一次接口如果返回了 Usage.TotalTokens,这两块已经算在那个数里面,不要再加一次。还没有这个数的时候,只数对话消息,不把整份工具说明再加进去。

窗口大小取 256000 时,可以分成两步看。

  1. 204800 = 256000 × 0.8。 204800 量的是对话内容的 token 数。大于它,才开始压缩。

  2. 51200 = 256000 − 204800。 51200 量的是窗口里还空着的 token 数,留给这一次的回复。

2. 窗口大小放在哪里

每个模型一个固定的数,按模型 ID 保存。这个数量的是该模型一次请求能装下的 token 上限。

先看进程内存里有没有。没有再看配置文件。两处都没有,才向当前模型查。查到了,同时写入内存和配置文件,以后不再查。

查不到就用 256000。这个默认值不写入文件,避免一次失败把模型钉死在 256000。同一次进程里,这次查询失败之后不再对这个模型重复发请求。进程退出后内存清空,下次启动会再查。

ModelPreset 仍然只有 ID 和 Name。窗口大小不写进 provider-catalog.json,那个文件是编译进二进制的,运行时改不了。

配置文件是进程当前目录下的 model-windows.json。在 yk-tako-eino 里启动时,它和编译产物 yktako、事件库 yktako-webui.db 在同一个目录。键是 厂商 ID/模型 ID,值是窗口大小的 token 数。

查询是对当前厂商的 BaseURL 发 GET /models(地址已经以 /models 结尾就不再加)。在返回的模型列表里找与模型 ID 相同的一项,读取它上面第一个大于 0 的字段,顺序是 context_window、context_length、max_model_len、max_context_length、max_input_tokens。请求失败、没有这一项、或这些字段都没有,就用 256000,并且不写文件。

不用聊天模型再去网上搜一次。那次 Generate 会再次进入 BeforeModelRewriteState,和正在做的压缩缠在一起。

3. 怎么数 token

用 WeKnora 的 internal/agent/token/estimator.go。

编码固定用 cl100k_base,库是 github.com/tiktoken-go/tokenizer。不为每个模型再配一份 HuggingFace tokenizer。

上一次接口返回的 Usage.TotalTokens 如果大于 0,就把它当作已经数过的部分。只有那次回复之后新加的消息,才用 BPE 再数。

还没有任何 Usage 时,只数消息本身。

下一次接口返回 Usage 之后,用那个数把估算纠正过来。

不要用字符数除以 4。

4. 在什么地方动手

每次调用主模型之前,都会进 BeforeModelRewriteState。工具结果写回 state.Messages 之后,也会再进一次。这个钩子返回的 state.Messages,就是这一次主模型 Generate 要读的消息。

压缩是在这个钩子里调用一次摘要模型的 Generate。不另开一个 ChatModelAgent。

摘要不要当成根 agent 的 MessageOutput。用户看不到摘要正文,页面上只显示正在压缩。过程和摘要正文打到进程的标准错误,每一行以 compact: 开头。页面和 event_log 仍然只有「正在压缩」。

压缩用的 Handler 注册在 piiHandler 前面。同一个钩子里,先注册的先执行。

5. 留下多少旧对话

从 20 轮开始留。

一轮,是用户说完一句,到他下一次开口之前,并且这一轮已经结束。

当前这一轮还没结束。它包括用户刚发的话,以及后面已经产生的工具调用和工具结果。这段留在即将发送的内容里,不送给摘要模型,也不占那 20 轮。20 轮只数它前面已经结束的对话。

6. 压缩时先改副本

一轮开始时,beginTurn 从 modelMsgs 复制出一份,把这一轮用户的话接在末尾,交给模型。modelMsgs 先不动,数据库里的 run_archive 也先不动。将被摘要掉的原文,这时还在库里,也还在 modelMsgs 里。

cloneMsgs 只是新做了一个列表,列表里的消息对象还是原来的。压缩时换成新的消息,不要去改这些旧对象的 Content。改了的话,modelMsgs 里的正文会一起变。

第一次压缩这样做:

  1. 把要换掉的、已经结束的那些轮写入 RAG。这一次压缩只检索一次。写入失败只记日志,不报给用户。

  2. 摘要模型只看更早的、已经结束的轮。提示词只有一份:按这段对话实际在谈的事做摘要,能抽到的写成已知事实、关键决策、未解决问题、用户偏好。没有的不要编。

  3. 拼在一起的顺序是:摘要、这一次的检索结果、最近 N 轮原文。这一块放在用户刚发的那句话前面。当前这一轮留在那句话这一侧,不放进摘要。

  4. 再数整份将要发送的内容。token 数小于窗口大小的 80%,就进入第 7 节。

还没有小于 80% 时:

  1. 再摘要一次。这次的输入是上一份摘要,加上这一次的检索结果。不再检索。检索结果写进这份新摘要。

  2. 新的拼装里不再单独放检索结果。保留的轮数减 1。

  3. 再数一次。还是没有小于 80%,就从 20 轮继续往下减,每减 1 轮数一次。

减到 0 仍没有小于 80%,就只再压摘要本身。

摘要本身仍然不够短,就不改 run_archive,也不发给主模型。这一轮没有回复。

当前这一轮的工具结果不在那 20 轮里。它加上系统指令和工具说明,token 数已经大于 204800 时,轮数减到 0、摘要再压一次,这段工具结果还在。内容仍然发不出去。

7. 够短了以后写回

同一进程的下一轮读 modelMsgs,不读库。所以发送前先换 modelMsgs:只留下还保留的那些已经结束的轮。不放进这一轮用户刚说的话,也不另放一条摘要消息。摘要先记在这一轮的 liveRun 上。

run_archive 不在发送前改。这一轮成功收尾时,和 produced_json 同一笔写入。被换掉的行,把 produced_json 清成空。CompletedTurns 只读取 produced_json 还有内容的行,这些行就不会再被拼回来。当前这一行的 user_message 写成摘要接在用户原话前面。只改这一行。更早还留着的那些行,user_message 保持原话。

收尾时 noteCompleted 接到 modelMsgs 里的,也是这句接过摘要的话,不是原来的那句。这样下一轮复制内存,或者重启后按行重拼,摘要都只出现一次,就在最新这句话里。

这一轮没有完成,就把 modelMsgs 退回发送前的那一份,run_archive 不动。模型报错,或者压到最后仍然发不出去,都走这条。已经结束的轮次不会因为这一轮失败就从库里消失。

进程若在发送之后、收尾之前停掉,内存会丢,库还是全文。下次打开会再压一次。

给人看的 event_log 不改。模型不读它。

检索如果没写成功,那些轮既不在 RAG 里,也不会再被 CompletedTurns 读出来,搜索找不到。人仍然能在 event_log 里看到原文。页面上不提示这次失败。

数据库还没改完进程就停了的话,下次打开仍会拼出全文,压缩再做一次。

8. 打码放在压缩后面

摘要那一次 Generate 发生在 piiHandler 之前,读到的是还没打码的正文。

压缩返回的 state.Messages 是新的消息对象,包括没有超过 80%、只是原样往下送的那一次。piiHandler 就地改的是这些新对象的 Content。modelMsgs 里的对象,以及 event_log 里已经写下的全文,都不是这一批。

9. 算法

limit 是窗口大小的 token 数乘以 4 再除以 5。窗口大小是 256000 时,limit 是 204800。

CountPrompt 按第 3 节数将要发送的消息。上一条带 Usage 的助手消息如果 TotalTokens 大于 0,就用它做基数,只对它后面的消息做 BPE。还没有这个数时,只对消息做 BPE。两种都不把工具说明再加进去。

拼出来的新消息还没有被主模型发送过。上面那些 Usage 描述的是压缩前的那一份,拿来当基数会把已经拿掉的轮次继续算进去,循环就退不出去。所以循环里的比较用 CountMessages:忽略 Usage,只对这一份新消息做 BPE。

Split 把消息切成已经结束的轮,和还没结束的这一轮。一条 Role 为 user 的消息开始一轮,除非它带着压缩自己做的标记。最后一轮是未完成的,里面有用户刚发的话,以及这轮已经产生的工具调用和工具结果。标记有两种,summary 和 rag,放在消息的 Extra 里,键是 yk_compact。模型请求不读这个字段。

N 从 20 开始。检索正文在同一次压缩里只查一次。离开保留集合的轮次写入 RAG,同一轮不写第二次。写入或检索失败只记日志。

RAG 存在 Web 事件库的表 compact_rag,列是 session_id、run_id、body。检索按词重叠取最多 3 条,每条最多 800 个字。没有向量模型。之后主模型可以用工具 search_archive 再查,那不是这次压缩里的第二次检索。

limit = window * 4 / 5
if CountPrompt(messages) <= limit:
    state.Messages = DeepCopy(messages)
    return

Notify("正在压缩")
completed, unfinished = Split(messages)
n = 20
summary = ""
ragText = ""
searched = false
written = {}

loop:
    if n == 0:
        keep, drop = [], completed
    else:
        keepCount = min(n, len(completed))
        drop = completed[:len(completed)-keepCount]
        keep = completed[len(completed)-keepCount:]

    for turn in drop:
        if turn.RunID in written:
            continue
        WriteRAG(turn)          # 失败只记日志
        written.add(turn.RunID)

    if not searched:
        ragText = SearchRAG(当前用户原话)   # 失败只记日志,结果当空
        searched = true

    if summary == "" and len(drop) == 0:
        if n == 0:
            return ErrStillOver             # 不 Stage,不发
        n = n - 1
        continue

    showRAG = false
    if summary == "":
        input = 渲染(drop)
        showRAG = true
    else if n == 0:
        input = summary                      # 只再压摘要本身
    else:
        input = summary + "\n" + ragText     # 检索结果写进新摘要
    summary = Summarize(input)               # 一次 Generate,不走 ChatModelAgent
    if Summarize 失败:
        return 错误                           # 不 Stage,不发

    assembled = []
    if summary != "":
        assembled += 标记为 summary 的用户消息
    if showRAG and ragText != "":
        assembled += 标记为 rag 的用户消息
    assembled += DeepCopy(keep 里的消息)
    assembled += DeepCopy(unfinished)

    if CountMessages(assembled) < limit:
        Stage(keep 的 RunID, drop 的 RunID, Combine(summary, 当前用户原话))
        state.Messages = assembled
        return

    if n == 0 and showRAG:
        continue                              # 这一档还带着检索块,再压一次摘要本身
    if n == 0:
        return ErrStillOver                  # 摘要本身仍不少于 limit
    n = n - 1

已结束的轮少于 20 时,n 会先降到 0,第一次摘要才发生。这一档的 showRAG 仍是真:摘要的输入是被换掉的原文,拼装里还可以有单独的检索块。检索块最多 3 条、每条 800 字。limit 小于这段检索的 token 数时,带着检索块的那一档过不了比较。这时不返回 ErrStillOver。再生成一次,输入改成刚才的摘要,检索块不再单独放。这次拼装仍不少于 limit,才返回 ErrStillOver。

Stage 只改内存。它把 modelMsgs 换成 keep 对应的那些已经结束的轮,把摘要记在 liveRun.modelUserText,并留下被换掉的 RunID。第一次 Stage 会把当时的 modelMsgs 存一份。同一轮里再压,覆盖的是摘要和被换掉的 RunID,快照仍是发送前的那一份。

这一轮 Finish 的 kind 是 complete 时,同一笔事务里写入本轮的 produced_json,把 user_message 更新成 modelUserText,并把被换掉的行的 produced_json 设成 NULL。然后 noteCompleted 把 modelUserText 和本轮产出接进 modelMsgs。

kind 不是 complete,或者收尾写入失败,就用快照把 modelMsgs 换回去,库不改。

ErrStillOver 时主模型不会被调用。页面上这一轮是错误,没有助手回复。

Summarize 的提示词只有一份:按这段对话实际在谈的事写摘要;能抽到的才写成已知事实、关键决策、未解决问题、用户偏好;没有的栏目不要编。

未完成的这一轮不进 drop,也不进 Summarize 的输入。它一直留在 assembled 的末尾。它自己的 token 数已经不小于 limit 时,把 n 减到 0、再压摘要,也过不了 CountMessages。结果是 ErrStillOver。这不是把这段工具结果交给子代理的那条路。