tako 文档 GitHub

24 · 用量账单、滤思考与折叠触发

性质:实现真源。Yk 已明确要着手实现本篇对齐的 2 个需求(滤思考 + Usage mid-run 触发)。本篇公式与裁决(与 doc/handoff-doc24-滤思考与Usage触发.md 对齐)即实现真源,不必再等另一次口头点头。

仍不写 tmp/ 台账。本拍仍不做存储面(思考进 runlog / 改 19v6-03)。本篇不加端点、不加帧 kind、不加表、不加列——除非另裁「思考进 runlog」那一拍再开存储面。

本拍不改 19v6-07 里已经生效的 limit 公式和 countInput 基数(text + tool_calls;schema 不计)。

指针已更新:doc/19-v6/19v6-07-compact.md §1、doc/19-v6/19v6-10-mid-run-fold.md §6。19v6-03 / 架构总览 / API 未动(runlog-for-reasoning 未定)。本任务不改那些文件。

实现主战场:yk-tako-eino/internal/runengine/midfold.go → BeforeModelRewriteState。详细文件/行号对照见交接:doc/handoff-doc24-滤思考与Usage触发.md。

这是 19v6-07 第 1 节那条复审的收成。原文是:tool loop 时代若出现每轮检查,用上一笔 Usage 做基数、只对新增消息做 delta 计数,作为替代全量 BPE 的候选,并与「工具 schema 是否计入触发」二选一绑定裁决。WeKnora 的战例是 232 个 MCP schema 约 10 万 token,计进触发后,压缩完仍显示超限。

主裁决(已对齐):同一场下一 Turn 发给 LLM 之前滤掉 ReasoningContent,让自测与真实请求在「思考」上对齐;有账单时可用 Usage 基线加 delta 做 mid-run 触发;schema 仍然不进触发;无账单时仍用全量 countInput。

1. 要解决的两件事

1.1 思考重发与自测漏数

用户在同一场 run 里让模型先想清楚,再调工具,然后根据工具结果接着说。

第一次模型调用返回时,DeepSeek 这类思考模型把长思考写在 ReasoningContent 里,正文在 Content。eino 的 openai 组件发下一轮请求时,把这个字段原样放进 assistant 消息。思考因此进入下一次的真实请求。

mid-run 折叠的计数走 convertState:ModelMessage 只有 Text 和 ToolCalls,ReasoningContent 不进这一行。countInput 把思考数成 0。自测偏小被放行,厂商按真实长度拒收或吃掉窗口。

ReasoningContent 今天不落任何表:drain 只把 merged.Content 和 ToolCalls 写入 TurnEntry;EndRun 进 run_model_messages / runlog_entries 的也只有正文侧。思考只活在本场 ADK state.Messages 里。跨场从库读回,下一场 Run 没有它。

1.2 复审项:有账单时能不能少做全量 BPE

19v6-07 第 1 节挂着:有上一笔 Usage 时,用账单加 delta 替代全量自测,并与 schema 是否计入绑定。本篇收成这条复审,且与 1.1 的滤思考一起裁。

2. 今天 countInput 数什么(parts 清单)

触发用的 countInput(compact.go)实际数:

  1. system(含笔记快照拼上之后的整段系统提示)
  2. 每条消息正文(Text / Content:user、assistant 终稿、tool result)
  3. assistant 行的 tool_calls JSON(name + arguments)

明确不数:

tool result 已经在正文里,会进下一轮对话,也会进触发。用户确认这块 OK,本篇不动。

3. 主裁决:滤思考

同一场 run 内,每一次把消息交给模型组件之前(mid-run 的下一 Turn,以及任何会把 state 里旧 assistant 再发出去的路径),清空该条上的 ReasoningContent。

效果:

滤之前字段还在:若公式需要减项,优先用 Usage.CompletionTokensDetails.ReasoningTokens(> 0 时);否则对原文做一次与 countInput 相同的 cl100k,记作 reasoning_est(无则 0)。滤完之后字段空了,减项必须事先算好或写在旁路变量里,不能事后从空字段估。

展示(本拍不做;另裁存储面时再开):若要给人看思考,只进 runlog_entries(新列或 payload),不进 run_model_messages。本拍不定列、不改 19v6-03 / 架构总览 / API;定「要展示」时另开存储面。不展示则思考只存在于本枪响应内存,滤掉即丢。

厂商约束:部分思考模型要求下一轮带回 reasoning_content。滤掉后若 400,走现有 error,本篇不补假思考、不单独重试。验收用目录里常用思考模型打一枪确认。

4. 账单长什么样

账单是厂商对上一次请求的回执,在收到响应时出现,不是发送瞬间就有。eino 放在 schema.ResponseMeta.Usage。

字段(eino 名) 含义
PromptTokens 这次输入:system、历史、tool 消息、tool_calls、schema,以及若未滤时重发的思考
CompletionTokens 这次输出:正文、本轮思考、模型给出的 tool_calls
TotalTokens 二者之和(若厂商给了)
ReasoningTokens(若有) 输出里思考的子集,已含在 CompletionTokens 里

不要把 CompletionTokens 当成「当前用了多少上下文」。上下文长度看输入侧 PromptTokens,或看即将发出的整份输入。

不能假定每个 LLM 都返回 Usage。 名字也会不一样(prompt_tokens / completion_tokens 等)。进 eino 后统一读 ResponseMeta.Usage。openai 兼容常开 IncludeUsage,claude 流末帧常带;缺失时退回全量 countInput(溢出层已登记「usage 缺失 = 沉默盲区」)。思考明细字段可有可无;有则优先,没有就用第 5 节公式里的 reasoning_est(cl100k 估)。

账单今天不落库。跨场从 run_model_messages 读回没有 ResponseMeta。本篇不把 Usage 写成表列。

5. 有账单时的触发公式

下一次模型调用前,在原始 state.Messages 上找锚点:从队尾往前,最后一条 role 为 assistant 且 Usage 非空(三个整数不全为 0)的消息。convertState 之后账单已丢,不能在转换后再找。

reasoning_est =
  若 Usage.CompletionTokensDetails.ReasoningTokens > 0 → 用它
  否则 → cl100k(锚点.ReasoningContent)   // 滤之前估;无则 0

visible_completion = CompletionTokens − reasoning_est
若 visible_completion < 0 → 置 0

next_input = PromptTokens
           + visible_completion
           + countInput("" /* system 空 */, 锚点之后的新行)

锚点之后的新行主要是还没发给厂商的 tool result(以及若有的新 user)。锚点消息自己的正文 / tool_calls 已由 visible_completion 代表,不进 delta,避免算两遍。

system 与上一枪 schema 已在 PromptTokens 里,delta 不再加。

等价写法(不用 Completion 减思考):PromptTokens + countInput(上一枪可见输出行) + countInput(新行)。两条验收时应对齐到同一量级,允许分词器偏差。

与 limit 比。超了走现有 foldInput。没超则放行;放行前仍执行第 3 节滤思考,使发出去的请求不含 ReasoningContent。

为什么不是 TotalTokens + 新行:Total 的 completion 侧含思考;滤掉后真实请求不带思考,会偏保守早折。可以当保守上界,不作本篇默认。

为什么不是 CompletionTokens − 思考 + 新行(没有 Prompt):缺了整份输入历史。

6. 无账单时仍用全量 countInput

下列情况没有「描述当前即将发出的那一份输入」的本场账单:

此时:total = countInput(system, 全部可见历史),与今天 midfold / Run fold 相同。

禁止拿上一场末尾账单当本场第一呼长度:旧账单量的是上一场发出去的长输入;跨场 Run fold 后可见行已变短,会误判超限、一开场再折一次。且旧 ResponseMeta 跨场读不回来。

折叠用 toSchemaMessages 重写 state 时不拷贝 ResponseMeta,折完自然退回全量自测。不另做清锚点开关。

7. 工具 schema 仍然不进触发

声明折叠拆不掉。计入触发会在目录变大时出现「压完仍超限」。WeKnora 战例仍有效。19v6-09 / 19v6-10 的「schema 不计入、靠 limit 预留与溢出层兜底」不翻案。

有账单时,上一枪 PromptTokens 已含当时的声明;delta 只加新消息。无账单的全量自测也不加声明。

8. 本篇不做

9. 验收

实现顺序建议:探活 → 滤思考 → Usage 公式(详见交接 doc/handoff-doc24-滤思考与Usage触发.md §8)。主改位点见文首:midfold.go → BeforeModelRewriteState。

探活(可先做、改动小):同一场先 get_time(或任意工具)再回答,迫使第二次模型调用。第二次调用前日志能读到上一条 assistant 的 PromptTokens / CompletionTokens(至少一个 > 0)。对目录常用模型记一笔「Usage 是否稳定 / 是否有 ReasoningTokens」。确认字段再接线。

算法接上之后,单测钉:

  1. 有 Usage + 其后一条 tool 文本:next_input 等于公式;把思考再加进 delta 的变体更大(钉「可见输出只算一次」)
  2. 无 Usage:结果等于全量 countInput;函数无「传入 schema」参数
  3. 经 toSchemaMessages 重写后:退回全量 countInput
  4. 滤思考:发出前 state 上锚点 assistant 的 ReasoningContent 为空;请求侧验收用组件或抓包断言不带该字段

活体:第二次调用前可打一行 compact usage(baseline / delta / total)。window = 0 时不出现。四端点路径与字段面与这一拍之前同形(未裁「思考进 runlog」之前)。

旁注全量自测不进活体日志(2026-10-15 用户裁):活体行每轮再算一遍全量 countInput 等于把本篇要省的那次整份重数跑回去(§10 收益归零)。两条口径同量级由单测钉(TestUsageBasedInputFormula:公式分项逐 tok 对死、含「思考算两遍的变体必须更大」);单测钉不住的只剩「厂商报数本身失真」一种情况,由溢出层兜底暴露。

10. 所以这解决了什么

19v6-07 第 1 节复审收成(本篇即实现真源):滤思考为默认;Usage 基线加 delta 为有账单时的触发;工具 schema 不计入;全量 BPE 留在没有账单的那些检查上。实现细节与文件对照见 doc/handoff-doc24-滤思考与Usage触发.md。