24 · 用量账单、滤思考与折叠触发
性质:实现真源。Yk 已明确要着手实现本篇对齐的 2 个需求(滤思考 + Usage mid-run 触发)。本篇公式与裁决(与
doc/handoff-doc24-滤思考与Usage触发.md对齐)即实现真源,不必再等另一次口头点头。仍不写
tmp/台账。本拍仍不做存储面(思考进 runlog / 改19v6-03)。本篇不加端点、不加帧 kind、不加表、不加列——除非另裁「思考进 runlog」那一拍再开存储面。本拍不改
19v6-07里已经生效的 limit 公式和countInput基数(text + tool_calls;schema 不计)。指针已更新:
doc/19-v6/19v6-07-compact.md§1、doc/19-v6/19v6-10-mid-run-fold.md§6。19v6-03/ 架构总览 / API 未动(runlog-for-reasoning 未定)。本任务不改那些文件。实现主战场:
yk-tako-eino/internal/runengine/midfold.go→BeforeModelRewriteState。详细文件/行号对照见交接:doc/handoff-doc24-滤思考与Usage触发.md。这是
19v6-07第 1 节那条复审的收成。原文是:tool loop 时代若出现每轮检查,用上一笔 Usage 做基数、只对新增消息做 delta 计数,作为替代全量 BPE 的候选,并与「工具 schema 是否计入触发」二选一绑定裁决。WeKnora 的战例是 232 个 MCP schema 约 10 万 token,计进触发后,压缩完仍显示超限。主裁决(已对齐):同一场下一 Turn 发给 LLM 之前滤掉
ReasoningContent,让自测与真实请求在「思考」上对齐;有账单时可用 Usage 基线加 delta 做 mid-run 触发;schema 仍然不进触发;无账单时仍用全量countInput。
1. 要解决的两件事
1.1 思考重发与自测漏数
用户在同一场 run 里让模型先想清楚,再调工具,然后根据工具结果接着说。
第一次模型调用返回时,DeepSeek 这类思考模型把长思考写在 ReasoningContent 里,正文在 Content。eino 的 openai 组件发下一轮请求时,把这个字段原样放进 assistant 消息。思考因此进入下一次的真实请求。
mid-run 折叠的计数走 convertState:ModelMessage 只有 Text 和 ToolCalls,ReasoningContent 不进这一行。countInput 把思考数成 0。自测偏小被放行,厂商按真实长度拒收或吃掉窗口。
ReasoningContent 今天不落任何表:drain 只把 merged.Content 和 ToolCalls 写入 TurnEntry;EndRun 进 run_model_messages / runlog_entries 的也只有正文侧。思考只活在本场 ADK state.Messages 里。跨场从库读回,下一场 Run 没有它。
1.2 复审项:有账单时能不能少做全量 BPE
19v6-07 第 1 节挂着:有上一笔 Usage 时,用账单加 delta 替代全量自测,并与 schema 是否计入绑定。本篇收成这条复审,且与 1.1 的滤思考一起裁。
2. 今天 countInput 数什么(parts 清单)
触发用的 countInput(compact.go)实际数:
- system(含笔记快照拼上之后的整段系统提示)
- 每条消息正文(
Text/Content:user、assistant 终稿、tool result) - assistant 行的
tool_callsJSON(name + arguments)
明确不数:
ReasoningContent(转换层丢掉;但未滤时请求仍会重发)- 工具 schema 声明(每次请求重发的 name/description/parameters;有意不进触发)
- Role / tool_call_id 等协议壳、多模态块(当前 mh 形状基本不承载)
tool result 已经在正文里,会进下一轮对话,也会进触发。用户确认这块 OK,本篇不动。
3. 主裁决:滤思考
同一场 run 内,每一次把消息交给模型组件之前(mid-run 的下一 Turn,以及任何会把 state 里旧 assistant 再发出去的路径),清空该条上的 ReasoningContent。
效果:
- 真实请求不再重发上一枪思考
countInput与真实请求在思考这一维对齐,1.1 的漏数病灶从根上消掉- 跨场本来就不重发思考,形状与场内一致
滤之前字段还在:若公式需要减项,优先用 Usage.CompletionTokensDetails.ReasoningTokens(> 0 时);否则对原文做一次与 countInput 相同的 cl100k,记作 reasoning_est(无则 0)。滤完之后字段空了,减项必须事先算好或写在旁路变量里,不能事后从空字段估。
展示(本拍不做;另裁存储面时再开):若要给人看思考,只进 runlog_entries(新列或 payload),不进 run_model_messages。本拍不定列、不改 19v6-03 / 架构总览 / API;定「要展示」时另开存储面。不展示则思考只存在于本枪响应内存,滤掉即丢。
厂商约束:部分思考模型要求下一轮带回 reasoning_content。滤掉后若 400,走现有 error,本篇不补假思考、不单独重试。验收用目录里常用思考模型打一枪确认。
4. 账单长什么样
账单是厂商对上一次请求的回执,在收到响应时出现,不是发送瞬间就有。eino 放在 schema.ResponseMeta.Usage。
| 字段(eino 名) | 含义 |
|---|---|
PromptTokens |
这次输入:system、历史、tool 消息、tool_calls、schema,以及若未滤时重发的思考 |
CompletionTokens |
这次输出:正文、本轮思考、模型给出的 tool_calls |
TotalTokens |
二者之和(若厂商给了) |
ReasoningTokens(若有) |
输出里思考的子集,已含在 CompletionTokens 里 |
不要把 CompletionTokens 当成「当前用了多少上下文」。上下文长度看输入侧 PromptTokens,或看即将发出的整份输入。
不能假定每个 LLM 都返回 Usage。 名字也会不一样(prompt_tokens / completion_tokens 等)。进 eino 后统一读 ResponseMeta.Usage。openai 兼容常开 IncludeUsage,claude 流末帧常带;缺失时退回全量 countInput(溢出层已登记「usage 缺失 = 沉默盲区」)。思考明细字段可有可无;有则优先,没有就用第 5 节公式里的 reasoning_est(cl100k 估)。
账单今天不落库。跨场从 run_model_messages 读回没有 ResponseMeta。本篇不把 Usage 写成表列。
5. 有账单时的触发公式
下一次模型调用前,在原始 state.Messages 上找锚点:从队尾往前,最后一条 role 为 assistant 且 Usage 非空(三个整数不全为 0)的消息。convertState 之后账单已丢,不能在转换后再找。
reasoning_est =
若 Usage.CompletionTokensDetails.ReasoningTokens > 0 → 用它
否则 → cl100k(锚点.ReasoningContent) // 滤之前估;无则 0
visible_completion = CompletionTokens − reasoning_est
若 visible_completion < 0 → 置 0
next_input = PromptTokens
+ visible_completion
+ countInput("" /* system 空 */, 锚点之后的新行)
锚点之后的新行主要是还没发给厂商的 tool result(以及若有的新 user)。锚点消息自己的正文 / tool_calls 已由 visible_completion 代表,不进 delta,避免算两遍。
system 与上一枪 schema 已在 PromptTokens 里,delta 不再加。
等价写法(不用 Completion 减思考):PromptTokens + countInput(上一枪可见输出行) + countInput(新行)。两条验收时应对齐到同一量级,允许分词器偏差。
与 limit 比。超了走现有 foldInput。没超则放行;放行前仍执行第 3 节滤思考,使发出去的请求不含 ReasoningContent。
为什么不是 TotalTokens + 新行:Total 的 completion 侧含思考;滤掉后真实请求不带思考,会偏保守早折。可以当保守上界,不作本篇默认。
为什么不是 CompletionTokens − 思考 + 新行(没有 Prompt):缺了整份输入历史。
6. 无账单时仍用全量 countInput
下列情况没有「描述当前即将发出的那一份输入」的本场账单:
- 每场 run 的第一次模型调用之前(
prepareInput) - 刚折完、厂商还没对折后那一份回执
- Usage 缺失或不完整
此时:total = countInput(system, 全部可见历史),与今天 midfold / Run fold 相同。
禁止拿上一场末尾账单当本场第一呼长度:旧账单量的是上一场发出去的长输入;跨场 Run fold 后可见行已变短,会误判超限、一开场再折一次。且旧 ResponseMeta 跨场读不回来。
折叠用 toSchemaMessages 重写 state 时不拷贝 ResponseMeta,折完自然退回全量自测。不另做清锚点开关。
7. 工具 schema 仍然不进触发
声明折叠拆不掉。计入触发会在目录变大时出现「压完仍超限」。WeKnora 战例仍有效。19v6-09 / 19v6-10 的「schema 不计入、靠 limit 预留与溢出层兜底」不翻案。
有账单时,上一枪 PromptTokens 已含当时的声明;delta 只加新消息。无账单的全量自测也不加声明。
8. 本篇不做
- 不写
tmp/台账 - 不改
countInput的三块基数(system / text / tool_calls) - 不改 limit 公式(
window − min(window/5, 16384)) - 不把 Usage 或思考默认写入四个 API / 帧 /
run_model_messages/runlog_entries(展示思考另裁存储面) - 本拍不做「思考进 runlog」展示列,不改
19v6-03/ 架构总览 / API - 本拍不写 Usage 列;不做挂在引擎对象上的全局
lastUsage;账单粘在产生它的 assistant 消息上 - 不替换溢出层;第一呼分词器偏差、schema 未进自测、窗旗标填错,仍靠溢出层
- 不给子代理新挂折叠(
doc/17第 6 节另谈);届时读子代理自己的 state (2026-10-17 已翻案:doc/17§6 落地,子代理装配点挂agentFoldHandler读子代理自己的 state;本拍边界在本拍当时成立) - 滤思考后若厂商 400:不补假思考、不单独重试,走现有
error
9. 验收
实现顺序建议:探活 → 滤思考 → Usage 公式(详见交接 doc/handoff-doc24-滤思考与Usage触发.md §8)。主改位点见文首:midfold.go → BeforeModelRewriteState。
探活(可先做、改动小):同一场先 get_time(或任意工具)再回答,迫使第二次模型调用。第二次调用前日志能读到上一条 assistant 的 PromptTokens / CompletionTokens(至少一个 > 0)。对目录常用模型记一笔「Usage 是否稳定 / 是否有 ReasoningTokens」。确认字段再接线。
算法接上之后,单测钉:
- 有 Usage + 其后一条 tool 文本:
next_input等于公式;把思考再加进 delta 的变体更大(钉「可见输出只算一次」) - 无 Usage:结果等于全量
countInput;函数无「传入 schema」参数 - 经
toSchemaMessages重写后:退回全量countInput - 滤思考:发出前 state 上锚点 assistant 的
ReasoningContent为空;请求侧验收用组件或抓包断言不带该字段
活体:第二次调用前可打一行 compact usage(baseline / delta / total)。window = 0 时不出现。四端点路径与字段面与这一拍之前同形(未裁「思考进 runlog」之前)。
旁注全量自测不进活体日志(2026-10-15 用户裁):活体行每轮再算一遍全量 countInput 等于把本篇要省的那次整份重数跑回去(§10 收益归零)。两条口径同量级由单测钉(TestUsageBasedInputFormula:公式分项逐 tok 对死、含「思考算两遍的变体必须更大」);单测钉不住的只剩「厂商报数本身失真」一种情况,由溢出层兜底暴露。
10. 所以这解决了什么
- 场内不再把上一枪思考重发给模型;自测与请求对齐,漏数病灶关掉
- 有账单时 mid-run 可用
PromptTokens + 可见 completion + 新行,少做全量 BPE - 无账单时仍用
countInput;schema 不进触发 - tool_calls 与 tool result 继续在触发里
19v6-07 第 1 节复审收成(本篇即实现真源):滤思考为默认;Usage 基线加 delta 为有账单时的触发;工具 schema 不计入;全量 BPE 留在没有账单的那些检查上。实现细节与文件对照见 doc/handoff-doc24-滤思考与Usage触发.md。