tako 文档 GitHub

并行度由谁裁:租户槽、进程 sem,还是跨 pod 的执行池

模块:运行引擎 · 并行执行(scope.go 子代理槽、agents.go 委派闸、store.go run 闸)| 状态:待拍(2026-10-31 记录,尚未裁定)| 证据:internal/runengine/{scope.go,agents.go,store.go,journal.go}、cmd/yktako/main.go

1. 场景与病灶

一个租户在跑一场长任务,主代理在一条 assistant 消息里同时发出三个 coder 委派和几个 bash。同一时刻另一个租户也在跑。所有请求落在同一个 pod 上。

第一个问题:普通工具调用没有并行闸。 委派工具有租户槽和进程 sem,bash/文件工具没有——一条消息里来十个 bash,就是十个 goroutine。容器的 CPU limit 是硬上限,超了不会报错,只会 CFS throttling:所有 run 一起变慢,包括没超额的租户。

第二个问题:槽只回答「能不能进」,不回答「进哪个进程」。 子代理槽是租户级的一个 Redis 计数,多副本下八个槽可以全落同一个 pod,另一个 pod 空转。放行器和放置器是两件事,今天只有放行器。

第三个问题:槽是带 TTL 的计数,不是租约。 占槽时把键续到 30 分钟,没有心跳。pod 被 kill → DECR 没跑 → 槽泄漏最多 30 分钟;反过来子代理跑超过 30 分钟 → 键过期、计数归零 → 后面的委派超额放行,闸自己消失。

第四个问题:「agent 在另一个 pod」今天没有物理前提。 子代理是同进程的 ADK agent,帧靠 opts 里的 event generator 同进程转发,子代理内部调用刻意不记账。不是某个开关没打开,是执行器形态还没长出来。

2. 今天实际的三层

层 落点 上限从哪来 跨副本?
run 闸 PG 部分唯一索引 lockTenantGate(store.go:300、:322) tenants.max_concurrent_runs,缺省 8 是
子代理槽 Redis INCR tk:subagents:<tenant>(scope.go:218-247) tenants.max_subagents,缺省 8 是,多副本共用一个计数
进程内 sem 委派工具包壳(agents.go:430-451) -subagent-concurrency,缺省 8(main.go:118) 只在没有 Redis 时启用(单测回退)

代码专门写了为什么有 Redis 就不用进程 sem:进程 sem 会让 A 占满本进程后,B 明明自己还有额度也要等(agents.go:431-432)。

3. 候选与代价

候选 做法 好处 代价
A 保持现状(进程 sem 回退 + 租户计数) 委派有槽,普通工具无闸 零改动 多副本下槽全落一个 pod;TTL 计数有泄漏/超卖窗口;CPU limit 无人管
B 只保留租户计数 删掉进程 sem 回退 机制更单一 单测与无 Redis 部署失去闸;租户内单 pod 仍可能被打爆
C 两级容量:全局租约 + 每 pod 本地 sem 槽升级为带 owner/心跳的租约;每 pod 再按 CPU/内存配额定本地 sem;普通工具也过本地 sem 单机与多副本同一套机制(pod 数 = 1 的特例);CPU 与租户额度分开裁 要改槽的存储形态;要给工具环加闸;要定义续租与回收
D 远程执行池 子代理/工具可被派到另一个 pod 执行 真正横向扩容;慢工具不占父 pod 帧转发、stop 跨 pod、journal 记账、结果回传都要重做;今天没有执行器入口

4. 同族小裁定

小问题 现状 备注
子代理槽上限 tenants.max_subagents,缺省 8 与 max_concurrent_runs 缺省值相同,但两者不是同一个数
槽的过期 TTL 30 分钟,无心跳(scope.go:233) 死 pod 泄漏上限 30 分钟;长任务跑过 30 分钟会丢闸
普通工具并行 无闸,eino ToolsNode 默认并行(midfold.go:654) 一次消息 N 个 tool_call = N 个 goroutine
进程 sem 的角色 无 Redis 时的回退 有 Redis 时不启用,避免跨租户串行
CPU 配额 未建模 容器 CPU limit 只体现在 throttling,不在任何闸里
子代理进 journal 不进(journal.go:54、:93) 跨 pod 执行前必须先决定这笔调用怎么记账

5. 证据

代码符号:

位置 是什么
internal/runengine/store.go:300 lockTenantGate 注释:租户并发闸,闸在 PG 不在进程
internal/runengine/store.go:322 lockTenantGate 实现:事务内抢租户闸
internal/runengine/scope.go:218 trySubagentSlot:按租户占子代理槽
internal/runengine/scope.go:233 槽键 Expire 30 分钟
internal/runengine/scope.go:241 releaseSubagentSlot:释放槽
internal/runengine/agents.go:430 runSubagentGuarded:占槽 / 进程 sem / 调用 / 释放
internal/runengine/agents.go:394 delegationTool 注释:帧靠 opts 里的 event generator 同进程转发
internal/runengine/journal.go:54 子代理内部调用天然不记账
internal/runengine/midfold.go:654 注释:eino ToolsNode 默认并行,tako 未设 ExecuteSequentially
cmd/yktako/main.go:118 -subagent-concurrency 缺省 8

复核命令:

cd yk-tako-eino
grep -n "trySubagentSlot\|releaseSubagentSlot\|Expire(ctx, key" internal/runengine/scope.go
grep -n "useProcessSem\|sem <- struct" internal/runengine/agents.go
grep -n "subagent-concurrency" cmd/yktako/main.go
grep -rn "ExecuteSequentially" internal/runengine/        # 应为空

6. 现状