Archived
fix(app): 配方的 analyze 走 traced 网关并回账用量 —— 一条问模型不花钱的路
装配层从前传的是裸 `deps.modelGateway`:`createModelGateway` 自己不做 `addConsumption`,计量全靠调用方给的 `onUsage` —— agent 那两条路都接了, 只有 analyze 漏了。后果两条:配方里 analyze 烧的 token 一个数都不计入活动预算 (预算这道闸对它形同虚设);时间轴上也不产生模型 span,「这一单问了几次模型」 看不见它。而 spec §5.2 白纸黑字写着「用量计入预算」。 现 `createAnalyzeGateway(tracedGateway, onAgentUsage)`,网关内**两次** generate (含重问那一次)的用量各记一笔 —— 失败的调用不是免费的。记账不吞异常: 记不上账等于预算失效,宁可当场停下由配方留痕交人。 debt.md 里那半句「它烧 token、计预算」当时是假的,改老实。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01LKMZDwMbyKzjw6Hembwvet
This commit is contained in:
@@ -50,4 +50,53 @@ describe('analyze 网关', () => {
|
|||||||
await expect(gateway.run(call)).rejects.toThrow(/出参不成形/);
|
await expect(gateway.run(call)).rejects.toThrow(/出参不成形/);
|
||||||
expect(n).toBe(2);
|
expect(n).toBe(2);
|
||||||
});
|
});
|
||||||
|
|
||||||
|
/*
|
||||||
|
* **两次调用的用量都要交回去记账**(2026-08-29 终审 C1)。
|
||||||
|
* `createModelGateway` 自己不做 `addConsumption` —— 不给 `onUsage`,配方里的 analyze
|
||||||
|
* 就是一条问模型不花钱的路,活动预算对它形同虚设。重问那一次照样烧真钱,一并记。
|
||||||
|
*/
|
||||||
|
it('用量交回 onUsage:第一次成的记一次,重问了记两次', async () => {
|
||||||
|
const billed: Array<{ taskId: string; tokens: number }> = [];
|
||||||
|
const once = createAnalyzeGateway(
|
||||||
|
{
|
||||||
|
generate: () =>
|
||||||
|
Promise.resolve({ text: '', object: { items: [] }, usage: { inputTokens: 30, outputTokens: 12, latencyMs: 1 }, binding: { name: 'x', provider: 'deepseek', model: 'y' }, mode: 'live' }),
|
||||||
|
} as never,
|
||||||
|
(taskId, tokens) => { billed.push({ taskId, tokens }); return Promise.resolve(); },
|
||||||
|
);
|
||||||
|
await once.run(call);
|
||||||
|
expect(billed).toEqual([{ taskId: TASK, tokens: 42 }]);
|
||||||
|
|
||||||
|
billed.length = 0;
|
||||||
|
let n = 0;
|
||||||
|
const twice = createAnalyzeGateway(
|
||||||
|
{
|
||||||
|
generate: () => {
|
||||||
|
n += 1;
|
||||||
|
return Promise.resolve(
|
||||||
|
n === 1
|
||||||
|
? { text: 'not json', usage: { inputTokens: 5, outputTokens: 5, latencyMs: 1 }, binding: { name: 'x', provider: 'deepseek', model: 'y' }, mode: 'live' }
|
||||||
|
: { text: '', object: { items: [] }, usage: { inputTokens: 7, outputTokens: 3, latencyMs: 1 }, binding: { name: 'x', provider: 'deepseek', model: 'y' }, mode: 'live' },
|
||||||
|
);
|
||||||
|
},
|
||||||
|
} as never,
|
||||||
|
(taskId, tokens) => { billed.push({ taskId, tokens }); return Promise.resolve(); },
|
||||||
|
);
|
||||||
|
await twice.run(call);
|
||||||
|
expect(billed.map((b) => b.tokens)).toEqual([10, 10]);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('两次都不成形也照样记两笔 —— 失败的调用不是免费的', async () => {
|
||||||
|
const billed: number[] = [];
|
||||||
|
const gateway = createAnalyzeGateway(
|
||||||
|
{
|
||||||
|
generate: () =>
|
||||||
|
Promise.resolve({ text: 'nope', usage: { inputTokens: 4, outputTokens: 6, latencyMs: 1 }, binding: { name: 'x', provider: 'deepseek', model: 'y' }, mode: 'live' }),
|
||||||
|
} as never,
|
||||||
|
(_taskId, tokens) => { billed.push(tokens); return Promise.resolve(); },
|
||||||
|
);
|
||||||
|
await expect(gateway.run(call)).rejects.toThrow(/出参不成形/);
|
||||||
|
expect(billed).toEqual([10, 10]);
|
||||||
|
});
|
||||||
});
|
});
|
||||||
|
|||||||
@@ -4,14 +4,28 @@
|
|||||||
* 与开环 Agent 的分工是死的:那一件能调工具、能写台账;这一件只是个纯函数。
|
* 与开环 Agent 的分工是死的:那一件能调工具、能写台账;这一件只是个纯函数。
|
||||||
* 出参不合 schema 就地重问一次(平台在 agent-runner 上早有这条路),再不成就抛 ——
|
* 出参不合 schema 就地重问一次(平台在 agent-runner 上早有这条路),再不成就抛 ——
|
||||||
* 抛出去由配方执行器留痕交人,**不重试五遍、不退回模型自由发挥**。
|
* 抛出去由配方执行器留痕交人,**不重试五遍、不退回模型自由发挥**。
|
||||||
|
*
|
||||||
|
* **用量必须交回去记账**(2026-08-29 终审 C1):`createModelGateway` 自己不做
|
||||||
|
* `addConsumption`,计量全靠调用方给的 `onUsage` —— agent 那两条路都接了,
|
||||||
|
* 只有这一条从前接的是**裸网关**:配方里 analyze 烧的 token 一个数都不计入活动预算,
|
||||||
|
* 时间轴上也没有模型 span(那要 `tracedGateway`,由装配层决定传谁进来)。
|
||||||
|
* spec §5.2 写的是「走现有模型网关(四元绑定、凭证隔离、录制回放、**用量计入预算**)」——
|
||||||
|
* 少了这一条,那句话就只是文档里的一厢情愿。
|
||||||
|
*
|
||||||
|
* **两次都要记**:重问那一次照样烧真钱,漏记等于「失败的调用不要钱」。
|
||||||
*/
|
*/
|
||||||
import type { ModelGateway } from '@modules/llm';
|
import type { ModelGateway } from '@modules/llm';
|
||||||
import type { AnalyzeGateway } from '@modules/loop-engine';
|
import type { AnalyzeGateway } from '@modules/loop-engine';
|
||||||
|
import type { TaskId } from '@contracts';
|
||||||
|
|
||||||
const RETRY_HINT =
|
const RETRY_HINT =
|
||||||
'上一次的回答没有按要求给出 JSON。只输出一个 JSON 对象,不要任何解释、不要 markdown 代码围栏。';
|
'上一次的回答没有按要求给出 JSON。只输出一个 JSON 对象,不要任何解释、不要 markdown 代码围栏。';
|
||||||
|
|
||||||
export function createAnalyzeGateway(llm: Pick<ModelGateway, 'generate'>): AnalyzeGateway {
|
export function createAnalyzeGateway(
|
||||||
|
llm: Pick<ModelGateway, 'generate'>,
|
||||||
|
/** 用量回账 —— 与 `engines.ts` 里 agent 那两条路的 `onUsage` 同一个函数 */
|
||||||
|
onUsage?: (taskId: TaskId, tokens: number) => Promise<void>,
|
||||||
|
): AnalyzeGateway {
|
||||||
return {
|
return {
|
||||||
async run(input) {
|
async run(input) {
|
||||||
const prompt = JSON.stringify(input.payload, null, 2);
|
const prompt = JSON.stringify(input.payload, null, 2);
|
||||||
@@ -26,11 +40,18 @@ export function createAnalyzeGateway(llm: Pick<ModelGateway, 'generate'>): Analy
|
|||||||
taskId: input.taskId,
|
taskId: input.taskId,
|
||||||
label: input.label,
|
label: input.label,
|
||||||
};
|
};
|
||||||
|
/* 记账**不吞异常**:记不上账 = 预算这道闸失效,宁可当场停下由配方留痕交人,也不要一单无声无息烧穿 */
|
||||||
|
const bill = async (usage: { inputTokens: number; outputTokens: number }): Promise<void> => {
|
||||||
|
if (onUsage === undefined) return;
|
||||||
|
await onUsage(input.taskId, usage.inputTokens + usage.outputTokens);
|
||||||
|
};
|
||||||
const first = await llm.generate(call);
|
const first = await llm.generate(call);
|
||||||
|
await bill(first.usage);
|
||||||
if (typeof first.object === 'object' && first.object !== null) {
|
if (typeof first.object === 'object' && first.object !== null) {
|
||||||
return { object: first.object as Record<string, unknown> };
|
return { object: first.object as Record<string, unknown> };
|
||||||
}
|
}
|
||||||
const second = await llm.generate({ ...call, system: `${input.instruction}\n\n${RETRY_HINT}` });
|
const second = await llm.generate({ ...call, system: `${input.instruction}\n\n${RETRY_HINT}` });
|
||||||
|
await bill(second.usage);
|
||||||
if (typeof second.object === 'object' && second.object !== null) {
|
if (typeof second.object === 'object' && second.object !== null) {
|
||||||
return { object: second.object as Record<string, unknown> };
|
return { object: second.object as Record<string, unknown> };
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -2290,7 +2290,13 @@ export function wireEngines(deps: EngineWiringDeps): EngineWiring {
|
|||||||
},
|
},
|
||||||
tasks: taskContext,
|
tasks: taskContext,
|
||||||
clock,
|
clock,
|
||||||
analyze: createAnalyzeGateway(deps.modelGateway),
|
/*
|
||||||
|
* **裸网关不行**(2026-08-29 终审 C1):从前这里传的是 `deps.modelGateway` ——
|
||||||
|
* 配方里 `analyze` 烧的 token 一个数都不计入活动预算(计量全靠调用方给的 `onUsage`),
|
||||||
|
* 时间轴上也不产生模型 span。agent 那两条路(:2194 / :2242)一直是 `tracedGateway` + `onAgentUsage`,
|
||||||
|
* 只有这一条漏了 —— 一个能问模型却不花钱的口子,预算这道闸对它就是不存在的。
|
||||||
|
*/
|
||||||
|
analyze: createAnalyzeGateway(tracedGateway, onAgentUsage),
|
||||||
});
|
});
|
||||||
|
|
||||||
/**
|
/**
|
||||||
|
|||||||
+4
-1
@@ -1329,7 +1329,10 @@ pnpm 硬链到全局 store,真实占盘远小于这个数,但 `du` 看着吓人
|
|||||||
|
|
||||||
- **配方没有 `drop` 动词**(2026-08-29):撤行只能靠 `project` 的 `prune`(「这一笔投影出来的就是全部」)。
|
- **配方没有 `drop` 动词**(2026-08-29):撤行只能靠 `project` 的 `prune`(「这一笔投影出来的就是全部」)。
|
||||||
要撤一行而不重投整张表的场合,现在写不出来。等真出现第二个用例再加。
|
要撤一行而不重投整张表的场合,现在写不出来。等真出现第二个用例再加。
|
||||||
- **配方的 `analyze` 不计入 `stalledTurns`,也不进单拍工具缝**(2026-08-29):它烧 token、计预算,
|
- **配方的 `analyze` 不计入 `stalledTurns`,也不进单拍工具缝**(2026-08-29):它烧 token、
|
||||||
|
**用量已真的计入活动预算**(2026-08-29 终审 C1 修:装配层从裸网关改成
|
||||||
|
`createAnalyzeGateway(tracedGateway, onAgentUsage)` —— 在那之前这半句是假的,
|
||||||
|
`createModelGateway` 自己不做 `addConsumption`,配方问模型是不花钱的),
|
||||||
但不算「被拒」——熔断看不见它。一份写坏的 `instruction` 会每拍烧一次而不触发熔断;
|
但不算「被拒」——熔断看不见它。一份写坏的 `instruction` 会每拍烧一次而不触发熔断;
|
||||||
目前靠「auto 步发了卡就收拍」封住(analyze 那一步不发卡,`doneWhen` 不成立就交人),
|
目前靠「auto 步发了卡就收拍」封住(analyze 那一步不发卡,`doneWhen` 不成立就交人),
|
||||||
真出现空转再补一道计数。
|
真出现空转再补一道计数。
|
||||||
|
|||||||
Reference in New Issue
Block a user