循环就是全部思路
一个 agent 重复四步。取出对话,询问模型,如果模型要求工具就执行它,然后把结果追加进去再问一次。当模型不再调用工具时,你就完成了。
其余都是细节。模型不需要专门的 agent 端点,它需要一个接受工具的 chat 端点,也就是普通的 OpenAI Chat Completions 形状。
数据形状
对话是消息列表。工具是名称、描述和 JSON schema。模型要么返回内容,要么返回一组工具调用:
一条消息、一个工具和一个工具调用。
type Message = { role: "system" | "user" | "assistant" | "tool"; content: string; tool_call_id?: string }
type Tool = {
type: "function"
function: { name: string; description: string; parameters: object }
}
type ToolCall = { id: string; function: { name: string; arguments: string } }循环维护一个消息列表并不断追加,所以模型总能看到完整历史,包括自己的工具结果。
最小循环
一直运行到模型不再调用工具,并设置硬上限,避免 bug 导致无限循环:
几行写完的 agent 循环。
const messages: Message[] = [
{ role: "system", content: "You are a helpful assistant with tools." },
{ role: "user", content: input },
]
for (let step = 0; step < 8; step++) {
const reply = await call({ model: "anyrouter/auto", messages, tools })
messages.push({ role: "assistant", content: reply.content ?? "" })
if (reply.toolCalls.length === 0) {
console.log(reply.content)
break
}
for (const call_ of reply.toolCalls) {
const result = await runTool(call_.function.name, JSON.parse(call_.function.arguments))
messages.push({
role: "tool",
tool_call_id: call_.id,
content: JSON.stringify(result),
})
}
}约束工具
只给模型它需要的工具,并在执行任何操作前校验每个参数。写入你系统的工具应当要求显式确认步骤,而不是由模型决定。
保持工具列表短小。模型在三个工具之间选择,远比在三十个之间选择可靠,而且每个工具描述都是模型每一轮都要读的提示词。
网关如何帮助 agent
一个 agent 会发起很多次调用,所以限速或故障会很快暴露。AnyRouter 会重试失败的上游,并可在同一路由上换用另一个模型,让循环继续运行。
给规划轮固定更强的模型,给工具选择轮固定更便宜的模型。免费模型在 Go 及以上套餐每 token $0,没有每日上限,所以试验性质的循环运行成本很低。