Skip to content
全部文章

用 AnyRouter 构建 AI agent

Agent 是一个循环,而不是一个提示词。发送消息、让模型调用工具、执行它、把结果喂回去。一把网关 key 覆盖循环里的每一个模型。

循环就是全部思路

一个 agent 重复四步。取出对话,询问模型,如果模型要求工具就执行它,然后把结果追加进去再问一次。当模型不再调用工具时,你就完成了。

其余都是细节。模型不需要专门的 agent 端点,它需要一个接受工具的 chat 端点,也就是普通的 OpenAI Chat Completions 形状。

数据形状

对话是消息列表。工具是名称、描述和 JSON schema。模型要么返回内容,要么返回一组工具调用:

一条消息、一个工具和一个工具调用。
type Message = { role: "system" | "user" | "assistant" | "tool"; content: string; tool_call_id?: string }

type Tool = {
  type: "function"
  function: { name: string; description: string; parameters: object }
}

type ToolCall = { id: string; function: { name: string; arguments: string } }

循环维护一个消息列表并不断追加,所以模型总能看到完整历史,包括自己的工具结果。

最小循环

一直运行到模型不再调用工具,并设置硬上限,避免 bug 导致无限循环:

几行写完的 agent 循环。
const messages: Message[] = [
  { role: "system", content: "You are a helpful assistant with tools." },
  { role: "user", content: input },
]

for (let step = 0; step < 8; step++) {
  const reply = await call({ model: "anyrouter/auto", messages, tools })
  messages.push({ role: "assistant", content: reply.content ?? "" })

  if (reply.toolCalls.length === 0) {
    console.log(reply.content)
    break
  }

  for (const call_ of reply.toolCalls) {
    const result = await runTool(call_.function.name, JSON.parse(call_.function.arguments))
    messages.push({
      role: "tool",
      tool_call_id: call_.id,
      content: JSON.stringify(result),
    })
  }
}

约束工具

只给模型它需要的工具,并在执行任何操作前校验每个参数。写入你系统的工具应当要求显式确认步骤,而不是由模型决定。

保持工具列表短小。模型在三个工具之间选择,远比在三十个之间选择可靠,而且每个工具描述都是模型每一轮都要读的提示词。

网关如何帮助 agent

一个 agent 会发起很多次调用,所以限速或故障会很快暴露。AnyRouter 会重试失败的上游,并可在同一路由上换用另一个模型,让循环继续运行。

给规划轮固定更强的模型,给工具选择轮固定更便宜的模型。免费模型在 Go 及以上套餐每 token $0,没有每日上限,所以试验性质的循环运行成本很低。

选一个套餐,马上开始

Go 每月 $2,得 $4 额度。

Pro 每月 $10,得 $20 额度。

Pro+ 每月 $45,得 $100 额度。

Max 每月 $100,得 $300 额度。

注册后在下一页付款,即可调用模型。