# 我们如何把请求日志迁到 Cloudflare Basin，降低 D1 账单

> AnyRouter 每月向 D1 写入约 1 亿行，几乎全是请求日志。我们不再记录没人看的拒绝请求，并把完整日志迁到 Cloudflare Basin，以 Iceberg 表存储。本文介绍数据、设计和取舍。

- Date: November 7, 2026
- Category: engineering
- HTML: https://anyrouter.dev/blog/zh/d1-bill-request-logs-basin

## D1 成本来自行写入

D1 在每月包含的额度之后，按每百万行写入计费。表上的每个索引会让每次插入多计一行，行的大小不影响计费。存储在包含额度之后按每 GB 每月计费。

2026 年 11 月 7 日，我们测得每天写入 320 万到 400 万行，约合每月 1 亿行，约为每月包含额度的 2 倍。峰值出现在 10 月 27 日，单日 870 万行，之前的修复已经让它减半。数据库文件为 6.45 GB，所以存储不是问题。

24 小时内写入最多的都是请求日志：

- `INSERT INTO generations`：来自 14.1 万次调用的 156.5 万行，每次约 11 行，因为这张表有 14 个索引。
- `INSERT INTO generation_attempts`：来自 11.7 万次调用的 58.3 万行，每次约 5 行。
- 每小时汇总 `workspace_usage_hourly`：来自 85 次调用的 21.3 万行。

## 大部分是被拒绝的请求

每天写入的 11 万行 `generations` 中，有 6.3 万行状态为 `rejected`。其中 5.4 万行来自同一个 API 密钥，它每 4 分钟扫描 286 个仅限 BYOK 的模型，却没有绑定任何 BYOK 密钥。每次拒绝要写约 16 行 D1 数据，换来的是一个没人看的 4xx 响应。

我们先查了索引。`generations` 和 `generation_attempts` 上已经没有未使用的索引，因为之前的迁移已经删掉了 14 个。删索引这条路走不通。

## 修复一：拒绝请求不再写 D1

在尝试任何上游之前就被拒绝的请求，现在不再写 D1 行。这包括没有密钥的仅限 BYOK 模型、未知模型、密钥无权使用该模型，以及计费和免费模型的限制。

计数并没有丢。Analytics Engine 仍按错误码统计每一次拒绝，日志页会显示“N 个请求被拒绝”的提示。有一种情况特意保留了行：平台侧的空分发，也就是路由器没能为本该可用的模型找到路由。路由健康度要读这些行。

我们在生产环境验证过：该扫描密钥产生的行数从每 10 分钟约 620 行降到 0。

## 修复二：完整日志写入 Basin

拒绝请求是最大的单一来源，但不是唯一来源。每个成功的请求仍会写约 16 行，而且日志随流量增长。所以我们把完整日志移出了 D1。

Cloudflare Basin 是一个数据湖产品。Pipelines 流从 Worker 绑定接收带类型的记录，并以 Parquet 文件写入 R2 存储桶中的 Iceberg 表。你可以用 Basin SQL 查询这些表。我们创建了三个流，各有带类型的 schema：

- `generations`：66 列，覆盖 D1 的每一列。
- `generation_attempts`：29 列。
- `generation_bodies`：12 列，保存完整的请求和响应文本，每侧最多 1 MB。零数据留存的请求不会被存储。

每个流写入同一个 Basin Catalog 存储桶中各自的表，格式为 Parquet，使用 zstd 压缩。文件每 300 秒滚动一次，自动压缩会把文件合并到 128 MB 的目标大小。

写入来自现有的遥测 Worker，通过服务绑定调用，所以占用的是该 Worker 自己的 CPU 预算，不在网关的请求路径上。网关日志同步从工作流 Worker 发送捕获的请求体。如果 D1 的某一列没有出现在 Basin 的 schema 中，单元测试会失败，因为 Basin 会丢弃与 schema 不匹配的记录。

```ts
// Pipelines binding declared in wrangler.jsonc
await env.BASIN_GENERATIONS.send([
  {
    id: row.id,
    model_id: row.model_id,
    status: row.status,
    cost_usd: row.cost_usd,
    created_at: "2026-11-07T10:15:00Z",
    // ...the rest of the schema's columns, null when missing
  },
])

// Basin SQL, run against the Iceberg table
const query = `
  SELECT model_id, COUNT(*), SUM(cost_usd)
  FROM anyrouter.generations_v1
  WHERE created_at > now() - INTERVAL '1 day'
  GROUP BY 1
  ORDER BY 2 DESC
  LIMIT 20
`
```

_遥测 Worker 每批发送一次，然后是我们按模型查看成本的那类查询。真实记录包含 schema 的全部 66 列。_

## 成本

Pipelines 的写入免费，每月包含 50 GB 的转换和写出，之后按每 GB 的使用量计转换和 Parquet 与 Iceberg 写出的费用。R2 存储按每 GB 每月计费，有包含额度。Basin Catalog 每月包含 100 万次操作。Basin SQL 按每 TB 扫描量计费，每月有包含额度，每次查询有较小的最低计费量。

我们的量约为每天 26 万行日志，未压缩时每月约 6 到 12 GB。按目前流量，这一量落在包含额度内，所以走 Basin 这条路今天几乎不增加成本。下面是流量增长时两者的对比，按相对规模表示：

| 流量 | D1 每月 | Basin 每月 |
| --- | --- | --- |
| 1 倍（现在） | 约 1 亿行写入 | 约 6–12 GB，落在包含额度内 |
| 10 倍 | 约 10 亿行写入 | 约 60–120 GB，便宜约一个数量级 |
| 100 倍 | 约 100 亿行写入 | 约 0.6–1.2 TB，便宜约一个数量级 |

D1 的成本随写入行数增长，每个索引还会成倍放大。Basin 的成本随存储和扫描的字节数增长。

## 我们放弃了什么

Basin SQL 以分析型速度运行，也就是秒级而不是毫秒级。新行因为批量写入，要几分钟后才出现。Iceberg 只能追加，所以一行只在最终状态写入一次，删除需要小心处理。

因此 D1 仍是热数据存储。日志页仍从 D1 读取，速度快，也可以更新。Basin 是历史、分析和未来数据集的记录系统。它保留全部数据、不做删除，控制台只限制显示的范围。

照搬这套方案之前，有三个约束值得知道。流的 schema 在创建后不能修改，要改就得新建一个流和一个新表名，例如 `generations_v2`。写出端不能指向已有的 Iceberg 表。不匹配 schema 的记录会被静默丢弃，所以每次改动映射代码后，我们都会查看 Pipelines 的用户错误指标。

## 这个决定是怎么做出的

这个设计决定由一个 anybot agent 做出。它分析了系统，测量了写入的来源，按成本比较了各个方案，并选择了既能让日志页继续工作、又最便宜的那个。上线前由所有者审阅了这个决定。

接下来，我们计划把现有的 D1 历史数据回填到 Basin，然后把免费请求的日志移出 D1，让每小时汇总只重写发生变化的小时，并把较早的 R2 归档合并到 Basin。这些归档包括 NDJSON 数据湖、AI Gateway 日志分片，以及每日的 D1 拷贝任务。
