# Cách chúng tôi giảm hóa đơn D1 bằng việc chuyển log request sang Cloudflare Basin

> AnyRouter ghi khoảng 100 triệu dòng mỗi tháng vào D1, gần như toàn là log request. Chúng tôi ngừng ghi những request bị từ chối mà không ai đọc, và chuyển toàn bộ log sang Cloudflare Basin, nơi lưu dưới dạng bảng Iceberg. Bài này nói về số liệu, thiết kế và các đánh đổi.

- Date: November 7, 2026
- Category: engineering
- HTML: https://anyrouter.dev/blog/vi/d1-bill-request-logs-basin

## Chi phí D1 đến từ việc ghi dòng

D1 tính theo mỗi triệu dòng ghi, sau khi đã bao gồm một hạn mức mỗi tháng. Mỗi index trên bảng làm mỗi lần insert bị tính thêm một dòng, còn kích thước dòng không ảnh hưởng. Dung lượng lưu trữ được tính theo mỗi GB-tháng sau khi trừ hạn mức bao gồm.

Ngày 7 tháng 11 năm 2026, chúng tôi đo được 3,2 đến 4,0 triệu dòng ghi mỗi ngày. Đó là khoảng 100 triệu dòng mỗi tháng, gấp khoảng 2 lần hạn mức bao gồm mỗi tháng. Đỉnh là 8,7 triệu dòng trong một ngày vào 27 tháng 10, và các bản sửa trước đó đã giảm được một nửa. File database nặng 6,45 GB, nên dung lượng không phải vấn đề.

Trong 24 giờ, các câu lệnh ghi nhiều nhất đều là log request:

- `INSERT INTO generations`: 1,565 triệu dòng từ 141 nghìn lần gọi, khoảng 11 dòng mỗi lần, vì bảng có 14 index.
- `INSERT INTO generation_attempts`: 583 nghìn dòng từ 117 nghìn lần gọi, khoảng 5 dòng mỗi lần.
- Bảng tổng hợp theo giờ `workspace_usage_hourly`: 213 nghìn dòng từ 85 lần gọi.

## Phần lớn là request bị từ chối

Trong 110 nghìn dòng `generations` ghi mỗi ngày, có 63 nghìn dòng ở trạng thái `rejected`. 54 nghìn dòng trong số đó đến từ một API key quét 286 model chỉ dùng BYOK mỗi 4 phút, mà không gắn key BYOK nào. Mỗi lần từ chối ghi khoảng 16 dòng D1 cho một phản hồi 4xx mà không ai đọc.

Chúng tôi kiểm tra index trước. Không còn index nào không dùng trên `generations` hay `generation_attempts`, vì các migration trước đã xóa 14 index. Xóa index không phải đòn bẩy.

## Bản sửa 1: request bị từ chối không ghi dòng D1

Request bị từ chối trước khi thử bất kỳ upstream nào giờ không ghi dòng D1 nữa. Điều này gồm model chỉ dùng BYOK mà không có key, model không tồn tại, key không được phép dùng model, và các cổng thanh toán và model miễn phí.

Số đếm không mất. Analytics Engine vẫn đếm mọi lần từ chối theo mã lỗi, và trang Logs hiển thị ghi chú "N request bị từ chối". Một trường hợp được giữ lại dòng có chủ ý: dispatch rỗng phía nền tảng, tức là router không tìm được route cho một model lẽ ra phải phục vụ. Route health đọc các dòng đó.

Chúng tôi đã kiểm tra trên production. Số dòng của key quét giảm từ khoảng 620 mỗi 10 phút xuống 0.

## Bản sửa 2: toàn bộ log đi vào Basin

Request bị từ chối là nguồn đơn lẻ lớn nhất, nhưng không phải duy nhất. Mỗi request thành công vẫn ghi khoảng 16 dòng, và log tăng theo lưu lượng. Vì vậy chúng tôi chuyển toàn bộ log ra khỏi D1.

Cloudflare Basin là một sản phẩm data lake. Một stream Pipelines nhận các bản ghi có kiểu từ binding của Worker và ghi chúng thành file Parquet trong một bảng Iceberg ở bucket R2. Bạn truy vấn bảng bằng Basin SQL. Chúng tôi tạo ba stream, mỗi stream có schema có kiểu:

- `generations`: 66 cột, bao phủ mọi cột của D1.
- `generation_attempts`: 29 cột.
- `generation_bodies`: 12 cột, chứa toàn bộ nội dung request và response, tối đa 1 MB mỗi phía. Request dùng zero data retention không bao giờ được lưu.

Mỗi stream ghi vào bảng riêng trong cùng một bucket Basin Catalog, dạng Parquet nén zstd. Một file được cuộn mỗi 300 giây, và compaction tự động gộp file về kích thước mục tiêu 128 MB.

Việc ghi đến từ Worker telemetry hiện có qua service binding, nên chạy trên ngân sách CPU riêng của Worker đó chứ không nằm trên đường xử lý request của gateway. Phần đồng bộ log của gateway gửi các body đã thu thập từ Worker workflow. Một unit test sẽ lỗi nếu thiếu cột D1 nào trong schema Basin, vì Basin bỏ các bản ghi không khớp schema.

```ts
// Pipelines binding declared in wrangler.jsonc
await env.BASIN_GENERATIONS.send([
  {
    id: row.id,
    model_id: row.model_id,
    status: row.status,
    cost_usd: row.cost_usd,
    created_at: "2026-11-07T10:15:00Z",
    // ...the rest of the schema's columns, null when missing
  },
])

// Basin SQL, run against the Iceberg table
const query = `
  SELECT model_id, COUNT(*), SUM(cost_usd)
  FROM anyrouter.generations_v1
  WHERE created_at > now() - INTERVAL '1 day'
  GROUP BY 1
  ORDER BY 2 DESC
  LIMIT 20
`
```

_Worker telemetry gửi một lần mỗi batch, rồi đến loại truy vấn chúng tôi dùng để xem chi phí theo model. Bản ghi thật có đủ 66 cột của schema._

## Chi phí

Pipelines nhận dữ liệu miễn phí, đã bao gồm 50 GB mỗi tháng cho transform và sink, sau đó tính theo mức dùng cho mỗi GB transform và mỗi GB sink Parquet và Iceberg. Lưu trữ R2 được tính theo mỗi GB-tháng với hạn mức bao gồm. Basin Catalog bao gồm 1 triệu thao tác mỗi tháng. Basin SQL được tính theo mỗi TB quét, với hạn mức bao gồm mỗi tháng và mức tối thiểu nhỏ cho mỗi truy vấn.

Lượng của chúng tôi khoảng 260 nghìn dòng log mỗi ngày, tức khoảng 6 đến 12 GB mỗi tháng khi chưa nén. Với lưu lượng hiện tại, lượng này nằm trong hạn mức bao gồm, nên đường đi qua Basin gần như không tốn thêm chi phí hôm nay. Dưới đây là so sánh khi lưu lượng tăng, theo quy mô tương đối:

| Lưu lượng | D1 mỗi tháng | Basin mỗi tháng |
| --- | --- | --- |
| 1x (hiện tại) | khoảng 100 triệu dòng được ghi | khoảng 6–12 GB, nằm trong hạn mức bao gồm |
| 10x | khoảng 1 tỷ dòng được ghi | khoảng 60–120 GB, rẻ hơn khoảng 1 cấp độ |
| 100x | khoảng 10 tỷ dòng được ghi | khoảng 0,6–1,2 TB, rẻ hơn khoảng 1 cấp độ |

Chi phí D1 tăng theo số dòng ghi, và mỗi index nhân nó lên. Chi phí Basin tăng theo số byte lưu và quét.

## Những gì chúng tôi đánh đổi

Basin SQL chạy ở tốc độ phân tích, nghĩa là vài giây chứ không phải mili giây. Dòng mới xuất hiện sau vài phút vì gom batch. Iceberg chỉ ghi nối thêm, nên mỗi dòng được ghi một lần ở trạng thái cuối, và việc xóa cần cẩn thận.

Vì vậy D1 vẫn là kho dữ liệu nóng. Trang Logs vẫn đọc từ D1, nhanh và cập nhật được. Basin là hệ thống ghi chép cho lịch sử, phân tích và các tập dữ liệu sau này. Nó giữ mọi thứ, không xóa, và dashboard chỉ giới hạn phần hiển thị.

Có ba ràng buộc đáng biết trước khi bạn làm theo. Schema của stream không thể đổi sau khi tạo, nên muốn đổi phải tạo stream mới và tên bảng mới như `generations_v2`. Một sink không thể trỏ vào bảng Iceberg đã có. Và các bản ghi không khớp schema bị bỏ âm thầm, nên chúng tôi theo dõi chỉ số lỗi người dùng của Pipelines sau mỗi thay đổi mapper.

## Quyết định này được đưa ra thế nào

Một anybot agent đã đưa ra quyết định thiết kế này. Nó phân tích hệ thống, đo xem các lần ghi đến từ đâu, so sánh các phương án theo chi phí, và chọn phương án rẻ nhất mà vẫn giữ trang Logs hoạt động. Chủ sở hữu đã xem xét quyết định trước khi nó được đưa lên.

Tiếp theo, chúng tôi dự định backfill lịch sử D1 hiện có vào Basin, sau đó chuyển log của request miễn phí ra khỏi D1, làm cho bảng tổng hợp theo giờ chỉ ghi lại những giờ đã thay đổi, và gộp các kho lưu trữ R2 cũ vào Basin. Các kho đó gồm lakehouse NDJSON, các shard log của AI Gateway, và job sao chép D1 hằng ngày.
