Dùng AnyRouter trong DeepSeek Harness

DeepSeek Harness (dsh) là agent harness mã nguồn mở của DeepSeek, theo giấy phép MIT. Trang sản phẩm mô tả nó dùng cho việc hằng ngày, viết code, hoặc dựng harness của riêng bạn. Mọi phần của nó là plugin, và bạn có thể nhờ agent viết plugin mới.

Nó có bản desktop cho macOS (chip Apple) và Windows (64-bit). Bạn cũng có thể mở Web UI bằng npx @deepseek-ai/dsh web. Harness đang là bản preview. DeepSeek cho biết plugin lõi và API vẫn thay đổi, và README cảnh báo sẽ có thay đổi phá vỡ tương thích.

Ứng dụng có workspace, session, plugin, automation task và agent preset. Bạn chọn model cho session từ menu Select model trong ô soạn thảo.

Harness liệt kê provider có sẵn trong Third-party model provider. Endpoint khác nằm trong Custom model API, nơi nhận endpoint tương thích OpenAI và tương thích Anthropic. AnyRouter là một trong số đó.

1. Tạo API key AnyRouter tại anyrouter.dev/keys. Key bắt đầu bằng sk-ar-.
2. Trong Harness, mở Settings, vào Models, chọn Add model provider và chuyển sang tab Custom model API.
3. Đặt Provider ID là anyrouter. Harness dùng id này trong request, session đã lưu và tên credential, nên bạn không đổi tên được về sau.
4. Đặt Base URL là https://anyrouter.dev/api/v1 và API protocol là OpenAI Chat Completions.
5. Dán key sk-ar- vào API key.
6. Chọn Fetch available models, tích các model anyrouter/* bạn cần, rồi lưu.

Harness nói việc dò model chỉ để tiện, không đảm bảo. Nếu Fetch available models không liệt kê gì, gõ id model bằng tay. Chúng chạy như nhau.

Harness lưu key trong $DSH_HOME/.credentials.yaml và ghi phần còn lại vào cordis.patch.yml của profile. Chọn Open configuration file ở đầu Settings để sửa trực tiếp. Đây là cùng provider đó, đọc key từ biến môi trường ANYROUTER_API_KEY:

- id: llm-pi-ai
  config:
    providers:
      anyrouter:
        apiKeyEnv: ANYROUTER_API_KEY
        api: openai-completions
        baseURL: https://anyrouter.dev/api/v1
        models:
          - id: anyrouter/coding
          - id: anyrouter/agent
          - id: anyrouter/hermes
          - id: anyrouter/auto

Harness thay toàn bộ config của entry khi áp dụng override. Giữ các provider khác của bạn trong khối này khi sửa.

Bộ chọn API protocol có OpenAI Chat Completions, OpenAI Responses và Anthropic Messages. Mỗi provider trong Harness dùng một protocol. Muốn dùng Anthropic Messages, thêm provider thứ hai, ví dụ anyrouter-messages, chọn protocol Anthropic Messages và Base URL https://anyrouter.dev/api.

Đừng thêm /v1 vào base URL này. Client Anthropic tự thêm /v1/messages, và AnyRouter phục vụ Messages tại https://anyrouter.dev/api/v1/messages. Cùng một key sk-ar- dùng được cho cả hai protocol. Chat Completions đơn giản hơn, nên bắt đầu từ đó.

Trong cấu hình này, Fetch available models đã kéo về mọi model router của AnyRouter. anyrouter/byok, anyrouter/coding và anyrouter/agent chỉ hiện khi tài khoản đã có key provider tại anyrouter.dev/byok. Mỗi cái là một luật định tuyến, không phải một model đơn lẻ. AnyRouter chọn một model thật cho mỗi request và chuyển sang model kế tiếp khi upstream lỗi.

Với session viết code, chọn anyrouter/coding nếu bạn có key provider riêng, và anyrouter/hermes nếu không có. Agent của Harness gọi tool ở gần như mọi bước, và hai model này chỉ định tuyến tới model nhận tool.

anyrouter/auto là mặc định chung tốt. Khi request có tool, như các bước agent của Harness, AnyRouter chỉ định tuyến nó tới model nhận tool. Chọn anyrouter/coding hoặc anyrouter/hermes khi bạn muốn thứ hạng theo code hoặc gọi tool.

Bỏ qua anyrouter/decision. Nó dành cho Decisions API (/api/v1/decisions), trả về câu trả lời có kiểu như có hoặc không, lựa chọn và điểm số. Nó không phải model chat cho vòng lặp agent.

Số liệu ở chân trang là của từng session. Trong session ở trên, Harness ghi 1 lượt, 7 bước, 198 tok/s, 146K token và 69% cache hit. Đó là một session, không phải benchmark.

anyrouter/byok, anyrouter/coding và anyrouter/agent chỉ định tuyến qua key provider của chính bạn. Provider tính tiền bạn, và AnyRouter không trừ credit cho các request này. Thêm key một lần tại anyrouter.dev/byok. Các model này dùng được key đó ngay.

Khi chưa lưu key provider nào, ba model này không được liệt kê và không có gì để định tuyến. Dùng anyrouter/hermes hoặc anyrouter/auto cho đến khi bạn thêm key.

Đăng ký tại anyrouter.dev và tạo key tại anyrouter.dev/keys. Gói Free cho 5 request dùng thử trên model miễn phí và model decision, model trả phí với credit đã mua, và key BYOK của bạn như bình thường. Gói Go giá $2 mỗi tháng, hoặc miễn phí khi bạn góp một key provider hợp lệ, không trùng và pool dùng được. Gói này mở mọi model và thêm $4 credit mỗi tháng.

Mọi request Harness gửi đi đều hiện trong request log AnyRouter của bạn.