Tokenwise

Tokenwise 快速入门

一行代码的 LLM 代理——实时监控成本延迟，智能路由最便宜模型，自动节省 20-30% API 费用。

这是什么？适合谁？

Tokenwise 是一个轻量级的 LLM 代理服务。你只需把 API 请求的 baseURL 改为 Tokenwise 的地址，它就会自动监控每次 LLM 调用的成本、延迟、错误和质量，并且智能地将请求路由到当前最便宜且可用的模型。

它的核心价值是「节省 20-30% API 费用」——通过智能路由，你的请求会自动选择性价比最高的模型，无需手动切换。同时提供预算上限、缓存规则等功能，防止 API 费用超支。

适合：使用多个 LLM API 的开发者、需要控制 API 成本的小团队、独立开发者的 API 费用管理、希望自动优化模型选择的场景。

准备工作

• 注册账号：访问 tokenwisehq.com 注册
• Free tier 包含基础监控
• 已有 OpenAI 兼容 API Key（OpenAI / Anthropic / 其他兼容提供商）
• 开源版本：github.com/scottlepp/tokenwise

3 步快速上手

第 1 步：获取代理地址

注册 Tokenwise 后，在控制台获取你的代理 URL：

https://proxy.tokenwisehq.com/v1

第 2 步：修改 baseURL

将你的 LLM 客户端代码中的 baseURL 改为 Tokenwise 代理：

# 之前
from openai import OpenAI
client = OpenAI(api_key="sk-xxx")

# 之后——只需改一行
client = OpenAI(
    api_key="sk-xxx",
    base_url="https://proxy.tokenwisehq.com/v1"
)

第 3 步：查看仪表盘

登录 Tokenwise 控制台，你会看到实时数据：

• 每次调用的成本和延迟
• 模型路由决策（哪个请求被路由到了哪个模型）
• 节省的费用统计
• 错误率和质量指标

进阶用法

智能模型路由

Tokenwise 自动选择最便宜可用模型，但你也可以设置偏好：

{
  "routing": {
    "prefer": ["claude-sonnet", "gpt-4o"],
    "max_cost_per_1k": 0.03,
    "fallback": "gpt-4o-mini"
  }
}

预算上限

防止 API 费用超支：

{
  "budget": {
    "daily": 50,
    "monthly": 500,
    "action_on_exceed": "block"
  }
}

缓存规则

减少重复调用：

{
  "cache": {
    "ttl_seconds": 3600,
    "strategy": "exact_match"
  }
}

常见问题 FAQ

Q1：Tokenwise 和 Portkey 有什么区别？

A：Portkey 是 AI 网关，侧重统一管理多个 LLM 提供商。Tokenwise 侧重成本优化和自动路由，核心价值是帮你省钱。两者可以互补使用。

Q2：延迟会增加多少？

A：Tokenwise 代理延迟通常 <50ms，异步处理，对用户体验影响极小。

Q3：数据安全吗？API Key 会被记录吗？

A：观察模式默认不存储 API Key。Tokenwise 代理层可以看到请求内容（类似 CDN），如果对数据敏感，建议使用开源版本自托管。

Q4：节省 20-30% 是怎么做到的？

A：通过智能路由：当多个模型可用时，自动选择当前最便宜的。例如 GPT-4o 和 Claude Sonnet 都能完成任务时，选择价格更低的那一个。加上缓存规则减少重复调用。

参考链接

• Tokenwise 官网
• GitHub 开源版本
• Product Hunt 页面