LLM 网关是位于应用和模型供应商之间的服务:代码只对一个 API 调用多家模型,密钥、路由与故障切换、请求日志和消费上限由网关处理。本文用同一份清单对比 2026 年团队常考虑的六个网关,每一项价格和功能都附上该厂商截至 2026 年 10 月的官方文档链接。
LLM 网关做哪些事
按请求经过的顺序,一共五件事:
- 一个 API 调用多家模型。代码对同一个 base URL 发送熟悉的格式(通常是 OpenAI 格式),换模型只改
model字段。 - 鉴权和密钥。网关签发自己的密钥,供应商凭证不必放进应用。
- 访问规则。决定这个密钥能不能调用这个模型。
- 路由与故障切换。为模型选择供应商,失败时改发到其他供应商。
- 计量、日志和上限。逐条记录 token 和费用,预算用完就拦截。
在 ATP Token 上,这几个环节对应可以实测的状态码:密钥错误 401、模型不在项目允许清单 403、供应商失败 502 或 503、项目点数用完 402(运作方式、错误)。
六个网关一览
“本文未对比”表示我们在厂商公开文档中没有找到该项细节,正式采用前请向厂商确认。
怎么选:六个问题
1. 网关必须部署在哪里?
如果流量不能经过第三方,候选名单就是自建:LiteLLM proxy、Helicone 开源网关,或 Portkey 的开源和 VPC 选项。本文其他选项都是托管服务。
2. 想怎么付费?
有三种模式:
- 供应商价格加充值手续费。OpenRouter:Standard 银行卡 5.5%(最低 0.80 美元)、Business 8%(FAQ)。
- 按供应商标价、token 不加价。Vercel AI Gateway,可能有支付手续费(定价)。
- 预付点数,按各模型标价扣减。ATP Token:1 点 = 0.01 美元,按量付费点数不会过期,充值 5 美元起(点数)。各模型费率见定价页。
自建网关没有平台费,成本在供应商账单和工程时间上。
3. 预算绑定在什么上面?是硬上限吗?
这是各网关差异最大的地方。
- OpenRouter:guardrails 里的预算挂在成员或密钥上,按天、周、月重置;工作区预算需要 Enterprise(guardrails)。
- Vercel:团队、项目、密钥、成员四种预算。Vercel 称之为软上限:越过上限的那一笔仍会完成,之后的请求返回 402(预算)。
- LiteLLM:按密钥、用户、团队或客户设置预算,重置周期如
30d。 - ATP Token:点数沿组织 → 工作区 → 项目往下拨,项目只能花自己的额度。没有重置周期,项目用到余额为零就返回 402,直到有人再拨款(预算上限配置)。
按周期重置的预算适合“这个密钥每月不超过 500 美元”;预付额度适合“这条产品线这个季度有 5,000 美元”。
4. 应用现在用哪些 SDK 格式?
大多数网关支持 OpenAI 格式。如果有服务用 Anthropic SDK(Claude Code 就是)或 Google GenAI SDK,要确认是否原生支持:OpenRouter 和 Vercel 有 Anthropic Messages 文档;ATP Token 可以直接使用 OpenAI、Anthropic、Google GenAI 三种官方 SDK(OpenAI SDK、Anthropic SDK、Google GenAI SDK)。
5. 需要哪些模型和模态?
OpenRouter 列出 80+ 家供应商、500+ 个模型。ATP Token 有 11 家供应商、70+ 个模型,包括 Seedance 2.0、Kling v3 Pro 等视频模型,以及 Nano Banana Pro 等图像模型(媒体模型)。如果只需要几个前沿 LLM,目录大小没有其他问题重要。
6. 日志保留什么、保留多久?
Portkey 公布了各方案的保留期:免费方案日志 3 天,Production 30 天。ATP Token 的请求日志保留 7 天,定位是排障视图,账务以账务事件为准(请求日志 API)。如果按月复盘消费,请每周导出或汇总。
逐个细看
OpenRouter
- 适合:需要最大的托管模型目录、要快速评估模型。
- 管控:组织、工作区、包含预算和模型及供应商白名单的 guardrails、ZDR 规则;所有方案都能对单个密钥设置点数上限。
- 需要注意:购买点数的手续费、点数可能在一年后失效、开具发票只限 Enterprise。完整说明见 OpenRouter 替代方案(团队版)。
Vercel AI Gateway
- 适合:部署在 Vercel 的团队,或想要按供应商标价计费的托管网关。
- 管控:四种预算范围、50/75/100% 消费提醒、请求日志、供应商与模型故障切换。
- 需要注意:预算是软上限;使用自带供应商密钥的消费不计入预算;部分管控是付费增购。
LiteLLM
- 适合:希望完全掌控、本来就在运维基础设施的平台团队。
- 管控:虚拟密钥、多层预算、用 access group 管理模型。
- 需要注意:需要自己运维。用户和密钥级别的按模型预算需要 Enterprise 许可。
Portkey
- 适合:希望网关、监控和 guardrails 在同一个产品里的团队。
- 管控:对供应商或虚拟密钥设置预算上限,可设提醒阈值、每周或每月重置,适用于 Enterprise 和部分 Pro 方案(预算上限)。每月 49 美元的 Production 方案起提供基于角色的权限控制。
- 需要注意:各方案有日志额度(免费每月 1 万条,Production 10 万条)。
Helicone
- 适合:以监控为主的团队;网关开源,用 Rust 编写。
- 管控:记录每个请求的 token 和费用,支持 100+ 个模型的路由、故障切换和缓存。
- 需要注意:预算和访问控制功能请按需求向厂商确认,网关概览文档中没有看到。
ATP Token
- 适合:多个团队共用一笔 AI 预算,每个项目要有拨好的额度和审核过的模型清单。
- 管控:组织 → 工作区 → 项目的层级、绑定项目的密钥、每个项目的允许模型、以点数额度作为上限、逐条请求日志、Owner/Admin/Member 角色(团队与角色)。
- 需要注意:模型目录比 OpenRouter 小;点数不可退款;请求日志保留 7 天。
同时用两个网关
很多团队最后会有两个:一个大目录网关做研究和评估,一个有治理能力的网关跑生产环境。让这种配置不出问题的规则是:生产环境的密钥不放在研究账号里,每个生产服务都有自己的密钥和预算。参考一项目一密钥。
在 ATP Token 上实际对比一次
- 创建一个项目,启用两三个想对比的模型,例如 claude-sonnet-4-6、gemini-3-5-flash 和 deepseek-v4-flash。
- 拨少量点数作为这次测试的上限,例如 500 点(5 美元)。
- 把现有的 OpenAI、Anthropic 或 Google GenAI client 指向网关,用同一组提示词跑每个模型。
- 在请求日志里对比每个请求的 token 和点数(用量与日志)。模型并排对比页见 /compare。


