模型与路由

Provider routing 与 fallback

平台上每个模型由一个或多个上游 provider 组成的 pool 服务。你呼叫单一 model id；Gateway 为该请求挑一个 provider，并可 fail over 到另一个，因此就算某个 provider 降级，模型仍能持续运作。

每个模型的 provider 组合与顺序是设在平台端，不是逐请求指定。你的 client 永远只指名模型（来自 GET /v1/models）；实际由哪个 provider 服务由 Gateway 处理，且可在请求之间改变，你这端不需改任何 code。

当某个 provider 失败或逾时，Gateway 会换到该模型 pool 里下一个可用的 provider。这对应到你可能看到的状态码：

状态码	意义
`502`	Provider 连线失败或逾时。可安全重试。
`503`	该模型的所有 provider 目前皆 circuit-open。请遵守 `Retry-After`（60 秒）。
`429`	上游速率限制、配额或 provider 冷却中。若有 `Retry-After` 请遵守。

完整清单见 Errors。所有回应都带一个 request_id，路由行为异常时可附上给支援。

后端待确认的细节

Pool 内的挑选顺序、health-check 周期与 circuit-open 门槛设定在平台端，确认后会补在这页。上面的行为（每模型一个 pool、自动 fallback，以及状态码对应）目前可稳定依赖。