供应商路由与备援
平台上每个模型由一个或多个上游供应商组成的供应商池 服务。你呼叫单一模型 ID;Gateway 为该请求挑一个供应商,并可 fail over 到另一个,因此就算某个供应商降级,模型仍能持续运作。
一个模型 ID,背后一个供应商池#
每个模型的供应商组合与顺序是设在平台端,不是逐请求指定。你的程式 永远只指名模型(来自 GET /v1/models);实际由哪个供应商服务由 Gateway 处理,且可在请求之间改变,你这端不需改任何 code。
自动备援(fallback)行为#
当某个供应商失败或逾时,Gateway 会换到该模型的供应商池里下一个可用的供应商。这对应到你可能看到的状态码:
完整清单见 错误码。所有回应都带一个 request_id,路由行为异常时可附上给支持。
尚未公开的设定
供应商池内的挑选顺序、health-check 周期与 circuit-open 门槛不对外公开。可以依赖的行为:每个模型一个供应商池、自动备援,以及上表的状态码。
下一步
这页有帮助吗?