運作方式
Gateway 位在你的程式 與上游模型供應商之間。不論你用哪種 SDK 格式,每個請求都會經過相同的四個階段。
請求經過的路徑#
驗證#
授權模型#
請求的模型必須在該專案的 allowed list 上。若不在,會在送到任何供應商前以 403 拒絕——模型存取權是設在專案、不是設在金鑰。見 模型查詢。
路由到供應商#
Gateway 會從該模型設定的供應商池 挑一個,遇到供應商錯誤或逾時就切換到另一個,因此同一個模型 ID 能跨供應商保持穩定。見 供應商路由與備援。
計量與計費#
Gateway 改變什麼、又不改變什麼#
Gateway 轉譯驗證與路由,但把你的 request 與 response body 維持在 SDK 本來就預期的形狀。
因為 wire format 原樣通過,把既有的 OpenAI、Anthropic 或 Gemini 整合搬過來,通常只是改 base URL 與金鑰。
四個階段再往下看#
下一步
這頁有幫助嗎?