把 7B 本地模型和云旗舰放进同一隨机池，會得到不可解释的质量抖动。
推荐规则#
- 程式碼池、長文池、便宜池分开。
- 重试只换同池实例。
- 日预算到顶切只讀或排队。
要點#
- 同类才均衡。
- 429 要降級。
- 转售平臺不是 SLA 本体。
API 聚合平臺與多模型负载均衡配置
多模型负载均衡不是隨机挑一家。规则通常是：同类模型才进同一池、健康检查失敗摘串流、429 降級到备援、贵的旗舰只接高優先級队列。聚合平臺（OpenRouter 类或自建网关）提供統一 URL，但 SLA 仍是各上游的 SLA。關鍵路徑不要只依賴一家转售。配置裡写清逾時、重试上限和预算熔断。本頁讲策略，不点名教你规避某家 ToS。
- 同类模型 同池
- 健康检查 / 429 摘串流
- 直连备援 關鍵路徑
該內容對您有幫助嗎？
感謝回饋。