把 7B 本地模型和云旗舰放进同一随机池，会得到不可解释的质量抖动。
推荐规则#
- 代码池、长文池、便宜池分开。
- 重试只换同池实例。
- 日预算到顶切只读或排队。
要点#
- 同类才均衡。
- 429 要降级。
- 转售平台不是 SLA 本体。
API 聚合平台与多模型负载均衡配置
多模型负载均衡不是随机挑一家。规则通常是：同类模型才进同一池、健康检查失败摘流、429 降级到备援、贵的旗舰只接高优先级队列。聚合平台（OpenRouter 类或自建网关）提供统一 URL，但 SLA 仍是各上游的 SLA。关键路径不要只依赖一家转售。配置里写清超时、重试上限和预算熔断。本页讲策略，不点名教你规避某家 ToS。
- 同类模型 同池
- 健康检查 / 429 摘流
- 直连备援 关键路径
Was this helpful?
Thanks for the feedback.