failoverai

这是什么？适合谁？

FailoverAI（Reality-JH/FailoverAI）是一个开源容错网关，为图片、视频、LLM 等 AI 任务提供**多供应商故障切换（failover）**能力：当一个供应商宕机、限流或超时，自动切到下一个供应商继续服务。

核心价值：消除生产环境的「单点依赖」。自建 AI 服务最怕的就是供应商突然不可用——FailoverAI 把「A 供应商挂了用 B」做成网关层能力，业务代码无需改动。

适合人群：

• 自建 AI 应用、依赖多家模型/处理供应商的团队
• 需要高可用、不想被单一供应商锁定的工程师
• 运行图片 / 视频 / LLM 混合任务、希望统一容错策略的人

使用前提：Python 环境；至少两个可用的供应商账号（用于故障切换）；理解网关的代理角色。

准备工作

1. Python 3.10+：网关用 Python 编写。
2. 多家供应商凭证：至少准备两个供应商的 API key，故障切换才有意义。
3. 成本：MIT 开源，完全免费；供应商调用按各自计费。
4. 时间预算：部署 + 配置供应商约 20-30 分钟。
5. 心智准备：failover 解决「可用性」，不解决「成本」或「质量」——切换后的供应商能力可能不同。

快速上手（3 步）

第一步：安装

git clone https://github.com/Reality-JH/FailoverAI
cd FailoverAI
pip install -r requirements.txt   # 具体依赖以 README 为准

第二步：配置供应商

按 README 配置供应商列表与优先级（哪个优先、哪些兜底），填入各供应商凭证。

第三步：启动网关并接入请求

启动网关，把业务里的 AI 请求指向网关地址，跑一次任务验证故障切换。

成功判定：手动停掉主供应商后，请求自动切换到备用供应商，任务正常完成且业务无感。

初级用法

供应商优先级

配置供应商列表时定义优先级：正常情况下走主供应商，主供应商失败才依次尝试兜底。

支持的负载类型

面向图片、视频、LLM 等任务统一做容错——同一套切换逻辑覆盖多种负载。

触发条件

切换通常在超时、限流（429）、5xx 错误时触发；可配置重试与阈值。

高级玩法

健康检查

对供应商做健康探测，提前标记不可用节点，减少请求失败后的被动切换延迟。

按负载路由

不同类型任务（图片 / 视频 / LLM）可以有不同的供应商优先级策略。

成本兜底策略

把「便宜供应商优先、贵供应商兜底」做进优先级，兼顾成本与可用性。

小技巧

1. 至少两个供应商：单供应商就谈不上 failover，先备好兜底账号。
2. 测 429 场景：主动触发限流验证切换逻辑，别只测宕机。
3. 记录切换日志：每次 failover 都记日志，方便事后分析供应商稳定性。
4. 注意能力差异：切换后的供应商能力/价格不同，业务要能容忍。
5. 设置熔断：避免对已宕供应商反复重试拖慢整体。

常见踩坑

踩坑 1：只有一个供应商

• 现象：配了网关却发现没有兜底可切。
• 原因：failover 的前提是多个供应商。
• 解决：至少准备两个供应商账号。

踩坑 2：切换后结果质量下降

• 现象：故障切换后输出质量明显变差。
• 原因：兜底供应商模型能力更弱。
• 解决：为兜底供应商设定可接受的质量下限，必要时宁可失败也不降级。

踩坑 3：未处理部分失败

• 现象：批量任务里个别请求失败没触发切换。
• 原因：切换逻辑只针对特定错误码，部分异常未覆盖。
• 解决：核对错误处理范围，补充超时、限流、5xx 等触发条件。

踩坑 4：成本失控

• 现象：切换到贵供应商后账单飙升。
• 原因：兜底供应商单价更高，故障期间用量转移过去。
• 解决：设置告警与用量上限，兜底供应商优先选同价位。

踩坑 5：项目早期配置文档不全

• 现象：配置项找不到说明。
• 原因：项目较新，文档在完善中。
• 解决：以仓库 README 与示例配置为准，必要时看源码。

常见问题 FAQ

Q1: FailoverAI 是负载均衡器吗？

A: 更准确说是「容错网关」：核心是故障切换（failover），而非并发分发（load balancing）。它保证「挂了能换」，不一定保证「多路并发」。

Q2: 支持哪些任务类型？

A: 面向图片、视频、LLM 等 AI 任务的统一容错，具体以仓库支持矩阵为准。

Q3: 会额外收费吗？

A: MIT 开源免费；供应商调用费照常产生。

Q4: 切换是无感的吗？

A: 切换在网关层完成，业务代码无需改动；但切换本身有延迟，且兜底供应商能力可能不同。

Q5: 能用于生产吗？

A: 建议先在测试环境验证切换逻辑与错误处理边界，再上生产。

进阶学习建议

掌握基础后，建议深入：

1. 健康检查 + 熔断：给供应商加健康探测与熔断器，把被动切换升级为主动规避。
2. 分级兜底策略：设计「主→同价位兜底→高价位兜底」三级策略，平衡成本与可用性。
3. 故障演练：定期模拟供应商宕机，验证 failover 链路与告警是否如预期工作。

参考链接

• 官方仓库

最后更新：2026-08-28 · 作者：MagicNetWorld · 基于公开资料整理，关键数据经 GitHub API 独立实测核验，AI 辅助生成