平台开发与集成指南
概览
100+ LLM 统一接入,自动 fallback,Combo 链组合调用,Token 压缩, 统一积分池一套账单全模型通用。
🌍 国际厂商
🇨🇳 国产模型
本地 / 开源
智汇 AI 每 5 分钟探测所有 Provider,自动剔除"账户没钱 / Key 失效 / 接不通"的 Provider, 终端用户只会看到真正可用的模型。Admin 端可查看每个 Provider 的状态、余额、错误详情。
配置 fallback 链,主模型失败时自动切换备用模型,用户无感知:
# Agent 配置示例
{
"model": "gpt-4o", // 主模型
"fallback_models": [ // 备用链(按优先级)
"claude-sonnet-4-5",
"qwen3-max",
"deepseek-v3.2"
],
"fallback_strategy": "error_or_rate_limit" // 触发条件
}
# 触发场景
- 429 Rate Limit → 切下一个
- 5xx Server Error → 切下一个
- 超时(默认 30s)→ 切下一个
- 402 Payment Required → 切下一个并通知 Admin
- 200 成功 → 不切💡 跨厂商 fallback:OpenAI 挂了切 Anthropic,Anthropic 挂了切通义, 三大厂商同时挂的概率几乎为 0,服务可用性达 99.95%。
把多个模型串联 / 并联调用,实现单模型无法完成的能力:
📌 串联(Priority 策略)
按顺序尝试,前一个失败才用下一个 — 等价于 fallback
chain: ["gpt-4o", "claude-sonnet-4-5", "qwen3-max"]串联(Cheapest 策略)
按价格从低到高尝试,优先用便宜模型,质量不够才升级
chain: ["deepseek-v3.2", "qwen3-plus", "gpt-4o-mini", "gpt-4o"]🔀 并联(Fusion 策略)
多模型同时回答,Judge 模型打分选最佳 — 质量最高但贵
chain: ["gpt-4o", "claude-sonnet-4-5", "qwen3-max"]
judge: "gpt-4o" # 用 GPT-4o 评分选最佳答案长对话自动压缩历史消息,降低 Token 消耗 60%+,质量损失 < 5%:
# Admin 配置
{
"compaction_strategy": "rtk_caveman",
"compaction_threshold": 8000, // 上下文超过 8K Token 触发
"keep_recent": 4 // 保留最近 4 轮对话不压缩
}不用每个厂商单独充值,智汇 AI 统一积分池,一套账单全模型通用:
# 模型积分系数示例
{
"gpt-4o": 3.0, // 3x 积分
"claude-opus-4": 5.0, // 5x 积分
"qwen3-plus": 1.0, // 标准
"deepseek-v3.2": 0.3, // 0.3x 积分(便宜)
"ollama:llama3.3": 0 // 免费(本地)
}