LiteLLM 多模型路由实战

你今天用 GPT-4,三个月后想切 Claude 做 A/B,半年后想把分类任务挪到 Gemini Flash 降本,又过两个月合规要求把敏感请求走 Azure 或私有化的 Ollama——每一次都改 SDK、改参数、改流式协议、改工具调用格式、改计费脚本。

LiteLLM 的核心主张就一句话:所有 LLM 都伪装成 OpenAI,然后你只写 OpenAI 一家的代码。它背后做的是跨 100+ provider 的参数映射、错误归一、流式格式统一、工具调用互操作、token 计费翻译。这门教程不只教你 API 用法,而是把它当一个"多模型网关"来讲透:从单机 SDK 到千团队 Proxy,从 10 QPS 到 10K QPS,从"能跑"到"敢换模型不用重写代码"。