​
代理服务器集成

LiteLLM 也可以用作 OpenAI 兼容的代理服务器，允许您通过统一的 API 将请求路由到不同的模型。

​
启动代理服务器

首先，安装 LiteLLM 并启用代理支持：

pip install 'litellm[proxy]'

启动代理服务器：

litellm --model gpt-4o --host 10.10.10.10 --port 4000

​
使用代理

LiteLLMOpenAI 类使用 OpenAI 兼容接口连接到 LiteLLM 代理：

from agno.agent import Agent
from agno.models.litellm import LiteLLMOpenAI

agent = Agent(
    model=LiteLLMOpenAI(
        id="gpt-4o",  # 要使用的模型 ID
    ),
    markdown=True,
)

agent.print_response("写一个两句话的恐怖故事")

​
配置选项

LiteLLMOpenAI 类接受以下参数：

参数类型描述默认值
idstr模型标识符”gpt-4o”
namestr模型的显示名称”LiteLLM”
providerstr提供商名称”LiteLLM”
api_keystrAPI 密钥（回退到 LITELLM_API_KEY 环境变量）None
base_urlstrLiteLLM 代理服务器的 URL”http://0.0.0.0:4000”

​
示例

请在食谱中查看这些示例：

​
代理示例

在此查看更多示例 here。