流式代理

确保启动代理服务器：

litellm --model gpt-4o --host 127.0.0.1 --port 4000

代码

cookbook/models/litellm_openai/basic_stream.py

from agno.agent import Agent, RunResponse  # noqa
from agno.models.litellm import LiteLLMOpenAI

agent = Agent(model=LiteLLMOpenAI(id="gpt-4o"), markdown=True)

agent.print_response("Share a 2 sentence horror story", stream=True)

使用方法

1. 创建虚拟环境

   打开 Terminal 并创建一个 python 虚拟环境。

   Mac

   python3 -m venv .venv
   source .venv/bin/activate
   

2. 设置你的 API 密钥

   export LITELLM_API_KEY=xxx
   

3. 安装库

   pip install -U litellm[proxy] openai agno
   

4. 运行代理

   Mac

   python cookbook/models/litellm/basic_stream.py