Ollama

学习如何与 Agno 一起使用 Ollama。

本地运行大型语言模型，使用 Ollama

Ollama 是一个在本地运行模型的绝佳工具。

Ollama 支持多种开源模型。在此处 (https://ollama.com/library) 查看模型库。

我们建议进行实验，找到最适合您用例的模型。以下是一些通用建议：

• llama3.3 模型适合大多数基本用例。
• qwen 模型在工具使用方面表现尤其出色。
• deepseek-r1 模型具有强大的推理能力。
• phi4 模型功能强大，但体积小巧。

设置模型

安装 ollama 并运行模型

run model

ollama run llama3.1

这将为您提供与模型的交互式会话。

或者，下载模型以在 Agno 代理中使用

pull model

ollama pull llama3.1

示例

在本地拥有模型后，使用 Ollama 模型类来访问它

agent.py

from agno.agent import Agent, RunResponse
from agno.models.ollama import Ollama

agent = Agent(
    model=Ollama(id="llama3.1"),
    markdown=True
)

# 在终端中打印响应
agent.print_response("创作一个两句话的恐怖故事。")

在此处 (../examples/models/ollama) 查看更多示例。

参数

参数 (Parameter)	类型 (Type)	默认值 (Default)	描述 (Description)
id	str	"llama3.1"	要使用的模型的 ID。
name	str	"Ollama"	模型的名称。
provider	str	"Ollama"	模型的提供商。
format	Optional[Any]	None	响应的格式。
options	Optional[Any]	None	要传递给模型的附加选项。
keep_alive	Optional[Union[float, str]]	None	模型的保持活动时间。
request_params	Optional[Dict[str, Any]]	None	要传递给请求的附加参数。
host	Optional[str]	None	要连接的主机。
timeout	Optional[Any]	None	连接的超时时间。
client_params	Optional[Dict[str, Any]]	None	要传递给客户端的附加参数。
client	Optional[OllamaClient]	None	预先配置的 Ollama 客户端实例。
async_client	Optional[AsyncOllamaClient]	None	预先配置的异步 Ollama 客户端实例。
structured_outputs	bool	False	是否为此模型使用结构化输出。
supports_structured_outputs	bool	True	模型是否支持结构化输出。

Ollama 是 Model 类的子类，可以访问相同的参数。