DeepInfra

了解如何在 Agno 中使用 DeepInfra 模型。

利用 DeepInfra 强大的命令模型以及更多功能。

DeepInfra 支持广泛的模型。在此处查看其模型库：https://deepinfra.com/models。

我们建议您进行实验，以找到最适合您用例的模型。以下是一些通用建议：

• deepseek-ai/DeepSeek-R1-Distill-Llama-70B 模型适用于推理。
• meta-llama/Llama-2-70b-chat-hf 模型适用于基本用例。
• meta-llama/Llama-3.3-70B-Instruct 模型适用于多步任务。

DeepInfra 有速率限制。有关更多信息，请参阅文档：https://deepinfra.com/docs/advanced/rate-limits。

身份验证

设置您的 DEEPINFRA_API_KEY 环境变量。在此处获取您的密钥：https://deepinfra.com/dash/api_keys。

Mac

export DEEPINFRA_API_KEY=***

示例

在您的 Agent 中使用 DeepInfra：

agent.py

from agno.agent import Agent, RunResponse
from agno.models.deepinfra import DeepInfra

agent = Agent(
    model=DeepInfra(id="meta-llama/Llama-2-70b-chat-hf"),
    markdown=True
)

# 在终端中打印响应
agent.print_response("Share a 2 sentence horror story.")

在此处查看更多示例：../examples/models/deepinfra。

参数

参数	类型	默认值	描述
id	str	"meta-llama/Llama-2-70b-chat-hf"	用于生成响应的特定模型 ID。
name	str	"DeepInfra"	DeepInfra 代理的名称标识符。
provider	str	"DeepInfra" + id	模型提供商，结合了 "DeepInfra" 和模型 ID。
api_key	Optional[str]	-	用于认证 DeepInfra 服务请求的 API 密钥。从环境变量 DEEPINFRA_API_KEY 中检索。
base_url	str	"https://api.deepinfra.com/v1/openai"	向 DeepInfra 服务发起 API 请求的基 URL。

DeepInfra 是 Model 类的一个子类，并且可以访问相同的参数。