Together

了解如何将 Together 与 Agno 一起使用。

Together 是一个为大型语言模型提供端点的平台。 在此处查看他们的模型库：here。

我们建议通过实验来找到最适合您用例的模型。

Together 有基于层级的速率限制。有关更多信息，请参阅文档。

认证

设置您的 TOGETHER_API_KEY 环境变量。在此处从 Together 获取您的密钥：from Together here。

Mac

export TOGETHER_API_KEY=***

示例

在您的 Agent 中使用 Together：

agent.py

from agno.agent import Agent, RunResponse
from agno.models.together import Together

agent = Agent(
    model=Together(id="meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo"),
    markdown=True
)

# 在终端中打印响应
agent.print_response("写一个两句的恐怖故事。")

在此处查看更多示例：here。

参数

参数	类型	默认值	描述
id	str	"mistralai/Mixtral-8x7B-Instruct-v0.1"	要使用的 Together 模型 ID。
name	str	"Together"	此聊天模型实例的名称。
provider	str	"Together " + id	模型的提供者。
api_key	Optional[str]	None	授权 Together 请求的 API 密钥。默认为环境变量 TOGETHER_API_KEY。
base_url	str	"https://api.together.xyz/v1"	API 请求的基础 URL。
monkey_patch	bool	False	是否应用 monkey patching。

Together 还支持 OpenAI 的参数。