Together - Agno

Together 是一个为大型语言模型提供端点的平台。在此处查看他们的模型库：here。我们建议通过实验来找到最适合您用例的模型。 Together 有基于层级的速率限制。有关更多信息，请参阅文档。

认证

设置您的 TOGETHER_API_KEY 环境变量。在此处从 Together 获取您的密钥：from Together here。

export TOGETHER_API_KEY=***

setx TOGETHER_API_KEY ***

示例

在您的 Agent 中使用 Together：

from agno.agent import Agent, RunResponse
from agno.models.together import Together

agent = Agent(
    model=Together(id="meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo"),
    markdown=True
)

# 在终端中打印响应
agent.print_response("写一个两句的恐怖故事。")

在此处查看更多示例：here。

参数

参数	类型	默认值	描述
`id`	`str`	`"mistralai/Mixtral-8x7B-Instruct-v0.1"`	要使用的 Together 模型 ID。
`name`	`str`	`"Together"`	此聊天模型实例的名称。
`provider`	`str`	`"Together " + id`	模型的提供者。
`api_key`	`Optional[str]`	`None`	授权 Together 请求的 API 密钥。默认为环境变量 `TOGETHER_API_KEY`。
`base_url`	`str`	`"https://api.together.xyz/v1"`	API 请求的基础 URL。
`monkey_patch`	`bool`	`False`	是否应用 monkey patching。

Together 还支持 OpenAI 的参数。