Groq

了解如何将 Groq 与 Agno 结合使用。

Groq 为大型语言模型提供了闪电般的快速 API 终端。

您可以在此处查看所有 Groq 支持的模型。

• 对于一般用途，我们推荐使用 llama-3.3-70b-versatile
• 对于更快的响应，我们推荐使用 llama-3.1-8b-instant。
• 对于图像理解，我们推荐使用 llama-3.2-90b-vision-preview。

多模态支持

通过 Groq，我们支持将 Image 作为输入

身份验证

设置您的 GROQ_API_KEY 环境变量。您可以在此处获取您的密钥。

Mac

export GROQ_API_KEY=***

示例

在您的 Agent 中使用 Groq：

agent.py

from agno.agent import Agent, RunResponse
from agno.models.groq import Groq

agent = Agent(
    model=Groq(id="llama-3.3-70b-versatile"),
    markdown=True
)

# 在终端中打印响应
agent.print_response("写一个两句话的恐怖故事。")

在此处查看更多示例。

参数

参数	类型	默认值	描述
id	str	"llama-3.3-70b-versatile"	用于生成响应的特定模型 ID。
name	str	"Groq"	代理的名称标识符。
provider	str	"Groq"	模型提供商。
frequency_penalty	Optional[float]	None	一个介于 -2.0 和 2.0 之间的数字。正值会根据新标记在文本中的现有频率进行惩罚，降低模型逐字重复相同行的可能性。
logit_bias	Optional[Any]	None	一个 JSON 对象，通过将标记 ID 映射到 -100 和 100 之间的偏差值来修改指定标记在完成中出现的可能性。
logprobs	Optional[bool]	None	是否返回输出标记的对数概率。
max_tokens	Optional[int]	None	在聊天完成中生成的最大标记数。
presence_penalty	Optional[float]	None	一个介于 -2.0 和 2.0 之间的数字。正值会根据新标记在文本中是否出现进行惩罚，增加模型讨论新话题的可能性。
response_format	Optional[Dict[str, Any]]	None	指定模型必须输出的格式。将其设置为 { "type": "json_object" } 可启用 JSON 模式，确保生成的邮件是有效的 JSON。
seed	Optional[int]	None	用于确定性采样的种子值，以确保具有相同种子和参数的重复请求返回相同的结果。
stop	Optional[Union[str, List[str]]]	None	最多 4 个序列，API 将在这些序列处停止生成更多标记。
temperature	Optional[float]	None	要使用的采样温度，介于 0 和 2 之间。0.8 等较高值会使输出更随机，而 0.2 等较低值会使输出更集中和确定性。
top_logprobs	Optional[int]	None	为每个生成的标记返回的顶部对数概率的数量。
top_p	Optional[float]	None	核心采样参数。模型会考虑具有 top_p 概率质量的标记的结果。
user	Optional[str]	None	代表您最终用户的唯一标识符，有助于监控和检测滥用。
extra_headers	Optional[Any]	None	要包含在 API 请求中的其他标头。
extra_query	Optional[Any]	None	要包含在 API 请求中的其他查询参数。
request_params	Optional[Dict[str, Any]]	None	要包含在请求中的其他参数。
api_key	Optional[str]	None	用于验证与服务进行请求的 API 密钥。
base_url	Optional[Union[str, httpx.URL]]	None	用于向服务发出 API 请求的基本 URL。
timeout	Optional[int]	None	请求的超时时长，以秒为单位。
max_retries	Optional[int]	None	失败请求的最大重试次数。
default_headers	Optional[Any]	None	要包含在所有 API 请求中的默认标头。
default_query	Optional[Any]	None	要包含在所有 API 请求中的默认查询参数。
http_client	Optional[httpx.Client]	None	用于发出 API 请求的自定义 HTTP 客户端。
client_params	Optional[Dict[str, Any]]	None	客户端配置的附加参数。
client	Optional[GroqClient]	None	为进行 API 请求提供的 GroqClient 实例。
async_client	Optional[AsyncGroqClient]	None	为进行异步 API 请求提供的 AsyncGroqClient 实例。

Groq 是 Model 类的子类，可以访问相同的参数。