了解如何在 Agno 中使用 Mistral 模型。
Mistral 是一个为大型语言模型提供端点的平台。 在此处查看其模型库:here。
我们建议进行实验,以找到最适合您用例的模型。以下是一些通用建议:
codestral
模型适用于代码生成和编辑。mistral-large-latest
模型适用于大多数用例。open-mistral-nemo
是一个免费模型,适用于大多数用例。pixtral-12b-2409
是一个视觉模型,适用于 OCR、文档转录和图像比较。它不一定擅长工具调用。Mistral 有基于层级的速率限制。请参阅 docs 了解更多信息。
设置您的 MISTRAL_API_KEY
环境变量。在此处获取您的密钥:here。
在您的 Agent
中使用 Mistral
:
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
id | str | "mistral-large-latest" | 模型的 ID。 |
name | str | "MistralChat" | 模型的名称。 |
provider | str | "Mistral" | 模型的提供商。 |
temperature | Optional[float] | None | 控制输出生成的随机性。 |
max_tokens | Optional[int] | None | 要生成的最大 token 数。 |
top_p | Optional[float] | None | 控制输出生成的多样性。 |
random_seed | Optional[int] | None | 随机数生成的种子。 |
safe_mode | bool | False | 启用内容过滤。 |
safe_prompt | bool | False | 对提示应用内容过滤。 |
response_format | Optional[Union[Dict[str, Any], ChatCompletionResponse]] | None | 指定所需的响应格式。 |
request_params | Optional[Dict[str, Any]] | None | 附加的请求参数。 |
api_key | Optional[str] | None | 您的 Mistral API 密钥。 |
endpoint | Optional[str] | None | 自定义 API 端点 URL。 |
max_retries | Optional[int] | None | API 调用最大重试次数。 |
timeout | Optional[int] | None | API 调用超时(秒)。 |
client_params | Optional[Dict[str, Any]] | None | 附加的客户端参数。 |
mistral_client | Optional[MistralClient] | None | 自定义的 Mistral 客户端实例。 |
store | Optional[bool] | None | 是否存储此聊天补全请求的输出,用于模型蒸馏或 evals 产品。 |
frequency_penalty | Optional[float] | None | -2.0 到 2.0 之间的数字。正值会根据新 token 在文本中已存在的频率进行惩罚,降低模型逐字重复相同行的可能性。 |
logit_bias | Optional[Any] | None | 一个 JSON 对象,通过将 token ID 映射到 -100 到 100 之间的偏差值来修改指定 token 在补全中出现的可能性。 |
logprobs | Optional[bool] | None | 是否返回输出 token 的 log 概率。 |
presence_penalty | Optional[float] | None | -2.0 到 2.0 之间的数字。正值会根据新 token 是否出现在文本中的情况进行惩罚,增加模型讨论新话题的可能性。 |
stop | Optional[Union[str, List[str]]] | None | 最多 4 个序列,API 将在这些序列处停止生成后续 token。 |
top_logprobs | Optional[int] | None | 为每个生成的 token 返回的 top log 概率的数量。 |
user | Optional[str] | None | 代表您的最终用户的唯一标识符,有助于监控和检测滥用行为。 |
MistralChat
是 Model 类的子类,可以访问相同的参数。