Mistral 是一个为大型语言模型提供端点的平台。 在此处查看其模型库:here

我们建议进行实验,以找到最适合您用例的模型。以下是一些通用建议:

  • codestral 模型适用于代码生成和编辑。
  • mistral-large-latest 模型适用于大多数用例。
  • open-mistral-nemo 是一个免费模型,适用于大多数用例。
  • pixtral-12b-2409 是一个视觉模型,适用于 OCR、文档转录和图像比较。它不一定擅长工具调用。

Mistral 有基于层级的速率限制。请参阅 docs 了解更多信息。

Authentication

设置您的 MISTRAL_API_KEY 环境变量。在此处获取您的密钥:here

export MISTRAL_API_KEY=***

Example

在您的 Agent 中使用 Mistral

import os

from agno.agent import Agent, RunResponse
from agno.models.mistral import MistralChat

mistral_api_key = os.getenv("MISTRAL_API_KEY")

agent = Agent(
    model=MistralChat(
        id="mistral-large-latest",
        api_key=mistral_api_key,
    ),
    markdown=True
)

# 在终端打印响应
agent.print_response("Share a 2 sentence horror story.")

在此处查看更多示例:here

Params

参数类型默认值描述
idstr"mistral-large-latest"模型的 ID。
namestr"MistralChat"模型的名称。
providerstr"Mistral"模型的提供商。
temperatureOptional[float]None控制输出生成的随机性。
max_tokensOptional[int]None要生成的最大 token 数。
top_pOptional[float]None控制输出生成的多样性。
random_seedOptional[int]None随机数生成的种子。
safe_modeboolFalse启用内容过滤。
safe_promptboolFalse对提示应用内容过滤。
response_formatOptional[Union[Dict[str, Any], ChatCompletionResponse]]None指定所需的响应格式。
request_paramsOptional[Dict[str, Any]]None附加的请求参数。
api_keyOptional[str]None您的 Mistral API 密钥。
endpointOptional[str]None自定义 API 端点 URL。
max_retriesOptional[int]NoneAPI 调用最大重试次数。
timeoutOptional[int]NoneAPI 调用超时(秒)。
client_paramsOptional[Dict[str, Any]]None附加的客户端参数。
mistral_clientOptional[MistralClient]None自定义的 Mistral 客户端实例。
storeOptional[bool]None是否存储此聊天补全请求的输出,用于模型蒸馏或 evals 产品。
frequency_penaltyOptional[float]None-2.0 到 2.0 之间的数字。正值会根据新 token 在文本中已存在的频率进行惩罚,降低模型逐字重复相同行的可能性。
logit_biasOptional[Any]None一个 JSON 对象,通过将 token ID 映射到 -100 到 100 之间的偏差值来修改指定 token 在补全中出现的可能性。
logprobsOptional[bool]None是否返回输出 token 的 log 概率。
presence_penaltyOptional[float]None-2.0 到 2.0 之间的数字。正值会根据新 token 是否出现在文本中的情况进行惩罚,增加模型讨论新话题的可能性。
stopOptional[Union[str, List[str]]]None最多 4 个序列,API 将在这些序列处停止生成后续 token。
top_logprobsOptional[int]None为每个生成的 token 返回的 top log 概率的数量。
userOptional[str]None代表您的最终用户的唯一标识符,有助于监控和检测滥用行为。

MistralChatModel 类的子类,可以访问相同的参数。