了解如何在 Agno 中使用 HuggingFace 模型。
Hugging Face 提供了一系列尖端的语言模型,可满足各种自然语言处理任务的需求, 包括文本生成、文本摘要、翻译和问答。 这些模型可通过 Hugging Face Transformers 库获得,因其易用性、灵活性和全面的文档而得到广泛采用。
在此处 探索 HuggingFace 的语言模型。
设置您的 HF_TOKEN
环境变量。您可以在 此处从 HuggingFace 获取。
将 HuggingFace
与您的 Agent
一起使用:
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
id | str | "meta-llama/Meta-Llama-3-8B-Instruct" | 要使用的 HuggingFace 模型 ID。 |
name | str | "HuggingFace" | 此聊天模型实例的名称。 |
provider | str | "HuggingFace" | 模型的提供者。 |
store | Optional[bool] | None | 是否存储此聊天完成请求的输出,供模型蒸馏或评估产品使用。 |
frequency_penalty | Optional[float] | None | 根据新标记在文本中出现的频率来惩罚它们。 |
logit_bias | Optional[Any] | None | 修改指定标记在补全中出现的可能性。 |
logprobs | Optional[bool] | None | 在 logprobs 最可能的标记上包含日志概率。 |
max_tokens | Optional[int] | None | 在聊天完成中生成的最大标记数。 |
presence_penalty | Optional[float] | None | 根据新标记在文本中是否出现来惩罚它们。 |
response_format | Optional[Any] | None | 一个指定模型必须输出的格式的对象。 |
seed | Optional[int] | None | 用于确定性采样的种子。 |
stop | Optional[Union[str, List[str]]] | None | 最多 4 个序列,API 将在此停止生成后续标记。 |
temperature | Optional[float] | None | 控制模型输出的随机性。 |
top_logprobs | Optional[int] | None | 为每个标记返回多少个日志概率结果。 |
top_p | Optional[float] | None | 通过核采样控制多样性。 |
request_params | Optional[Dict[str, Any]] | None | 要包含在请求中的附加参数。 |
api_key | Optional[str] | None | 用于与 HuggingFace 进行身份验证的访问令牌。 |
base_url | Optional[Union[str, httpx.URL]] | None | API 请求的基准 URL。 |
timeout | Optional[float] | None | API 请求的超时时间。 |
max_retries | Optional[int] | None | 失败请求的最大重试次数。 |
default_headers | Optional[Any] | None | 要包含在所有请求中的默认标头。 |
default_query | Optional[Any] | None | 要包含在所有请求中的默认查询参数。 |
http_client | Optional[httpx.Client] | None | 一个可选的预配置 HTTP 客户端。 |
client_params | Optional[Dict[str, Any]] | None | 客户端配置的附加参数。 |
client | Optional[InferenceClient] | None | HuggingFace Hub 推理客户端实例。 |
async_client | Optional[AsyncInferenceClient] | None | 异步 HuggingFace Hub 客户端实例。 |
HuggingFace
是 Model 类的子类,可以访问相同的参数。