HuggingFace

了解如何在 Agno 中使用 HuggingFace 模型。

Hugging Face 提供了一系列尖端的语言模型，可满足各种自然语言处理任务的需求， 包括文本生成、文本摘要、翻译和问答。 这些模型可通过 Hugging Face Transformers 库获得，因其易用性、灵活性和全面的文档而得到广泛采用。

在此处 探索 HuggingFace 的语言模型。

认证

设置您的 HF_TOKEN 环境变量。您可以在 此处从 HuggingFace 获取。

Mac

export HF_TOKEN=***

示例

将 HuggingFace 与您的 Agent 一起使用：

agent.py

from agno.agent import Agent, RunResponse
from agno.models.huggingface import HuggingFace

agent = Agent(
    model=HuggingFace(
        id="meta-llama/Meta-Llama-3-8B-Instruct",
        max_tokens=4096,
    ),
    markdown=True
)

# Print the response on the terminal
agent.print_response("Share a 2 sentence horror story.")

在此处 查看更多示例。

参数

参数	类型	默认值	描述
id	str	"meta-llama/Meta-Llama-3-8B-Instruct"	要使用的 HuggingFace 模型 ID。
name	str	"HuggingFace"	此聊天模型实例的名称。
provider	str	"HuggingFace"	模型的提供者。
store	Optional[bool]	None	是否存储此聊天完成请求的输出，供模型蒸馏或评估产品使用。
frequency_penalty	Optional[float]	None	根据新标记在文本中出现的频率来惩罚它们。
logit_bias	Optional[Any]	None	修改指定标记在补全中出现的可能性。
logprobs	Optional[bool]	None	在 logprobs 最可能的标记上包含日志概率。
max_tokens	Optional[int]	None	在聊天完成中生成的最大标记数。
presence_penalty	Optional[float]	None	根据新标记在文本中是否出现来惩罚它们。
response_format	Optional[Any]	None	一个指定模型必须输出的格式的对象。
seed	Optional[int]	None	用于确定性采样的种子。
stop	Optional[Union[str, List[str]]]	None	最多 4 个序列，API 将在此停止生成后续标记。
temperature	Optional[float]	None	控制模型输出的随机性。
top_logprobs	Optional[int]	None	为每个标记返回多少个日志概率结果。
top_p	Optional[float]	None	通过核采样控制多样性。
request_params	Optional[Dict[str, Any]]	None	要包含在请求中的附加参数。
api_key	Optional[str]	None	用于与 HuggingFace 进行身份验证的访问令牌。
base_url	Optional[Union[str, httpx.URL]]	None	API 请求的基准 URL。
timeout	Optional[float]	None	API 请求的超时时间。
max_retries	Optional[int]	None	失败请求的最大重试次数。
default_headers	Optional[Any]	None	要包含在所有请求中的默认标头。
default_query	Optional[Any]	None	要包含在所有请求中的默认查询参数。
http_client	Optional[httpx.Client]	None	一个可选的预配置 HTTP 客户端。
client_params	Optional[Dict[str, Any]]	None	客户端配置的附加参数。
client	Optional[InferenceClient]	None	HuggingFace Hub 推理客户端实例。
async_client	Optional[AsyncInferenceClient]	None	异步 HuggingFace Hub 客户端实例。

HuggingFace 是 Model 类的子类，可以访问相同的参数。