Hugging Face 提供了一系列尖端的语言模型,可满足各种自然语言处理任务的需求, 包括文本生成、文本摘要、翻译和问答。 这些模型可通过 Hugging Face Transformers 库获得,因其易用性、灵活性和全面的文档而得到广泛采用。

在此处 探索 HuggingFace 的语言模型

认证

设置您的 HF_TOKEN 环境变量。您可以在 此处从 HuggingFace 获取

export HF_TOKEN=***

示例

HuggingFace 与您的 Agent 一起使用:

from agno.agent import Agent, RunResponse
from agno.models.huggingface import HuggingFace

agent = Agent(
    model=HuggingFace(
        id="meta-llama/Meta-Llama-3-8B-Instruct",
        max_tokens=4096,
    ),
    markdown=True
)

# Print the response on the terminal
agent.print_response("Share a 2 sentence horror story.")
在此处 查看更多示例

参数

参数类型默认值描述
idstr"meta-llama/Meta-Llama-3-8B-Instruct"要使用的 HuggingFace 模型 ID。
namestr"HuggingFace"此聊天模型实例的名称。
providerstr"HuggingFace"模型的提供者。
storeOptional[bool]None是否存储此聊天完成请求的输出,供模型蒸馏或评估产品使用。
frequency_penaltyOptional[float]None根据新标记在文本中出现的频率来惩罚它们。
logit_biasOptional[Any]None修改指定标记在补全中出现的可能性。
logprobsOptional[bool]None在 logprobs 最可能的标记上包含日志概率。
max_tokensOptional[int]None在聊天完成中生成的最大标记数。
presence_penaltyOptional[float]None根据新标记在文本中是否出现来惩罚它们。
response_formatOptional[Any]None一个指定模型必须输出的格式的对象。
seedOptional[int]None用于确定性采样的种子。
stopOptional[Union[str, List[str]]]None最多 4 个序列,API 将在此停止生成后续标记。
temperatureOptional[float]None控制模型输出的随机性。
top_logprobsOptional[int]None为每个标记返回多少个日志概率结果。
top_pOptional[float]None通过核采样控制多样性。
request_paramsOptional[Dict[str, Any]]None要包含在请求中的附加参数。
api_keyOptional[str]None用于与 HuggingFace 进行身份验证的访问令牌。
base_urlOptional[Union[str, httpx.URL]]NoneAPI 请求的基准 URL。
timeoutOptional[float]NoneAPI 请求的超时时间。
max_retriesOptional[int]None失败请求的最大重试次数。
default_headersOptional[Any]None要包含在所有请求中的默认标头。
default_queryOptional[Any]None要包含在所有请求中的默认查询参数。
http_clientOptional[httpx.Client]None一个可选的预配置 HTTP 客户端。
client_paramsOptional[Dict[str, Any]]None客户端配置的附加参数。
clientOptional[InferenceClient]NoneHuggingFace Hub 推理客户端实例。
async_clientOptional[AsyncInferenceClient]None异步 HuggingFace Hub 客户端实例。

HuggingFaceModel 类的子类,可以访问相同的参数。