HuggingFace

HuggingFace 模型提供对托管在 HuggingFace Hub 上的模型的访问。

参数	类型	默认值	描述
id	str	"meta-llama/Meta-Llama-3-8B-Instruct"	要使用的 HuggingFace 模型 ID。
name	str	"HuggingFace"	此聊天模型实例的名称。
provider	str	"HuggingFace"	模型的提供者。
store	Optional[bool]	None	是否存储此聊天完成请求的输出，供模型蒸馏或评估产品使用。
frequency_penalty	Optional[float]	None	根据新标记在文本中出现的频率来惩罚它们。
logit_bias	Optional[Any]	None	修改指定标记在补全中出现的可能性。
logprobs	Optional[bool]	None	在 logprobs 最可能的标记上包含日志概率。
max_tokens	Optional[int]	None	在聊天完成中生成的最大标记数。
presence_penalty	Optional[float]	None	根据新标记在文本中是否出现来惩罚它们。
response_format	Optional[Any]	None	一个指定模型必须输出的格式的对象。
seed	Optional[int]	None	用于确定性采样的种子。
stop	Optional[Union[str, List[str]]]	None	最多 4 个序列，API 将在此停止生成后续标记。
temperature	Optional[float]	None	控制模型输出的随机性。
top_logprobs	Optional[int]	None	为每个标记返回多少个日志概率结果。
top_p	Optional[float]	None	通过核采样控制多样性。
request_params	Optional[Dict[str, Any]]	None	要包含在请求中的附加参数。
api_key	Optional[str]	None	用于与 HuggingFace 进行身份验证的访问令牌。
base_url	Optional[Union[str, httpx.URL]]	None	API 请求的基准 URL。
timeout	Optional[float]	None	API 请求的超时时间。
max_retries	Optional[int]	None	失败请求的最大重试次数。
default_headers	Optional[Any]	None	要包含在所有请求中的默认标头。
default_query	Optional[Any]	None	要包含在所有请求中的默认查询参数。
http_client	Optional[httpx.Client]	None	一个可选的预配置 HTTP 客户端。
client_params	Optional[Dict[str, Any]]	None	客户端配置的附加参数。
client	Optional[InferenceClient]	None	HuggingFace Hub 推理客户端实例。
async_client	Optional[AsyncInferenceClient]	None	异步 HuggingFace Hub 客户端实例。