DeepInfra 模型提供对 DeepInfra 托管语言模型的访问。

参数类型默认值描述
idstr"meta-llama/Llama-2-70b-chat-hf"用于生成响应的特定模型 ID。
namestr"DeepInfra"DeepInfra 代理的名称标识符。
providerstr"DeepInfra" + id模型提供商,结合了 "DeepInfra" 和模型 ID。
api_keyOptional[str]-用于认证 DeepInfra 服务请求的 API 密钥。从环境变量 DEEPINFRA_API_KEY 中检索。
base_urlstr"https://api.deepinfra.com/v1/openai"向 DeepInfra 服务发起 API 请求的基 URL。