DeepInfra 模型提供对 DeepInfra 托管语言模型的访问。
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
id | str | "meta-llama/Llama-2-70b-chat-hf" | 用于生成响应的特定模型 ID。 |
name | str | "DeepInfra" | DeepInfra 代理的名称标识符。 |
provider | str | "DeepInfra" + id | 模型提供商,结合了 "DeepInfra" 和模型 ID。 |
api_key | Optional[str] | - | 用于认证 DeepInfra 服务请求的 API 密钥。从环境变量 DEEPINFRA_API_KEY 中检索。 |
base_url | str | "https://api.deepinfra.com/v1/openai" | 向 DeepInfra 服务发起 API 请求的基 URL。 |