- 我们建议将
meta-llama/llama-3-3-70b-instruct用于通用任务 - 我们建议将
ibm/granite-20b-code-instruct用于代码相关任务 - 我们建议将
meta-llama/llama-3-2-11b-vision-instruct用于图像理解
多模态支持
通过 WatsonX,我们支持Image(图像)作为输入
身份验证
设置您的IBM_WATSONX_API_KEY 和 IBM_WATSONX_PROJECT_ID 环境变量。从 IBM Cloud 获取您的凭据。
您也可以设置 IBM_WATSONX_URL 环境变量为要使用的 WatsonX API 的 URL。它默认为 https://eu-de.ml.cloud.ibm.com。
示例
在您的Agent 中使用 WatsonX:
在此处查看更多示例:../examples/models/ibm
参数
参数
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
| id | str | "ibm/granite-20b-code-instruct" | 要使用的模型 ID |
| frequency_penalty | float | None | 对频繁使用的 token 的惩罚。较高的值会抑制重复 |
| presence_penalty | float | None | 对文本中已存在的 token 的惩罚。较高的值会鼓励新话题 |
| max_tokens | int | None | 响应中要生成的最大 token 数 |
| temperature | float | None | 控制响应的随机性。较高的值使输出更随机 |
| top_p | float | None | 通过核心采样控制响应的多样性 |
| logprobs | int | None | 要返回的对数概率的数量 |
| top_logprobs | int | None | 要为之返回对数概率的最有可能的 token 数量 |
| response_format | Any | None | 响应的格式规范 |
| api_key | str | None | IBM WatsonX API 密钥 |
| project_id | str | None | IBM WatsonX 项目 ID |
| url | str | "https://eu-de.ml.cloud.ibm.com" | IBM WatsonX API 端点 URL |
| verify | bool | True | 是否验证 SSL 证书 |
| client_params | Dict[str, Any] | None | 要传递给客户端的其他参数 |
WatsonX 是 Model 类 的子类,可以访问相同的参数。