使用 LM Studio 在本地运行大型语言模型

LM Studio 是一个在本地运行模型的绝佳工具。

LM Studio 支持多种开源模型。在此处查看模型库：LM Studio 模型库。

我们建议您进行实验，找到最适合您用例的模型。以下是一些通用建议：

  • llama3.3 模型适用于大多数基本用例。
  • qwen 模型在工具使用方面表现尤为出色。
  • deepseek-r1 模型具有强大的推理能力。
  • phi4 模型功能强大，同时体积非常小。

​
设置模型

安装 LM Studio，下载您想使用的模型，然后运行它。

​
示例

在本地拥有模型后，使用 LMStudio 模型类来访问它

from agno.agent import Agent, RunResponse
from agno.models.lmstudio import LMStudio

agent = Agent(
    model=LMStudio(id="qwen2.5-7b-instruct-1m"),
    markdown=True
)

# 在终端打印响应
agent.print_response("写一个两句话的恐怖故事。")
在此处查看更多示例：示例集。

​
参数

参数类型默认值描述
idstr"qwen2.5-7b-instruct-1m"要使用的 LM Studio 模型 ID。
namestr"LM Studio "此聊天模型实例的名称。
providerstr"LM Studio " + id模型提供商。
base_urlstr"http://127.0.0.1:1234/v1"API 请求的基 URL。

LM Studio 也支持 OpenAI 的参数。