Ollama平替!LM Studio本地大模型调用实战

360影视 国产动漫 2025-04-26 22:16 2

摘要:在Mac或Linux系统,可用任意终端运行Windows系统用Git Bashcurl http://127.0.0.1:1234/v1/chat/completions \-H "Content-Type: application/json" \-d '{"

本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!

可像 Ollama 通过暴露本地端口,实现本地客户端调用。

1 选择模型

在 LM Studio 的 “开发者” 选项卡中选择模型:

2 端口暴露

设置暴露的端口(默认1234):

启用 CORS 后,可对接网页应用或其他客户端工具。

3 启动服务

点击状态选项卡:

curl http://127.0.0.1:1234/v1/models/

这也是验证服务器是否可访问的一种有效方法!

在Mac或Linux系统,可用任意终端运行Windows系统用Git Bashcurl http://127.0.0.1:1234/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "llama-4-maverick-17b-128e-instruct","messages": [ { "role": "system", "content": "Always answer in rhymes." },{ "role": "user", "content": "Introduce yourself." }], "temperature": 0.7, "max_tokens": -1,"stream": true}'

该调用是“无状态的”,即服务器不会保留对话历史记录。调用方有责任在每次调用时提供完整的对话历史记录。

来源:JavaEdge

相关推荐