足交 LLM之LM studio：LM studio的简介、装配和使用门径、案例应用之详备攻略

发布日期：2025-03-18 03:30    点击次数：65

LM Studio的简介

图片

LM Studio的标语是发现、下载并运行腹地 LLMs。LM Studio 是一款桌面应用要领，可在您的打算机上运行腹地大型话语模子（LLMs）。

官网：LM Studio - Discover， download， and run local LLMs

文档：Welcome | LM Studio

1、使用LM Studio的特质

>> 在条记本电脑上运行llm，十足脱机>> 通过应用内聊天界面或OpenAI兼容的腹地行状器使用模子>> 从HuggingFace���存储库下载任何兼容的模子文献>> 在应用要领的主页上发现新的和值得注重的法学硕士

LM Studio复旧HuggingFace上的任何ggml Llama， MPT和StarCoder模子(Llama 2， Orca， Vicuna， Nous Hermes， WizardCoder， MPT等)

清纯唯美激情2、复旧的平台：最低硬件/软件条目

M1/M2/M3 Mac，或复旧AVX2科罚器的Windows PC。Linux有测试版。提倡至少 16GB 的 RAM。对于 PC，提倡至少 6GB 的 VRAM。复旧 NVIDIA/AMD GPU。>> Windows (x86， x64， AVX2)：领有复旧 AVX2 的科罚器（闲居是较新的 PC）的 Windows>> macOS (Apple Silicon - M1/M2/M3)：搭载 macOS 13.6 或更新版块的 Apple Silicon Mac（M1/M2/M3）。>> Linux (x86， Ubuntu 22.04， AVX2)：领有复旧 AVX2 的科罚器（闲居是较新的 PC）的Linux PC

LM Studio的装配和使用门径

下载地址：LM Studio - Discover， download， and run local LLMs

Linux地址：https://releases.lmstudio.ai/linux/0.2.18/beta/LM_Studio-0.2.18.AppImage

Windows：https://releases.lmstudio.ai/windows/0.2.18-a/latest/LM-Studio-0.2.18-Setup.exe

>> LM Studio 行状器：先容了怎样使用 LM Studio 中的腹地行状器通过 API 来加载和运行腹地 LLM，并提供了对于请乞降反应形势的信息以及怎样进行揣度苦求的示例。>> 文本镶嵌：先容了文本镶嵌的观念，以及怎样使用 LM Studio 的镶嵌行状器来生成文本镶嵌。还提供了对于请乞降反应形势的信息以及怎样获得文本镶嵌的示例请乞降反应。

1、LM Studio 行状器：通过运行在 localhost 上的 OpenAI 作风的 HTTP 行状器使用腹地 LLM

源文地址：Local LLM Server | LM Studio

您不错通过在腹田主机上运行的 API 行状器使用您在 LM Studio 中加载的 LLM。请乞降反应革职 OpenAI 的 API 形势。将现时使用 OpenAI 的任何代码指向 localhost:PORT 以使用腹地 LLM。

复旧的端点

GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions

其中，POST /v1/embeddings 是 LM Studio 0.2.19 中的新功能。在此处阅读相关它的信息。

使用腹地行状器

第1步，如若尚未装配 LM Studio，致敬装它。从 https://lmstudio.ai 获得应用要领装配要领。第2步，从应用要领中搜索并下载 LLM，举例 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上约 4GB）第3步，转到腹地行状器选项卡（<- 在左侧）第4步，通过从下拉菜单中聘请它来加载您下载的任何 LLM。第5步，通过单击绿色的“启动行状器”按钮来启动行状器。

您的 LM Studio 面前已准备好摄取传入的 API 苦求。您不错安全地最小化应用要领；行状器将无间运行。

查验现时加载的模子

curl http://localhost:1234/v1/models

反应（革职 OpenAI 的形势）

不才述情况下，TheBloke/phi-2-GGUF 和 lmstudio-ai/gemma-2b-it-GGUF 齐已加载。

{
  "data": [
    {
      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf"，
      "object": "model"，
      "owned_by": "organization-owner"，
      "permission": [
        {}
      ]
    }，
    {
      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf"，
      "object": "model"，
      "owned_by": "organization-owner"，
      "permission": [
        {}
      ]
    }
  ]，
  "object": "list"
}%

进行揣度苦求（使用 OpenAI 的“Chat Completions”形势）

在此示例中，腹地行状器运行在端口 1234 上。您不错在应用要领中的行状器适度栏中转换它。第1步，大开您的末端（在 Windows 上尝试 Git Bash）第2步，复制并运行以下苦求

curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d '{ 
  "messages": [ 
    { "role": "system"， "content": "You are a helpful coding assistant." }，
    { "role": "user"， "content": "How do I init and update a git submodule?" }
  ]， 
  "temperature": 0.7， 
  "max_tokens": -1，
  "stream": true
}'

复旧的灵验负载参数

相关每个参数的评释，请参阅 https://platform.openai.com/docs/api-reference/chat/create

model
top_p
top_k
messages
temperature
max_tokens
stream
stop
presence_penalty
frequency_penalty
logit_bias
repeat_penalty
seed

2、文本镶嵌：使用 LM Studio 的镶嵌行状器腹地生成文本镶嵌（适用于 RAG 应用要领）

注重：文本镶嵌处于测试版。从这里下载复旧它的 LM Studio。请在 LM Studio Discord 上论说任何伪善/反馈。

文本镶嵌是将文本暗示为数字向量的一种门径。镶嵌时常在检索增强生成（RAG）应用要领中使用。无间阅读了解怎样使用 LM Studio 的镶嵌行状器十足腹地生成文本镶嵌。

从 LM Studio 的腹地行状器获得文本镶嵌

从版块 0.2.19 初始，LM Studio 包括一个文本镶嵌端点，允许您生成镶嵌。请乞降反应形势革职 OpenAI 的 API 形势。在此处阅读相关它的信息。示例用途包括 RAG 应用要领、代码搜索应用要领以及任何需要文本镶嵌的应用要领。

图片

怎样

需要 LM Studio 0.2.19 或更新版块。从 lmstudio.ai/beta-releases.html 下载测试版。第1步，转到腹地行状器选项卡（<- 在左侧）并启动行状器。第2步，通过聘请它从镶嵌模子树立下拉菜单中聘请一个文本镶嵌模子来加载它。第3步，应用 POST /v1/embeddings 端点获得您文本的镶嵌。

示例苦求：

假定行状器正在端口 1234 上监听复旧的输入类型是字符串和字符串数组（字符串数组）

curl http://localhost:1234/v1/embeddings   -H "Content-Type: application/json"   -d '{
    "input": "Your text string goes here"，
    "model": "model-identifier-here"
  }'

示例复兴：

{
  "object": "list"，
  "data": [
    {
      "object": "embedding"，
      "embedding": [
        -0.005118194036185741，
        -0.05910402536392212，
        ... truncated ...
        -0.02389773353934288
      ]，
      "index": 0
    }
  ]，
  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf"，
  "usage": {
    "prompt_tokens": 0， 
    "total_tokens": 0
  }
}

可用的镶嵌模子是哪些？

任何 GGUF 形势的 BERT 模子齐应该不错使用。如若遭受问题，请在 LM Studio Discord 上论说伪善。

特色模子：

nomic-embed-text-v1.5bge-large-en-v1.5

通过 LM Studio 内置的模子下载器搜索并下载这些模子。

3、使用门径

图片

LM Studio的案例应用

抓续更新中……

LLMs之Llama3：手把手教你(只需三步)已矣Llama3模子腹地部署并对话测试—基于LM Studio的GUI界面径直对话聊天或进一步连续Lobe Chat框架(更优雅的已矣访佛ChatGPT聊天+包括丰富Agent扮装商场)

https://yunyaniu.blog.csdn.net/article/details/138203821足交

本站仅提供存储行状，总计执行均由用户发布，如发现存害或侵权执行，请点击举报。