使用LM Studio在本地運(yùn)行LLM完整教程
GPT-4被普遍認(rèn)為是最好的生成式AI聊天機(jī)器人，但開源模型一直在變得越來越好，并且通過微調(diào)在某些特定領(lǐng)域是可以超過GPT4的。在開源類別中，出于以下的原因，你可能會(huì)考慮過在本地計(jì)算機(jī)上本地運(yùn)行LLM ：
- 脫機(jī):不需要互聯(lián)網(wǎng)連接。
- 模型訪問:在本地運(yùn)行模型，可以嘗試開源模型(Llama 2、Vicuna、Mistral、OpenOrca等等)。
- 隱私:當(dāng)在本地運(yùn)行模型時(shí)，沒有信息被傳輸?shù)皆啤１M管在使用GPT-4、Bard和claude 2等基于云的模型時(shí)，隱私問題可能被夸大了，但在本地運(yùn)行模型可以避免任何問題。
- 實(shí)驗(yàn):如果你看到了生成人工智能的價(jià)值，可以通過測(cè)試了解模型的細(xì)節(jié)并知道還有什么可用。
- 成本:開源模型是免費(fèi)的，其中一些可以不受限制地用于商業(yè)。
對(duì)許多人來說，運(yùn)行本地LLM需要一點(diǎn)計(jì)算機(jī)知識(shí)，因?yàn)樗ǔＰ枰诿钐崾痉羞\(yùn)行它們，或者使用更復(fù)雜的web工具，如Oobabooga。
LM Studio是一個(gè)免費(fèi)的桌面軟件工具，它使得安裝和使用開源LLM模型非常容易。
但是請(qǐng)記住，LM Studio并不開源，只是免費(fèi)使用
但是LM Studio是我目前見到最好用，也是最簡(jiǎn)單的本地測(cè)試工具，所以如果是本機(jī)測(cè)試使用的話還是推薦試一試他。
首先進(jìn)入“l(fā)mstudio.ai”，下載并安裝適合操作系統(tǒng)的版本:
LM Studio，選擇要安裝的LLM。
可以通過選擇主窗口中列出的社區(qū)建議模型之一來實(shí)現(xiàn)進(jìn)行，也可以使用HuggingFace上可用的任何模型的搜索欄查找關(guān)鍵字。
模型搜索列表中可以看到安裝/下載文件的大小。請(qǐng)確保下載的大小沒有問題。（國內(nèi)需要魔法）
在屏幕左上角的發(fā)布日期欄，是“compatibility guess”。LM Studio已經(jīng)檢查了本地系統(tǒng)，并展示它認(rèn)為可以在計(jì)算機(jī)上運(yùn)行的那些模型。要查看所有模型，點(diǎn)擊“compatibility guess”(#1)。點(diǎn)擊左邊的一個(gè)模型，右邊就會(huì)顯示可用的版本，并顯示那些根據(jù)你的電腦規(guī)格應(yīng)該可以工作的模型(#2)。見下圖:
根據(jù)計(jì)算機(jī)的能力/速度，較大的模型將更準(zhǔn)確，但速度較慢。并且這個(gè)鞋模型中的大多數(shù)都是量化的，包含了GGML和GGUF等格式。（具體這些格式可以參考我們以前的文章）
模型下載完成后，(1)在窗口頂部的下拉菜單中選擇模型;(2)選擇左側(cè)欄中的聊天氣泡;(3)打開右側(cè)的“Context Overflow Policy”和“Chat Appearance”。
確保在“Context Overflow Policy”下選擇“Maintain a rolling window and truncate past messages”，并在“Chat Appearance”下選擇“Plaintext”。
打開“Model Configuration”，然后打開“Prompt Format”，向下滾動(dòng)到“Pre-prompt / System prompt”，選擇“>”符號(hào)打開。可以在這里輸入系統(tǒng)“role”。也就是說可以設(shè)定希望機(jī)器人如何行動(dòng)，以及在它的回答中應(yīng)該提供什么“技能”或其他特定的品質(zhì)。這與ChatGPT Plus帳戶的“Custom instructions”相同。
繼續(xù)向下滾動(dòng)，找到“Hardware Settings”。默認(rèn)設(shè)置是計(jì)算機(jī)的CPU完成所有工作，但如果安裝了GPU，將在這里看到它。如果GPU顯存不夠，可以將GPU想要處理多少層(從10-20開始)這會(huì)將一部分層使用GPU處理，這與llama.cpp的參數(shù)是一樣的。還可以選擇增加LLM使用的CPU線程數(shù)。默認(rèn)值是4。這個(gè)也是需要根據(jù)本地計(jì)算機(jī)進(jìn)行設(shè)置。
完成這些更改后，就可以使用本地LLM了。只需在“USER”字段中輸入查詢，LLM將響應(yīng)為“AI”。
可以看到LM Studio提供了極好的體驗(yàn)，為ChatGPT提供了一個(gè)很好的本地替代方案。LM Studio提供了一種使用OpenAI兼容接口來提供模型的方便方法，這簡(jiǎn)化了與使用OpenAI作為后端的客戶端的集成。
如果你正在尋找一種快速簡(jiǎn)便的方法來設(shè)置和使用具有不同開源模型的聊天或服務(wù)器供個(gè)人使用，LM Studio是一個(gè)很好的起點(diǎn)。
