本地使用Groq Llama 3 70B的逐步指南
譯文
譯者 | 布加迪
審校 | 重樓
本文介紹了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速響應(yīng)。
每個人都致力于構(gòu)建更好的大語言模型(LLM)，而Groq專注于AI的基礎(chǔ)設(shè)施方面，旨在確保這些大模型更快速響應(yīng)。
本教程將介紹Groq LPU推理引擎以及如何在筆記本電腦上使用API和Jan AI本地訪問它。本文還將把它整合到VSCode中，以幫助我們生成代碼、重構(gòu)代碼、記入文檔并生成測試單元。本文將免費(fèi)創(chuàng)建我們自己的人工智能編程助手。
Groq LPU推理引擎簡介
Groq LPU(語言處理單元)推理引擎旨在為擁有順序組件的計算密集型應(yīng)用程序(比如LLM)生成快速響應(yīng)。
與CPU和GPU相比，LPU擁有更強(qiáng)大的算力，這減少了預(yù)測單詞所需的時間，大大加快了生成文本序列的速度。此外，與GPU相比，LPU還可以處理內(nèi)存瓶頸，從而在LLM上提供更好的性能。
簡而言之，Groq LPU技術(shù)使你的LLM超級快速，實(shí)現(xiàn)實(shí)時AI應(yīng)用。不妨閱讀Groq ISCA 2022論文(https://wow.groq.com/isca-2022-paper/)，以了解關(guān)于LPU架構(gòu)的詳細(xì)信息。
安裝Jan AI
Jan AI是一個桌面應(yīng)用程序，在本地運(yùn)行開源和專有的大語言模型。它提供Linux、macOS和Windows版本供人下載。我們將下載Jan AI并安裝在Windows中，為此進(jìn)入到https://github.com/janhq/jan/releases，點(diǎn)擊擴(kuò)展名為“.exe”的文件。
如果你想在本地使用LLM以增強(qiáng)隱私，請閱讀《在筆記本電腦上使用LLM的5種方法》博文(https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop)，開始使用最先進(jìn)的開源語言模型。
創(chuàng)建Groq Cloud API
要在Jan AI中使用Grog Llama 3，我們需要一個API。為此，我們將進(jìn)入到https://console.groq.com/，創(chuàng)建一個Groq Cloud帳戶。
如果你想要測試Groq提供的各種模型，無需任何設(shè)置就能做到這一點(diǎn)，只需進(jìn)入到Playground選項(xiàng)卡，選擇模型，并添加用戶輸入。
在本文這個例子中，它非?？?，每秒生成310個token，這是我迄今見過的最快速度。連Azure AI或OpenAI也無法獲得這種類型的結(jié)果。
要生成API密鑰，點(diǎn)擊左側(cè)面板上的“API密鑰”按鈕，然后點(diǎn)擊“創(chuàng)建API密鑰”按鈕，創(chuàng)建并復(fù)制API密鑰。
在Jan AI中使用Groq
在下一步中，我們將把Groq Cloud API密鑰粘貼到Jan AI應(yīng)用程序中。
啟動Jan AI應(yīng)用程序，進(jìn)入到設(shè)置，在擴(kuò)展部分選擇“Groq推理引擎”選項(xiàng)，并添加API密鑰。
然后，返回到線程窗口。在模型部分，在“Remote”部分選擇Groq Llama 370B，開始輸入提示。
響應(yīng)生成的速度太快了，我都跟不上了。
注意：該API的免費(fèi)版本有一些限制。請訪問https://console.groq.com/settings/limits，了解有關(guān)它們的更多信息。
在VSCode中使用Groq
接下來，我們將嘗試將相同的API密鑰粘貼到CodeGPT VSCode擴(kuò)展中，并構(gòu)建自己的免費(fèi)AI編程助手。
在擴(kuò)展選項(xiàng)卡中搜索CodeGPT擴(kuò)展，安裝它。
CodeGPT選項(xiàng)卡將出現(xiàn)，以便你選擇模型提供方。
當(dāng)你選擇Groq作為模型提供方時，它將要求你提供API密鑰。只需粘貼相同的API密鑰，我們就可以開始了。你甚至可以為CodeGPT生成另一個API密鑰。
現(xiàn)在我們將要求它為蛇游戲編寫代碼。生成并運(yùn)行代碼只花了10秒鐘。
下面演示了我們的蛇游戲。
不妨了解五大AI編程助手(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)，成為AI驅(qū)動的開發(fā)人員和數(shù)據(jù)科學(xué)家。記住，人工智能旨在幫助我們，而不是取代我們，所以不妨對它持開放的心態(tài)，用它來提高代碼編寫水平。
結(jié)論
我們在本教程中了解了Groq推理引擎以及如何使用Jan AI Windows應(yīng)用程序在本地訪問它。最后，我們通過使用CodeGPT VSCode擴(kuò)展，將其整合到我們的工作流中，這真是太棒了。它實(shí)時生成響應(yīng)，以獲得更好的開發(fā)體驗(yàn)。
原文標(biāo)題：Using Groq Llama 3 70B Locally: Step by Step Guide，作者：Abid Ali Awan
鏈接：https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step-by-step-guide。
