?本文介紹了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速響應(yīng)。

每個人都致力于構(gòu)建更好的大語言模型(LLM)，而Groq專注于AI的基礎(chǔ)設(shè)施方面，旨在確保這些大模型更快速響應(yīng)。

本教程將介紹Groq LPU推理引擎以及如何在筆記本電腦上使用API和Jan AI本地訪問它。本文還將把它整合到VSCode中，以幫助我們生成代碼、重構(gòu)代碼、記入文檔并生成測試單元。本文將免費創(chuàng)建我們自己的人工智能編程助手。

Groq LPU推理引擎簡介

Groq LPU(語言處理單元)推理引擎旨在為擁有順序組件的計算密集型應(yīng)用程序(比如LLM)生成快速響應(yīng)。

與CPU和GPU相比，LPU擁有更強大的算力，這減少了預(yù)測單詞所需的時間，大大加快了生成文本序列的速度。此外，與GPU相比，LPU還可以處理內(nèi)存瓶頸，從而在LLM上提供更好的性能。

簡而言之，Groq LPU技術(shù)使你的LLM超級快速，實現(xiàn)實時AI應(yīng)用。不妨閱讀Groq ISCA 2022論文(https://wow.groq.com/isca-2022-paper/)，以了解關(guān)于LPU架構(gòu)的詳細信息。

安裝Jan AI

Jan AI是一個桌面應(yīng)用程序，在本地運行開源和專有的大語言模型。它提供Linux、macOS和Windows版本供人下載。我們將下載Jan AI并安裝在Windows中，為此進入到https://github.com/janhq/jan/releases，點擊擴展名為“.exe”的文件。

如果你想在本地使用LLM以增強隱私，請閱讀《在筆記本電腦上使用LLM的5種方法》博文(https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop)，開始使用最先進的開源語言模型。

創(chuàng)建Groq Cloud API

要在Jan AI中使用Grog Llama 3，我們需要一個API。為此，我們將進入到https://console.groq.com/，創(chuàng)建一個Groq Cloud帳戶。

如果你想要測試Groq提供的各種模型，無需任何設(shè)置就能做到這一點，只需進入到Playground選項卡，選擇模型，并添加用戶輸入。

在本文這個例子中，它非?？欤棵肷?10個token，這是我迄今見過的最快速度。連Azure AI或OpenAI也無法獲得這種類型的結(jié)果。

要生成API密鑰，點擊左側(cè)面板上的“API密鑰”按鈕，然后點擊“創(chuàng)建API密鑰”按鈕，創(chuàng)建并復(fù)制API密鑰。

在Jan AI中使用Groq

在下一步中，我們將把Groq Cloud API密鑰粘貼到Jan AI應(yīng)用程序中。

啟動Jan AI應(yīng)用程序，進入到設(shè)置，在擴展部分選擇“Groq推理引擎”選項，并添加API密鑰。

然后，返回到線程窗口。在模型部分，在“Remote”部分選擇Groq Llama 370B，開始輸入提示。

響應(yīng)生成的速度太快了，我都跟不上了。

注意：該API的免費版本有一些限制。請訪問https://console.groq.com/settings/limits，了解有關(guān)它們的更多信息。

在VSCode中使用Groq

接下來，我們將嘗試將相同的API密鑰粘貼到CodeGPT VSCode擴展中，并構(gòu)建自己的免費AI編程助手。

在擴展選項卡中搜索CodeGPT擴展，安裝它。

CodeGPT選項卡將出現(xiàn)，以便你選擇模型提供方。

當(dāng)你選擇Groq作為模型提供方時，它將要求你提供API密鑰。只需粘貼相同的API密鑰，我們就可以開始了。你甚至可以為CodeGPT生成另一個API密鑰。

現(xiàn)在我們將要求它為蛇游戲編寫代碼。生成并運行代碼只花了10秒鐘。

下面演示了我們的蛇游戲。

不妨了解五大AI編程助手(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)，成為AI驅(qū)動的開發(fā)人員和數(shù)據(jù)科學(xué)家。記住，人工智能旨在幫助我們，而不是取代我們，所以不妨對它持開放的心態(tài)，用它來提高代碼編寫水平。

結(jié)論

我們在本教程中了解了Groq推理引擎以及如何使用Jan AI Windows應(yīng)用程序在本地訪問它。最后，我們通過使用CodeGPT VSCode擴展，將其整合到我們的工作流中，這真是太棒了。它實時生成響應(yīng)，以獲得更好的開發(fā)體驗。

原文標(biāo)題：Using Groq Llama 3 70B Locally: Step by Step Guide，作者：Abid Ali Awan

鏈接：

https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step-by-step-guide。