作者 | Agam Shah
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
開發(fā)者需要AI PC嗎？
目前，沒有理由勸開發(fā)人員購買一臺AI PC，利用其中新的AI處理器來編譯本地AI模型。
——AI PC 仍存在多個問題：硬件能力不足，模型不可用，開發(fā)工具部署起來頭疼。
我經(jīng)過幾個月的測試，試圖在所謂的搭載Windows 11和專用AI處理器的AI PC上，離線運(yùn)行本地LLM。這些筆記本包括搭載了英特爾和高通神經(jīng)處理器的芯片，專為AI設(shè)計(jì)。
微軟大肆宣傳其AI PC支持輕量級AI模型，如Meta的Llama 2和微軟的Phi Silica。
我嘗試將這些模型加載到PC上的過程非常令人沮喪，每一步都不順暢。首先是找到與高通和英特爾芯片中的神經(jīng)處理器兼容的輕量級模型，然后是加載Jupyter筆記本和運(yùn)行這些SLM所需的神經(jīng)網(wǎng)絡(luò)。
當(dāng)我成功運(yùn)行模型時，發(fā)現(xiàn)SLM并未使用專用的AI處理器，而是依賴于GPU或CPU。
1.PC廠商的人工智能炒作
微軟在今年的Build大會上宣布了Copilot+ PC。首批Co-Pilot PC配備了硬件，可以在設(shè)備上運(yùn)行推斷，避免了云端操作。
Copilot PC有一些最低要求，包括至少45 TOPS的最低AI性能要求。第一批搭載高通驍龍芯片的AI PC滿足了這一要求。
微軟CEO薩蒂亞·納德拉表示，公司已經(jīng)準(zhǔn)備了40多個模型，可以直接在Copilot+ PC上本地運(yùn)行。其中之一是Phi Silica，一個38億參數(shù)的SLM。
DirectML和ONNX運(yùn)行時允許用戶在Windows設(shè)備上運(yùn)行Phi-3模型，但高通芯片發(fā)布時還沒有準(zhǔn)備好。高通通過AI開發(fā)中心提供了其支持的AI模型清單。
早期嘗試加載Llama v2并不順利，對我而言沒有效果。我尋求了高通的幫助來加載模型，但沒有明確的結(jié)果。
使用高通推薦的工具創(chuàng)建Jupyter筆記本令人困惑，我無法手動加載任何AI模型。高通建議下載ONNX運(yùn)行時以利用NPUs，這也令人費(fèi)解。
最近，LMStudio為高通芯片提供了其AI軟件的版本。
我使用LMStudio加載了80億參數(shù)的Llama v3.1模型，但它只使用了驍龍CPU，沒有利用GPU或NPU。它每秒輸出17.34個token，但僅幾個查詢后內(nèi)存使用率就達(dá)到了87%。
目前還沒有真正有意義的模型能夠利用高通的NPUs，這些處理器與GPU一樣，旨在加速AI。即使NPUs能夠工作，Copilot PC的內(nèi)存也不足以運(yùn)行長時間的查詢，而且電池壽命也會迅速耗盡。
微軟正在為開發(fā)者提供工具，將AI能力集成到桌面應(yīng)用程序中。對他們來說，加載Llama v3.1沒有必要，因?yàn)樗麄円呀?jīng)在PC上有了Copilot功能。
微軟的Phi Silica支持更多地是為開發(fā)者將大語言模型風(fēng)格的查詢能力引入Windows應(yīng)用程序，通過Windows App SDK。
2.Meteor Lake的失敗
去年底，英特爾推出了一個名為Meteor Lake的AI PC芯片，配備了神經(jīng)處理單元。
現(xiàn)在，這個芯片成了一塊擺設(shè)，購買了搭載該芯片的筆記本進(jìn)行PC上AI的人被遺棄了。沒有有用的應(yīng)用程序，NPU僅用于基本的AI模型如TinyLlama。
可以肯定的是，英特爾的Meteor Lake芯片不符合微軟AI PC的最低規(guī)格要求。英特爾聲稱Meteor Lake在AI性能上達(dá)到34 TOPS（每秒萬億次運(yùn)算），低于Windows PC所需的40 TOPS。
Meteor Lake受到了差評。它比上一代筆記本芯片速度更慢，電池壽命沒有改進(jìn)。
發(fā)布Meteor Lake約六個月后，英特爾推出了下一代AI PC芯片Lunar Lake，這款芯片已經(jīng)搭載在PC上，提供了120 TOPS的AI性能。
我嘗試在Meteor Lake PC上手動運(yùn)行本地AI模型。
加載神經(jīng)網(wǎng)絡(luò)以利用NPU涉及安裝OpenVINO 2024.2，并按照OpenVINO網(wǎng)站上的說明操作。
安裝提供了NPU插件，你期望在Jupyter筆記本上加載模型時運(yùn)行。英特爾說我需要正確的NPU驅(qū)動程序和固件。
安裝新的NPU驅(qū)動程序本身就是一個挑戰(zhàn)，我必須在Windows的設(shè)備管理器設(shè)置中卸載舊驅(qū)動程序，然后檢測新驅(qū)動程序。最后，我只能使用驅(qū)動程序搜索來更新驅(qū)動程序。
我從Jupyter筆記本中運(yùn)行了TinyLlama等模型，運(yùn)行得很順利，但給出的答案很差。但與高通一樣，它沒有利用NPU。
少數(shù)模型如Stable Diffusion 1.4利用了NPU，但是它是直接在GIMP界面中進(jìn)行的。
英特爾的AI軟件開發(fā)主要集中在其服務(wù)器CPU上。
3.回到Nvidia
開發(fā)者應(yīng)該依靠Nvidia在他們的PC上運(yùn)行Jupyter筆記本以進(jìn)行任何有意義的AI。
購買AI PC用于提高生產(chǎn)力，但不適合進(jìn)行與AI相關(guān)的編碼或試驗(yàn)。芯片制造商的NPUs對開發(fā)者不友好。問題從啟動神經(jīng)網(wǎng)絡(luò)開始，每個芯片制造商都有自己的問題。但在設(shè)備上AI是一個新興領(lǐng)域，為開發(fā)者提供了許多優(yōu)化AI的機(jī)會，如通過量化來優(yōu)化PC上的AI。
對于喜歡冒險(xiǎn)的開發(fā)者，典型的Windows挑戰(zhàn)將會出現(xiàn)——確保你有正確的驅(qū)動程序和開發(fā)工具包。高通和英特爾都有自己偏好的工具來編譯和加載模型。
幸運(yùn)的是，Windows命令行和PowerShell使命令行冒險(xiǎn)變得有趣。
預(yù)期能夠利用NPUs的AI功能將預(yù)先打包在應(yīng)用程序中。英特爾正在與公司合作，利用NPUs。這與使軟件與特定芯片架構(gòu)兼容是一樣的。
AI硬件正在迅速發(fā)展，英特爾正在大肆宣傳其最新的Lunar Lake芯片。近期的評測稱贊這款芯片具有出色的電池續(xù)航。但不要為了開發(fā)目的購買它——它沒有足夠的內(nèi)存或帶寬來本地運(yùn)行語言模型。
