了解如何將AI的力量徑直帶入到你的安卓手機上：沒有云，沒有互聯(lián)網(wǎng)，只有純粹的設(shè)備端智能！

在安卓手機上本地運行大語言模型（LLM）意味著你可以在不依賴云服務(wù)器或互聯(lián)網(wǎng)連接的情況下訪問人工智能（AI）模型。這種本地環(huán)境通過確保數(shù)據(jù)安全、并在設(shè)備端來確保隱私。隨著移動硬件領(lǐng)域的發(fā)展，在本地運行AI模型已成為了現(xiàn)實。MLC Chat應(yīng)用程序可以讓你很容易直接在手機上體驗這種功能強大的技術(shù)。

本文將解釋在安卓手機上本地運行LLM的重要性，并提供了使用MLC Chat應(yīng)用程序安裝和運行LLM的逐步教程。

為什么在安卓手機上運行LLM？

LLM通常在云服務(wù)器上運行，因為它們需要強大的算力。雖然安卓手機在運行LLM方面存在一定的限制，但它們也帶來了令人興奮的可能性。

• 增強隱私：由于整個計算工作都在你的手機上進(jìn)行，所以你的數(shù)據(jù)保持在本地，這對于你共享的任何敏感信息都至關(guān)重要。
• 離線訪問：訪問這些模型或與之交互不需要持續(xù)的互聯(lián)網(wǎng)連接。這對偏遠(yuǎn)地區(qū)或互聯(lián)網(wǎng)接入有限的用戶尤其有用。
• 成本效率：在云服務(wù)器上運行LLM需要處理能力和云存儲等運營成本。這種方法為用戶提供了一種經(jīng)濟的解決方案。

在安卓上安裝和運行MLC Chat的逐步指南

MLC Chat應(yīng)用程序旨在使用戶能夠在包括手機在內(nèi)的各種設(shè)備上本地運行大語言模型（LLM）并與之交互，無需依賴基于云的服務(wù)。按照以下步驟，即可在安卓設(shè)備上本地運行LLM。

第1步：安裝MLC Chat應(yīng)用程序

首先，你需要從下面給出的鏈接下載MLC Chat應(yīng)用程序的APK（112MB）。

MLC Chat應(yīng)用程序APK文件：???https://llm.mlc.ai/docs/deploy/android.html???

下載APK后，點擊文件開始安裝。

第2步：下載LLM

成功安裝應(yīng)用程序后，打開它，你將看到可供下載的LLM列表。大小和功能各異的模型可供使用，比如LLama-3.2、Phi-3.5和Mistral。根據(jù)你的需要選擇模型，然后點擊它旁邊的下載圖標(biāo)即可開始下載。比如說，由于我使用的是像紅米Note 10這樣的中檔手機，于是選擇了Qwen-2.5之類的輕量級模型，以獲得更流暢的性能。

第3步：運行已安裝的LLM

一旦下載了模型，旁邊就會出現(xiàn)一個聊天圖標(biāo)。點擊該圖標(biāo)即可啟動模型。

模型準(zhǔn)備就緒后，你可以開始輸入提示，并在本地與LLM進(jìn)行交互。

比如說，在紅米Note 10這樣的設(shè)備上，運行Qwen2.5之類的小模型提供了相當(dāng)流暢的體驗，每秒生成約1.4個詞元（token）。雖然與Galaxy S23 Ultra等高端設(shè)備相比，這一性能要遜色一些，但它仍然可以完成諸如簡短對話和簡單內(nèi)容生成之類的基本任務(wù)。

結(jié)論

通過MLC Chat應(yīng)用程序在安卓設(shè)備上本地運行LLM為你與AI模型進(jìn)行交互提供了一種易于訪問、保護(hù)隱私的方式。性能在很大程度上取決于你手機的硬件。如果用戶需要離線訪問AI模型、實時嘗試LLM或關(guān)注隱私，這一解決方案很理想。隨著移動硬件不斷改進(jìn)，本地LLM的功能只會越來越強大，這將成為AI技術(shù)一個令人興奮的前沿。

原文標(biāo)題：??How to Install and Run LLMs Locally on Android Phones??，作者：Kanwal Mehreen