譯者 | 布加迪

審校 | 重樓

了解如何將AI的力量徑直帶入到你的安卓手機上：沒有云，沒有互聯(lián)網，只有純粹的設備端智能！

在安卓手機上本地運行大語言模型（LLM）意味著你可以在不依賴云服務器或互聯(lián)網連接的情況下訪問人工智能（AI）模型。這種本地環(huán)境通過確保數據安全、并在設備端來確保隱私。隨著移動硬件領域的發(fā)展，在本地運行AI模型已成為了現(xiàn)實。MLC Chat應用程序可以讓你很容易直接在手機上體驗這種功能強大的技術。

本文將解釋在安卓手機上本地運行LLM的重要性，并提供了使用MLC Chat應用程序安裝和運行LLM的逐步教程。

為什么在安卓手機上運行LLM？

LLM通常在云服務器上運行，因為它們需要強大的算力。雖然安卓手機在運行LLM方面存在一定的限制，但它們也帶來了令人興奮的可能性。

• 增強隱私：由于整個計算工作都在你的手機上進行，所以你的數據保持在本地，這對于你共享的任何敏感信息都至關重要。
• 離線訪問：訪問這些模型或與之交互不需要持續(xù)的互聯(lián)網連接。這對偏遠地區(qū)或互聯(lián)網接入有限的用戶尤其有用。
• 成本效率：在云服務器上運行LLM需要處理能力和云存儲等運營成本。這種方法為用戶提供了一種經濟的解決方案。

在安卓上安裝和運行MLC Chat的逐步指南

MLC Chat應用程序旨在使用戶能夠在包括手機在內的各種設備上本地運行大語言模型（LLM）并與之交互，無需依賴基于云的服務。按照以下步驟，即可在安卓設備上本地運行LLM。

第1步：安裝MLC Chat應用程序

首先，你需要從下面給出的鏈接下載MLC Chat應用程序的APK（112MB）。

MLC Chat應用程序APK文件：https://llm.mlc.ai/docs/deploy/android.html

下載APK后，點擊文件開始安裝。

第2步：下載LLM

成功安裝應用程序后，打開它，你將看到可供下載的LLM列表。大小和功能各異的模型可供使用，比如LLama-3.2、Phi-3.5和Mistral。根據你的需要選擇模型，然后點擊它旁邊的下載圖標即可開始下載。比如說，由于我使用的是像紅米Note 10這樣的中檔手機，于是選擇了Qwen-2.5之類的輕量級模型，以獲得更流暢的性能。

第3步：運行已安裝的LLM

一旦下載了模型，旁邊就會出現(xiàn)一個聊天圖標。點擊該圖標即可啟動模型。

模型準備就緒后，你可以開始輸入提示，并在本地與LLM進行交互。

比如說，在紅米Note 10這樣的設備上，運行Qwen2.5之類的小模型提供了相當流暢的體驗，每秒生成約1.4個詞元（token）。雖然與Galaxy S23 Ultra等高端設備相比，這一性能要遜色一些，但它仍然可以完成諸如簡短對話和簡單內容生成之類的基本任務。

結論

通過MLC Chat應用程序在安卓設備上本地運行LLM為你與AI模型進行交互提供了一種易于訪問、保護隱私的方式。性能在很大程度上取決于你手機的硬件。如果用戶需要離線訪問AI模型、實時嘗試LLM或關注隱私，這一解決方案很理想。隨著移動硬件不斷改進，本地LLM的功能只會越來越強大，這將成為AI技術一個令人興奮的前沿。

原文標題：How to Install and Run LLMs Locally on Android Phones，作者：Kanwal Mehreen