在2GB DAYU200上本地部署大語言模型
作者：離北況歸
在2GB的DAYU200開發(fā)板上部署alpaca模型，實現(xiàn)OpenHarmony設(shè)備本地部署語言模型。（注意：本地部署語言模型對設(shè)備RAM要求較高需要4GB左右，加上swap交換空間就可以）。
實現(xiàn)思路和步驟
移植輕量級LLM模型推理框架InferLLM到OpenHarmony標準系統(tǒng)，編譯出能在OpenHarmony運行的二進制產(chǎn)物。（InferLLM 是一個簡單高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型）
使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執(zhí)行文件（具體使用OpenHarmony lycium 交叉編譯框架,然后編寫一些腳本。然后把其存放在tpc_c_cplusplusSIG倉庫。)
在DAYU200上本地部署大語言模型
編譯獲取InferLLM三方庫編譯產(chǎn)物
下載OpenHarmony sdk,下載地址：
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
下載本倉庫
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1# 設(shè)置環(huán)境變量
export OHOS_SDK=解壓目錄/ohos-sdk/linux # 請?zhí)鎿Q為你自己的解壓目錄
cd lycium
./build.sh InferLLM獲取InferLLM三方庫頭文件及生成的庫
在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄，該目錄下存在已編譯完成的32位和64位三方庫。（相關(guān)編譯結(jié)果不會被打包進入lycium目錄下的usr目錄）。
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-build
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build將編譯產(chǎn)物和模型文件推送至開發(fā)板運行
- 下載模型文件：https://huggingface.co/kewin4933/InferLLM-Model/tree/main
- 將編譯InferLLM生成的llama可執(zhí)行文件、OpenHarmony sdk中的libc++_shared.so、下載好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夾 llama_file
# 將llama_file文件夾發(fā)送到開發(fā)板data目錄
hdc file send llama_file /data# hdc shell 進入開發(fā)板執(zhí)行
cd data/llama_file
# 在2GB的dayu200上加swap交換空間
# 新建一個空的ram_ohos文件
touch ram_ohos
# 創(chuàng)建一個用于交換空間的文件（8GB大小的交換文件）
fallocate -l 8G /data/ram_ohos
# 設(shè)置文件權(quán)限，以確保所有用戶可以讀寫該文件：
chmod 777 /data/ram_ohos
# 將文件設(shè)置為交換空間：
mkswap /data/ram_ohos
# 啟用交換空間：
swapon /data/ram_ohos
# 設(shè)置庫搜索路徑
export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH
# 提升rk3568cpu頻率
# 查看 CPU 頻率
cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq
# 查看 CPU 可用頻率（不同平臺顯示的可用頻率會有所不同）
cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies
# 將 CPU 調(diào)頻模式切換為用戶空間模式，這意味著用戶程序可以手動控制 CPU 的工作頻率，而不是由系統(tǒng)自動管理。這樣可以提供更大的靈活性和定制性，但需要注意合理調(diào)整頻率以保持系統(tǒng)穩(wěn)定性和性能。
echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
# 設(shè)置rk3568 CPU 頻率為1.9GHz
echo 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed
# 執(zhí)行大語言模型
chmod 777 llama
./llama -m chinese-alpaca-7b-q4.bin -t 4移植InferLLM三方庫在OpenHarmmony設(shè)備rk3568上部署大語言模型實現(xiàn)人機對話。最后運行效果有些慢，跳出人機對話框也有些慢，請耐心等待。
責任編輯：姜華
來源：
鴻蒙開發(fā)者社區(qū)
