OpenAI GPT2 的模型訓練和服務使用，需要用到 Python、TensorFlow 機器學習等相關配置，并且這些環(huán)境間有些版本依賴。所以為了順利調試盡可能和我保持一樣的版本。
首先我想告訴你，從事編程開發(fā)這一行，要學會的是學習的方式方法。方向對了，才能事半功倍。而我認為最快且行之有效的技術技能學習，就是上手實踐。先不要搞太多的理論，買回來的自行車不能上來就拆，得先想辦法騎起來。
所以小傅哥就是這樣，學東西嘛。以目標為驅動，搭建可運行測試的最小單元版本。因為康威定律說；問題越小，越容易被理解和處理。所以在接觸 ChatGPT 以后，我時常都在想怎么自己訓練和部署一個這樣的聊天對話模型，哪怕是很少的訓練數據，讓我測試也好。所以這個會噴人的傻狗機器人來了！
一、傻狗機器聊天
在基于前文小傅哥《搭個ChatGPT算法模型》的學習基礎之上，以 OpenAI 開源的 GPT-2 和相關的 GPT2-chitchat 模型訓練代碼，部署了這個會噴人的傻狗機器人。但由于訓練數據的問題，這個聊天機器人對起話來，總感覺很變態(tài)?！?不過不影響我們做算法模型訓練的學習。
此頁面為小傅哥所編程的WEB版聊天對話窗口
- 訪問地址：http://120.48.169.252/ - 服務器配置有限，不能承載過大的并發(fā)訪問。
- 視頻演示：https://www.bilibili.com/video/BV1LG4y1P7bo - 也可以通過B站視頻，觀看GPT2模型部署演示。
二、基礎配置環(huán)境
OpenAI GPT2 的模型訓練和服務使用，需要用到 Python、TensorFlow 機器學習等相關配置，并且這些環(huán)境間有些版本依賴。所以為了順利調試盡可能和我保持一樣的版本。如果你對環(huán)境安裝有難度，也可以找小傅哥幫忙買一臺云服務器，之后我把我的環(huán)境鏡像到你的服務器上就可以直接使用了。以下是所需的基本環(huán)境、代碼和數據。
- 系統(tǒng)配置：Centos 7.9 - 2核4GB內存200G磁盤4Mbps帶寬的云服務器
- 部署環(huán)境：Python3.7、 Transformers==4.2.0、pytorch==1.7.0
- 模型代碼：https://github.com/fuzhengwei/GPT2-chitchat - 此代碼已開源，含websocket通信頁面
- 模型數據：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA - ju6m
1. 環(huán)境依賴
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install gcc -y
yum -y install libffi-devel
make
make altinstall
2. Python 3.7
cd ~
# 1.下載Python安裝包
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
# 2.將安裝包移動到/usr/local文件夾下
mv Python-3.7.4.tgz /usr/local/
# 3.在local目錄下創(chuàng)建Python3目錄
mkdir /usr/local/python3
# 4.進入的Python安裝包壓縮包所在的目錄
cd /usr/local/
# 5.解壓安裝包
tar -xvf Python-3.7.4.tgz
# 6.進入解壓后的目錄
cd /usr/local/Python-3.7.4/
# 7.配置安裝目錄
./configure --prefix=/usr/local/python3
# 8.編譯源碼
make
# 9.執(zhí)行源碼安裝
make install
# 10.創(chuàng)建軟連接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# 11. 測試
python3 -V
3. 安裝pip3
cd ~
# 1.下載
wget https://bootstrap.pypa.io/get-pip.py
# 2.安裝；注意咱們安裝了 python3 所以是 pyhton3 get-pip.py
python3 get-pip.py
# 3.查找pip安裝路徑
find / -name pip
# 4.將pip添加到系統(tǒng)命令
ln -s /usr/local/python/bin/pip /usr/bin/pip
# 5.測試
pip -V
# 6.更換源，如果不更換那么使用 pip 下載軟件會很慢
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set install.trusted-host mirrors.aliyun.com
pip config list
# pip國內鏡像源：
# 阿里云 http://mirrors.aliyun.com/pypi/simple/
# 中國科技大學 https://pypi.mirrors.ustc.edu.cn/simple/
# 豆瓣 http://pypi.douban.com/simple
# Python官方 https://pypi.python.org/simple/
# v2ex http://pypi.v2ex.com/simple/
# 中國科學院 http://pypi.mirrors.opencas.cn/simple/
# 清華大學 https://pypi.tuna.tsinghua.edu.cn/simple/
4. 安裝git
cd ~
# 1.安裝前首先得安裝依賴環(huán)境
yum install -y perl-devel
# 2.下載源碼包到 CentOS 服務器后進行解壓
tar -zxf git-2.9.5.tar.gz
cd git-2.9.5
# 3.執(zhí)行如下命令進行編譯安裝
./configure --prefix=/usr/local/git
make && make install
# 4.添加到系統(tǒng)環(huán)境變量
vim ~/.bashrc
export PATH="/usr/local/git/bin:$PATH"
# 5.使配置生效
source ~/.bashrc
# 6.測試
git version
5. 安裝寶塔
yum install -y wget && wget -O install.sh https://download.bt.cn/install/install_6.0.sh && sh install.sh 12f2c1d72
- 安裝后登錄寶塔提示的地址，默認它會使用8888端口，因此你需要在服務器上開啟8888端口訪問權限。
- 寶塔的安裝是為了在服務端部署一個網頁版聊天界面，使用到了 Nginx 服務。這里用寶塔操作更加容易。
三、模型運行環(huán)境
模型訓練需要用到 transformers 機器學習服務，以及 pytorch、sklearn 等組件；以下內容需要分別安裝；
transformers==4.4.2
pytorch==1.7.0
sklearn
tqdm
numpy
scipy==1.2.1
1. transformers
pip install transformers==4.4.2
2. pytorch
pip install torch==1.7.0+cpu torchvision==0.8.1+cpu torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
- 這個torch版本+cpu與torchvision 需要匹配。
3. 其他安裝
剩余的按照使用指令 pip install 就可以，另外在運行 GTP2-chitchat 時，如果提示缺少了某些組件，直接使用 pip 按照即可。
四、聊天頁面配置
這里先把小傅哥給你準備好的websocket頁面代碼，通過寶塔創(chuàng)建站點后部署起來。代碼：https://github.com/fuzhengwei/GPT2-chitchat/tree/master/web
之后通過打開你的寶塔地址，創(chuàng)建站點和上傳Web代碼。
注意：目前的這份代碼中訪問websocket的配置在index.js中，你需要修改成你的服務器地址。
if(!window.WebSocket){
alert("您的瀏覽器不支持WebSocket協(xié)議！推薦使用谷歌瀏覽器進行測試。");
return;
}
socket = new WebSocket("ws://120.48.169.252:7397");五、模型訓練部署
1. 下載代碼
cd /home
git clone https://github.com/fuzhengwei/GPT2-chitchat.git
你需要修改下 interact.py 代碼，變更這里有Websocket 的 IP和端口配置；
async def start_server():
try:
async with websockets.serve(server, "192.168.0.4", 7397):
print("Starting server at ws://localhost:7397")
await asyncio.Future() # run forever
except OSError as e:
print(f"Error starting server: {e}")
except Exception as e:
print(f"Unexpected error: {e}")
2. 上傳模型
下載模型：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA#list/path=%2F - 密碼：ju6m
上傳模型：這里你需要在本機安裝一個 SFTP 工具，或者使用 IntelliJ IDEA 提供的工具進行鏈接。鏈接后就可以把解壓的模型上傳到 /home/GPT2-chitchat/model 下。
async def start_server():
try:
async with websockets.serve(server, "192.168.0.4", 7397):
print("Starting server at ws://localhost:7397")
await asyncio.Future() # run forever
except OSError as e:
print(f"Error starting server: {e}")
except Exception as e:
print(f"Unexpected error: {e}")
修改這部分代碼的IP和端口，以及在云服務上開啟 7397 的訪問權限。另外為了安全起見，可以在云服務的防火墻IP來源中授權，只有你當前的臺機器才可以鏈接到 websocket 上。
3. 啟動服務
這里小傅哥通過 mac nuoshell 連接工具，進行模型啟動；模型路徑：/home/GPT2-chitchat/model/model_epoch40_50w
python3 interact.py --no_cuda --model_path /home/GPT2-chitchat/model/model_epoch40_50w
- 啟動后就可以把你的 websocket 頁面打開了，它會自動的鏈接到這個 websocket 服務上。
- 如果你還需要 Socket 或者命令行的服務，也可以修改 interact.py 代碼進行處理。
以上就是整個 GPT2-chitchat 一個閑聊模型的部署，你也可以嘗試使用 Docker 部署。如果在部署過程中實在很難部署成功，也可以找小傅哥買云服務，這樣我可以直接把鏡像部署到你的云服務上，就可以直接使用了。
