在原神里釣魚，有人竟然用上了深度強化學(xué)習(xí)，還把它開源了
還愁在《原神》里釣不到魚嗎？這有一份遲到的提瓦特釣魚指南。
在游戲圈，你可以沒有玩過，但一定聽過《原神》。
雖然這是一款口碑兩極分化的游戲，但不得不承認(rèn)《原神》是當(dāng)前最為火熱的游戲之一。
特別是在國外，原神可以說是火的一塌糊涂。
就在今年 9 月，這款從開放公測起便屢次登頂國內(nèi)外討論熱度和手游吸金榜第一的開放世界冒險游戲更新了版本，添加 / 豐富了地圖，并且上線了一款小游戲——釣魚。游戲中多個水域都有釣魚點，不同的位置可以釣不同的魚。
盡管是再普通不過的玩法，還是引得玩家流連。一般來說，釣魚一共分三個步驟：甩桿→等待魚兒上鉤→提竿。其中所涉及的原理需要一定數(shù)字圖像處理與機器學(xué)習(xí)基礎(chǔ)。模型分為魚群定位與識別和拉桿 (和魚博弈) 兩個部分。
很多玩家都在尋找釣魚攻略，你還在愁在《原神》里釣不到魚嗎？今天我們?yōu)槟闼蜕线@份遲到的提瓦特釣魚指南。
這份釣魚指南可以說是完全解放雙手，不需要任何操作，只需要啟動程序就能完成。上線短短幾天，收獲 700 + 星。
GitHub 地址：https://github.com/7eu7d7/genshin_auto_fish
感興趣的小伙伴也可以去 B 站觀看視頻，上線不到三天，超過 44 萬次播放量。這滿屏的彈幕，不禁讓人直呼離譜。
已經(jīng)有網(wǎng)友開始上手了，并評論道：已經(jīng)在部署了，連夜下載了 anaconda。
B 站地址：https://www.bilibili.com/video/BV1964y1b7vV?spm_id_from=333.905.b_7570566964656f.3
項目介紹
原神自動釣魚 AI 由兩部分模型組成：YOLOX、DQN。此外，該項目還用到了遷移學(xué)習(xí)，半監(jiān)督學(xué)習(xí)來進行訓(xùn)練。模型也包含了一些使用 opencv 等傳統(tǒng)數(shù)字圖像處理方法實現(xiàn)的不可學(xué)習(xí)部分。
- YOLOX 用于魚的定位和類型的識別以及魚竿落點的定位；
- DQN 用于自適應(yīng)控制釣魚過程的點擊，讓力度落在最佳區(qū)域內(nèi)。
安裝
該項目是在 python 運行環(huán)境中使用的，需要先安裝 python，這里推薦使用 anaconda。
配置環(huán)境：打開 anaconda prompt(命令行界面)，創(chuàng)建新的 python 環(huán)境并激活（推薦 python3.7 或以下版本）：
- conda create -n ysfish python=3.6
- conda activate ysfish
下載工程代碼：使用 git 下載，或直接在 github 網(wǎng)頁端下載后直接解壓：
- git clone https://github.com/7eu7d7/genshin_auto_fish.git
依賴庫安裝：切換命令行到本工程所在目錄：
- cd genshin_auto_fish
執(zhí)行以下命令安裝依賴：
- python -m pip install -U pip
- python requirements.py
如果要使用顯卡進行加速需要安裝 CUDA 和 cudnn， 安裝后無視上面的命令用下面這條安裝 gpu 版：
- pip install -U pip
- python requirements.py --cuda [cuda 版本]
- # 例如安裝的 CUDA11.x
- python requirements.py --cuda 110
安裝 yolox：切換命令行到本工程所在目錄，執(zhí)行以下命令安裝 yolox：
- python setup.py develop
預(yù)訓(xùn)練權(quán)重下載：下載預(yù)訓(xùn)練權(quán)重 (.pth 文件)，yolox_tiny.pth 下載后將權(quán)重文件放在 工程目錄 / weights 下。
YOLOX 訓(xùn)練工作流程：YOLOX 部分用半監(jiān)督學(xué)習(xí)打標(biāo)簽。標(biāo)注少量樣本后訓(xùn)練模型生成其余樣本偽標(biāo)簽再人工修正，不斷迭代以提高精度。樣本量較少所以使用遷移學(xué)習(xí)，在 COCO 預(yù)訓(xùn)練的模型上進行 fine-tuning。
將 yolox/exp/yolox_tiny_fish.py 中的 self.data_dir 的值改為解壓后 2 個文件夾所在的路徑。
訓(xùn)練代碼：
- python yolox_tools/train.py -f yolox/exp/yolox_tiny_fish.py -d 1 -b 8 --fp16 -o -c weights/yolox
DQN 訓(xùn)練工作流程：控制力度使用強化學(xué)習(xí)模型 DQN 進行訓(xùn)練。兩次進度的差值作為 reward 為模型提供學(xué)習(xí)方向。模型與環(huán)境間交互式學(xué)習(xí)。
直接在原神內(nèi)訓(xùn)練耗時較長，首先你需要制作一個仿真環(huán)境，大概模擬釣魚力度控制操作。在仿真環(huán)境內(nèi)預(yù)訓(xùn)練一個模型。隨后將這一模型遷移至原神內(nèi)，實現(xiàn)域間遷移。
仿真環(huán)境預(yù)訓(xùn)練代碼：
- python train_sim.py
原神游戲內(nèi)訓(xùn)練：
- python train.py
運行
以上準(zhǔn)備就緒后，就可以運行釣魚 AI，注意命令行窗口一定要以管理員權(quán)限啟動。
顯卡加速：
- python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device gpu
CPU 運行：
- python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device cpu
運行后出現(xiàn) init ok 后按 r 鍵開始釣魚，原神需要全屏。出于性能考慮檢測框不會實時顯示，處理運算后臺進行。
更多實現(xiàn)細(xì)節(jié)，讀者可參考原項目。
