如何利用 Python 打造一款簡易版 AlphaGo
2017 年伊始，再度出山的 AlphaGo 化名 Master 在網(wǎng)絡圍棋平臺上打遍棋界無敵手。你是否也想打造一個自己的 AlphaGo 呢?GitHub 用戶 Brian Lee(brilee)發(fā)布了一個效仿 AlphaGo 的極簡圍棋引擎的 Python 實現(xiàn) MuGo。
這是 AlphaGo 基本組成部分的一個純 Python 實現(xiàn)。
AlphaGo 邏輯/控制流(logic/control flow)其實并不非常復雜，本項目就是其復現(xiàn)。AlphaGo 的秘密武器是在于其各種神經(jīng)網(wǎng)絡之中。
就我所知，AlphaGo 在對弈過程中使用了三個神經(jīng)網(wǎng)絡。
***個神經(jīng)網(wǎng)絡是一個速度很慢但很準確的策略網(wǎng)絡(policy network)。這個網(wǎng)絡被訓練用來預測人類的走子(大約 57% 的準確度)，它會輸出一個可能走子的列表，并且每一種走子方式都對應了一個概率。這個網(wǎng)絡為蒙特卡洛樹搜索(MCTS)提供了可能的走子起點。這個神經(jīng)網(wǎng)絡很慢的一大原因是它具有很大的規(guī)模，這是因為這個神經(jīng)網(wǎng)絡的輸入是圍棋棋盤上的各種計算成本高昂的屬性——氣的數(shù)量、叫吃、征等等。
第二個神經(jīng)網(wǎng)絡也是一個策略網(wǎng)絡，它比***個更小更快，但準確度更低(大約 24%)，這個網(wǎng)絡并不使用復雜的屬性作為輸入。一旦到達了當前 MCTS 樹的葉節(jié)點(leaf node)，這個第二個更快的網(wǎng)絡就會被用來得到一個棋盤局面的可能走子，并且對這個這個最終局面進行評分。
第三個神經(jīng)網(wǎng)絡是一個價值網(wǎng)絡：它為棋盤輸出一個預期獲勝的范圍，而不會自己下任何棋。
然后，將使用第二個神經(jīng)網(wǎng)絡的蒙特卡洛得到的結果和使用第三個神經(jīng)網(wǎng)絡的價值計算結果進行平均，然后這個值被記為該 MCTS 節(jié)點的近似結果。
開始
安裝 TensorFlow
開始需要安裝 TensorFlow，并使用 GPU 驅動器(即英偉達顯卡的 CUDA 支持)
獲取用于監(jiān)督學習的 SGF
接下來需要一個 SGF 文件源。你可以在 https://u-go.net/gamerecords 獲取 15 年時長的高段位對局數(shù)據(jù)。你也可以從其它來源下載專業(yè)比賽的數(shù)據(jù)庫。
預處理 SGF
第三，對你的 SGF 文件進行預處理。這需要 SGF 文件中的所有局面并提取出每一個局面的特征以及記錄正確的下一步走子。
然后將這些局面分割成塊(chunk)——一塊用于測試，其它的都用于訓練。這個步驟需要一定時間，而且要是你修改了 features.py 文件中的特征提取步驟，你還需要重新預處理。
- python main.py preprocess data/kgs-*
注：這句代碼用了通配符，比如說：KGS 目錄可以名為 data/kgs-2006-01、data/kgs-2006-02 等等
監(jiān)督學習(策略網(wǎng)絡)
使用上面預處理過的 SGF 數(shù)據(jù)(默認輸出目錄是 ./processed_data/)，你可以訓練策略網(wǎng)絡。
- python main.py train processed_data/ --save-file=/tmp/
網(wǎng)絡訓練好了之后，當前模型會被保存在 --save-file。你可以通過如下代碼繼續(xù)訓練這個網(wǎng)絡：
- python main.py train processed_data/ --read-file=/tmp/savedmodel
- --save-file=/tmp/savedmodel --epochs=10 --logdir=logs/my_training_run
此外，你也可以使用 TensorBoard 跟蹤你的訓練過程——如果你為每一次運行定義了一個不同的名字(如：logs/my_training_run、logs/my_training_run2)，你可以將這些運行彼此重疊起來：
- tensorboard --logdir=logs/
與 MuGo 對弈
MuGo 使用了 GTP 協(xié)議，你可以通過任何兼容 GTP 的程序來使用它。要調(diào)用原始策略網(wǎng)絡，使用如下代碼：
- python main.py gtp policy --read-file=/tmp/savedmodel
要調(diào)用集成了 MCTS 的策略網(wǎng)絡版本，使用：
- python main.py gtp mcts --read-file=/tmp/savedmodel
通過 GTP 下棋的一種方式是使用 gogui-display(它有一個兼容 GTP 的 UI)。你可以在 http://gogui.sourceforge.net/ 下載 gogui 工具套件。參見 http://gogui.sourceforge.net/doc/reference-twogtp.html 了解使用 GTP 的有趣方式。
- gogui-twogtp -black 'python main.py gtp policy --read-file=/tmp/savedmodel' -white 'gogui-display' -size 19 -komi 7.5 -verbose -auto
另一種通過 GTP 玩的方式是對抗 GnuGo，同時還能觀看比賽：
- BLACK="gnugo --mode gtp"
- WHITE="python main.py gtp policy --read-file=/tmp/savedmodel"
- TWOGTP="gogui-twogtp -black \"$BLACK\" -white \"$WHITE\" -games 10 \
- -size 19 -alternate -sgffile gnugo"
- gogui -size 19 -program "$TWOGTP" -computer-both -auto
還有一種玩法是通過 GTP 連接 CGOS(http://yss-aya.com/cgos/ 計算機圍棋在線服務器)。由 boardspace.net 運營的 CGOS 服務器已經(jīng)關閉了;你需要在 yss-aya.com 接入 CGOS 服務器。
配置好了你的 cgos.config 文件之后，你可以通過 cgosGtp -c cgos.config 連接到 CGOS，以及使用 cgosView yss-aya.com 6819 查看你自己的游戲。
MuGo 項目地址：https://github.com/brilee/MuGo
