20種小技巧，玩轉(zhuǎn)Google Colab
Google Colab 給廣大的 AI 開(kāi)發(fā)者提供了免費(fèi)的 GPU，你可以在上面輕松地跑 Tensorflow、Pytorch 等深度學(xué)習(xí)框架。但關(guān)于 Colab 的使用技巧你又掌握了多少呢？這篇文章將介紹 20 種 Colab 使用技巧，幫你提高使用效率。
1. 便簽本 Notebook
當(dāng)我們?cè)?colab 上嘗試一些臨時(shí)的東西時(shí)，我們會(huì)創(chuàng)建一堆雜亂、沒(méi)有標(biāo)題的 Notebook。
為了解決這個(gè)問(wèn)題，你可以把以下鏈接加入書(shū)簽：https://colab.research.google.com/notebooks/empty.ipynb
這將打開(kāi)一個(gè)特殊的 scratch notebook，并且你對(duì)該 notebook 所做的任何更改都不會(huì)保存到你的主目錄中。
2. 單元計(jì)時(shí)
通常，我們手動(dòng)計(jì)算一段代碼的開(kāi)始時(shí)間和結(jié)束時(shí)間之間的差值來(lái)衡量所花費(fèi)的時(shí)間。Colab 提供了內(nèi)置功能來(lái)執(zhí)行此操作。在執(zhí)行了一個(gè)單元（cell）之后，將鼠標(biāo)懸停在單元運(yùn)行圖標(biāo)上，你將獲得代碼執(zhí)行時(shí)間的估計(jì)值。
3. 運(yùn)行某個(gè)單元的一部分
你也可以運(yùn)行某個(gè)單元的一部分，通過(guò)選擇單元格并點(diǎn)擊 Runtime 索引到 Run Selection 按鈕或使用鍵盤快捷鍵 Ctrl + Shift + Enter。
4. Jupyter Notebook 快捷鍵
快捷鍵為編程帶來(lái)了便利，但 Jupyter Notebook 中的快捷鍵不能直接在 Colab 中使用。不過(guò)，這里有一個(gè)關(guān)系映射表來(lái)解決這一問(wèn)題。從中可以看出，你只需要在 Jupyter 的快捷鍵前面加上「Ctrl +M」就能在 Colab 中使用。此規(guī)則適用于大多數(shù)快捷鍵。
以下是一些特例，其快捷方式已完全更改或保持不變。
5. 跳轉(zhuǎn)到類定義
與 IDE 相似，你可以通過(guò)按 Ctrl 鍵，然后單擊一個(gè)類名來(lái)跳轉(zhuǎn)到類定義。例如，在這里我們通過(guò)按 Ctrl 并單擊 Dense 類名來(lái)查看 Keras 中 Dense 層的類定義。
6. 在 GitHub 中打開(kāi) Notebooks
Google Colab 團(tuán)隊(duì)提供了官方的 Chrome 擴(kuò)展程序。使用 colab 時(shí)，可以直接在 GitHub 上打開(kāi) notebooks。
擴(kuò)展程序下載地址：https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo
安裝后，單擊 GitHub notebook 的 colab 圖標(biāo)直接將其打開(kāi)。
或者，你也可以手動(dòng)打開(kāi) GitHub notebook，將 github.com 替換為 colab.research.google.com/github 即可。
https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb
替換為
https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb
甚至更簡(jiǎn)單的方法是用 githubtocolab.com 替換 github.com。
https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb
替換為
https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb
7. 從 Colab 運(yùn)行 Flask 應(yīng)用
使用 flask-ngrok 庫(kù)（https://github.com/gstaff/flask-ngrok），你可以輕松地將運(yùn)行在 colab 上的 Flask Web 應(yīng)用程序轉(zhuǎn)換為一個(gè) demo 原型。
首先，你需要安裝 flask 和 flask-ngrok。
- !pip install flask-ngrok flask==0.12.2
然后，你只需要將「flask app」對(duì)象傳遞給「run_with_ngrok」函數(shù)，它將在啟動(dòng)服務(wù)器時(shí)公開(kāi) ngrok 端點(diǎn)。
- from flask import Flaskfrom flask_ngrok import run_with_ngrok
- app = Flask(__name__)run_with_ngrok(app)
- @app.route('/')def hello(): return 'Hello World!' if __name__ == '__main__': app.run()
8. 在 Tensorflow 版本之間切換
你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之間切換。
要切換到 Tensorflow 1.15.2，請(qǐng)使用以下命令：
- %tensorflow_version 1.x
要切換到 Tensorflow 2.2，請(qǐng)運(yùn)行以下命令：
- %tensorflow_version 2.x
你需要重新啟動(dòng)才能生效。出于性能考慮，Colab 建議使用預(yù)安裝的 Tensorflow 版本，而不是用 pip 命令安裝它。
9. Tensorboard 集成
Colab 還提供了一個(gè)命令，可以直接從 notebook 使用 Tensorboard。你只需要使用 --logdir 設(shè)置日志目錄位置。
你可以從官方 notebook 學(xué)到它的使用方法：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。
- %load_ext tensorboard%tensorboard --logdir logs
10. 查看資源限制
Colab 為他們的免費(fèi)版本和專業(yè)版本提供了以下規(guī)格。根據(jù)自己的情況，如果你需要更好的運(yùn)行時(shí)間、GPU 和內(nèi)存，你可以以每月 10 美元的價(jià)格切換到專業(yè)版本。
可以通過(guò)運(yùn)行以下命令查看你已經(jīng)被分配到的 GPU：
- !nvidia-smi
有關(guān) CPU 的信息，可以運(yùn)行此命令：
- !cat /proc/cpuinfo
此外，你還可以通過(guò)運(yùn)行以下命令查看 RAM 容量
- import psutilram_gb = psutil.virtual_memory().total / 1e9print(ram_gb)
11. 使用交互式 shell
Colab 中沒(méi)有內(nèi)置的交互終端。但是可以使用 bash 命令以交互方式試用 shell 命令。只需運(yùn)行此命令，你將獲得交互式輸入。
- !bash
現(xiàn)在，你可以在給定的輸入框中運(yùn)行任何 shell 命令。
要退出 shell，只需在輸入框中鍵入 exit。
12. 當(dāng)前的內(nèi)存和存儲(chǔ)使用情況
Colab 提供了 RAM 和磁盤使用情況的指示器。如果將鼠標(biāo)懸停在指示器上，將彈出一個(gè)窗口，其中包含當(dāng)前內(nèi)存和存儲(chǔ)使用情況和總?cè)萘俊?/p>
13.「Open in Colab」 標(biāo)志
你可以使用如下 markdown 代碼在 README.md 或 jupyter notebooks 中添加「Open in Colab 」標(biāo)志。
在這段代碼中，我們正在加載 SVG 圖片，然后將其鏈接到 colab notebook。
- [](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)
14. Pandas 交互表
Colab 提供了一個(gè) notebook 擴(kuò)展，用于向 pandas dataframes 添加交互式排序和過(guò)濾功能。要使用它，請(qǐng)運(yùn)行以下代碼。
- %load_ext google.colab.data_table
在加載下面的擴(kuò)展之后，你可以看到常規(guī)的 pandas dataframe 和交互式 dataframe。
15. 設(shè)置 Conda 環(huán)境
如果將 miniconda 用作 python 環(huán)境管理器，你可以通過(guò)在 notebook 頂部運(yùn)行以下命令，在 colab 上對(duì)其進(jìn)行設(shè)置。
- # Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local# Make conda packages available in current environmentimport syssys.path.append('/usr/local/lib/python3.7/site-packages/')
執(zhí)行完單元后，你可以照常使用 conda 安裝軟件包。
- !conda install -y flask
16. 從命令行管理 Colab Notebooks
你可以使用名為 colab-cli 的庫(kù)輕松創(chuàng)建 colab notebooks 并將其與本地 notebooks 同步：https://github.com/Akshay090/colab-cli
17. 運(yùn)行后臺(tái)任務(wù)
在某些情況下，我們需要先啟動(dòng)一些 Web 服務(wù)器或后臺(tái)任務(wù)，然后才能執(zhí)行常規(guī)程序。
要運(yùn)行后臺(tái)任務(wù)，請(qǐng)使用「nohup」命令，然后使用常規(guī)的 shell 命令，并在末尾添加「＆」使其在后臺(tái)運(yùn)行。這樣確?？梢栽谥蟮?notebook 中運(yùn)行單元，而不會(huì)被后臺(tái)任務(wù)終止。
- !nohup bash ping.sh &
18. 提醒訓(xùn)練完成
如果你要執(zhí)行耗時(shí)較長(zhǎng)的任務(wù)（例如訓(xùn)練模型），你可以將 Colab 設(shè)置為在完成后發(fā)送桌面通知。
要啟用此功能，請(qǐng)轉(zhuǎn)到「Tools ⮕ Settings ⮕ Site」，然后啟用「Show desktop notifications」復(fù)選框。
這時(shí)將彈出一個(gè)窗口，以啟用瀏覽器通知。只要接受它，即使你在另一個(gè)選項(xiàng)卡、窗口或應(yīng)用程序上，colab 也會(huì)在任務(wù)完成時(shí)通知你。
19. 運(yùn)行 javascript 代碼
使用 %%javascript 命令運(yùn)行 javascript 代碼。
20. 在 Colab 上運(yùn)行 VSCode
你可以在 Colab 上運(yùn)行完整的 VSCode。請(qǐng)參考文檔：https://amitness.com/vscode-on-colab/。
