[[327809]]

重復(fù)的工作總是很讓人惱火。

就像每當(dāng)開啟一個(gè)新的項(xiàng)目，我都得一遍遍地創(chuàng)建新的深度學(xué)習(xí)機(jī)器。先是安裝Anaconda，再為Python和Tensorflow配置不同環(huán)境以防互相干擾。進(jìn)行到一半時(shí)，會(huì)不可避免地陷入一團(tuán)糟，然后又重新開始，檢查所有StackOverflow線程，也不知道哪兒出了錯(cuò)。這種情況常常發(fā)生。

再被折磨很多次后，我開始思考，有沒有更加高效的方法呢？

功夫不負(fù)有心人。我終于找到了在EC2上建立一個(gè)深度學(xué)習(xí)服務(wù)器最簡(jiǎn)單的方法。只要30分鐘搞定重復(fù)工作，你就能把時(shí)間留出來去做更重要的事情啦。

建立AmazonEC2機(jī)器

首先你得有一個(gè)AWS賬號(hào)，并可以登錄AWSConsole。若沒有，則需要首先申請(qǐng)一個(gè)AmazonAWS賬戶。

第一步，轉(zhuǎn)到Services選項(xiàng)卡訪問EC2儀表盤。

第二步，在EC2儀表盤上，開始創(chuàng)建自己的實(shí)例。

第三步，Amazon為CommunityAMIs(Amazon Machine Image)提供預(yù)裝深度學(xué)習(xí)軟件。要訪問這些AMI，需要先訪問community AMI并在搜索標(biāo)簽中搜索“Ubuntu版本深度學(xué)習(xí)”。

其他Linux操作系統(tǒng)也可以，但我認(rèn)為Ubuntu版本最符合進(jìn)行深度學(xué)習(xí)的需求。這個(gè)步驟里會(huì)用到深度學(xué)習(xí)AMI(Ubuntu 18.04)，版本為27.0。

緊接著，一旦選定了一款A(yù)MI，接下來就是選擇實(shí)例的類型啦。這時(shí)要明確系統(tǒng)中所需的CPU、存儲(chǔ)器及GPU的數(shù)量。Amazon提供基于個(gè)人需求的多種選擇。可以用“Filter by”過濾器來篩選GPU 實(shí)例。

本文使用的是p2.xlaege實(shí)例，p2.xlaege實(shí)例為 NVIDIAK80 GPU提供了2496個(gè)并行處理內(nèi)核及12GiB的GPU內(nèi)存。

第五步，可以在第四步更改附加到機(jī)器上的存儲(chǔ)器，如果不預(yù)先添加存儲(chǔ)器的話也可以稍后再操作。絕大多數(shù)的深度學(xué)習(xí)都要求適當(dāng)?shù)拇鎯?chǔ)器容量，于是我把存儲(chǔ)器容量從90GB擴(kuò)到500GB。

第六步，完成以上步驟就可以進(jìn)入實(shí)例設(shè)置的最終頁面并啟動(dòng)instance。一旦點(diǎn)Launch，就會(huì)看到這樣一個(gè)頁面。在Key pairname中寫入密鑰名，然后點(diǎn)擊“Downloadkey pair”。密鑰會(huì)按提供的名稱下載到電腦上。設(shè)置的名稱是“aws_key.pem”。完成之后，可以點(diǎn)擊“LaunchInstances”。

每次登錄自己的實(shí)例都會(huì)要求輸入密鑰對(duì)，所以務(wù)必保證密鑰對(duì)的安全性。

好啦，現(xiàn)在可以單擊下一頁的“Viewinstances”來查看你的實(shí)例。這就是創(chuàng)建的實(shí)例：

如果想要連接實(shí)例，只需打開本地計(jì)算機(jī)的終端窗口，并瀏覽保存密鑰對(duì)文件的文件夾，然后修改一些權(quán)限。

chmod 400 aws_key.pem  

操作之后，就可以通過SSHing連接到instance。SSH 指令的形式如下：

ssh -i "aws_key.pem"ubuntu@<Your PublicDNS(IPv4)>  

指令是這樣的：

ssh -i "aws_key.pem"ubuntu@ec2-54-202-223-197.us-west-2.compute.amazonaws.com  

還要記住一點(diǎn)，如果關(guān)閉了實(shí)例，Public DNS可能會(huì)改變。

這時(shí)機(jī)器已經(jīng)準(zhǔn)備好了。這臺(tái)機(jī)器里包含了不同的環(huán)境，擁有各種可能所需的庫。這臺(tái)特別的機(jī)器還有擁有各種不同版本python的MXNet、Tensorflow和 Pytorch。這些已都預(yù)裝好，可以立即開始運(yùn)作了。

創(chuàng)建JupyterNotebook

如果想要充分發(fā)揮設(shè)備的性能，還有幾樣?xùn)|西必不可少。其中一項(xiàng)就是JupyterNotebooks。我推薦使用TMUX和tunneling在機(jī)器上創(chuàng)建Jupyter Notebooks。

使用TMUX來運(yùn)行Jupyter Notebook  

首先使用TMUX在實(shí)例上運(yùn)行Jupyter notebook。主要采用TMUX是因?yàn)榧词菇K端連接丟失，Jupyter Notebook仍可以運(yùn)行。因此，我們需要使用以下代碼來創(chuàng)建一個(gè)新的TMUX會(huì)話：

tmux new -s StreamSession  

完成后，你將會(huì)看到新的界面，底部有一個(gè)綠色的邊框。接下來可以使用常規(guī)Jupyternotebook指令來創(chuàng)建自己的Jupyter Notebook。如下圖：

復(fù)制登錄的URL很有幫助，這樣之后登錄Jupyter Notebook時(shí)能夠得到一個(gè)令牌。令牌是這樣的：http://localhost:8888/?token=
5ccd01f60971d9fc97fd79f64a5bb4ce79f4d96823ab7872

下一步是分離TMUX 會(huì)話，這樣一來即使關(guān)閉SSH shell也可以繼續(xù)在后臺(tái)運(yùn)行。只需按下Ctrl+B，然后D(按D時(shí)不要按Ctrl )就會(huì)返回到初始界面，你就會(huì)看到消息：已經(jīng)斷開當(dāng)前會(huì)話。

如果有需要，也可以使用下面的代碼來再次重連會(huì)話：

tmux attach -t StreamSession  

2.SSH 隧道訪問本地瀏覽器上的Jupyter notebook

第二步是進(jìn)入Amazon instance，在本地瀏覽器上獲取Jupyter Notebook?？梢钥吹?，實(shí)際上JupyterNotebook正在云實(shí)例的本地主機(jī)上運(yùn)行。那么我們?cè)撊绾芜M(jìn)行訪問呢？SSH 隧道。相當(dāng)于是直接地在填空。只需在本地機(jī)器終端窗口上使用以下指令：

ssh -i "aws_key.pem" -L<Local Machine Port>:localhost:8888 ubuntu@<Your PublicDNS(IPv4)>  

這種情況使用的是：

ssh -i "aws_key.pem" -L8001:localhost:8888 ubuntu@ec2-54-202-223-197.us-west-2.compute.amazonaws.com  

意味著如果我在本地機(jī)器瀏覽器上打開本地主機(jī)：8001，就一定能使用JupyterNotebook?，F(xiàn)在輸入之前步驟中保存的令牌來訪問notebook。令牌是
5ccd01f60971d9fc97fd79f64a5bb4ce79f4d96823ab7872

用自己的令牌登錄，這下子就完全擁有自己的notebook啦！

現(xiàn)在選擇任一想要的環(huán)境就可以著手進(jìn)行新的項(xiàng)目了。可以是Tensorflow或Pytorch，或是兩者一起的最佳版本。這個(gè)notebook可不會(huì)讓你失望的。

調(diào)試

一旦機(jī)器重新啟動(dòng)，可能會(huì)面臨一些NVIDIA顯卡上的問題。我就碰到了nvidia-smi指令停止工作的情況。如果遇到這個(gè)問題，可以通過從NVIDIA網(wǎng)站下載圖形驅(qū)動(dòng)程序來解決。

以上是我選擇的特定AMI的設(shè)置。點(diǎn)擊搜索，就能看到下一頁：

只需右鍵單擊并復(fù)制鏈接地址即可復(fù)制下載鏈接。然后在機(jī)器上運(yùn)行以下指令。你可能需要在這上面更改鏈接地址和文件名。

# When nvidia-smi doesnt work:wget https://www.nvidia.in/content/DriverDownload-March2009/confirmation.php?url=/tesla/410.129/NVIDIA-Linux-x86_64-410.129-diagnostic.run&lang=in&type=Teslasudo shNVIDIA-Linux-x86_64-410.129-diagnostic.run --no-drm --disable-nouveau --dkms--silent --install-libglvndmodinfo nvidia | head -7sudo modprobe nvidia  

停止實(shí)例

好啦，你已經(jīng)創(chuàng)建并開始運(yùn)行深度學(xué)習(xí)機(jī)器了，可以想怎么使用就怎么使用。

有一點(diǎn)要注意，記住停止工作時(shí)要停止實(shí)例，以免不在實(shí)例上工作時(shí)還要向Amazon支付費(fèi)用。此外，在這臺(tái)機(jī)器上再次登陸時(shí)，需要從instance頁面獲取Public DNS（IPv4）以防更改。

建立一個(gè)深度學(xué)習(xí)環(huán)境是一件很重要的事情?，F(xiàn)在你已經(jīng)學(xué)會(huì)了如何在最短的時(shí)間內(nèi)，使用深度學(xué)習(xí) CommunityAMI、TMUX和 Tunneling在EC2為Jupyter Notebooks創(chuàng)建了一個(gè)新的深度學(xué)習(xí)服務(wù)器。這臺(tái)預(yù)裝的服務(wù)器里有所有可能在工作中需要的深度學(xué)習(xí)庫，并能即時(shí)運(yùn)作。

所以，你還在等什么呢？