今天主要介紹下我們組剛剛開(kāi)源出來(lái)的一個(gè)自動(dòng)化部署的工具 essay ，功能在readme上已經(jīng)介紹的很詳細(xì)了，這篇文章只是介紹下外圍的情況，產(chǎn)生的環(huán)境，一些決策的考慮。

誕生之初

事情還得從頭開(kāi)始說(shuō)起，從那些自動(dòng)化的fabric文件開(kāi)始，也從我剛?cè)肼毸押?fù)責(zé)手機(jī)搜狐開(kāi)發(fā)開(kāi)始說(shuō)起。我參與開(kāi)發(fā)的時(shí)候項(xiàng)目的部署已經(jīng)是自動(dòng)化了，不過(guò)并沒(méi)有抽象出一個(gè)工具來(lái)。那會(huì)兒主要由兩個(gè)項(xiàng)目，一個(gè)基于tornado，一個(gè)基于Django。兩個(gè)項(xiàng)目都有各自的發(fā)版方法，但邏輯基本一致。

兩個(gè)項(xiàng)目的上線流程都是先打包（py的源碼包），然后在通過(guò)內(nèi)部的pypiserver安裝到各個(gè)服務(wù)器上，由supervisord啟動(dòng)、管理。

隨著業(yè)務(wù)的發(fā)展，新的項(xiàng)目逐漸多了起來(lái)。這時(shí)一個(gè)新的項(xiàng)目開(kāi)發(fā)流程是這樣的：先從就項(xiàng)目中把fabfile（fabric的配置文件）和supervisord配置文件以及setup.py文件拷貝過(guò)來(lái)，然后再往里面填源碼。流程依然是一致的。

這就是一開(kāi)始的狀態(tài)，混沌中帶著那么一點(diǎn)秩序。

開(kāi)始造輪子

說(shuō)起來(lái)，程序員都是十足的懶人。這樣copy的方式多少讓自己都有點(diǎn)不忍直視，于是 @熊總 建議我們不如造這樣一個(gè)輪子，讓所有的項(xiàng)目都能在這上面滾起來(lái)。于是把這個(gè)造輪子的任務(wù)交給我來(lái)做，剛好我也是懶人一個(gè)，于是很happy的開(kāi)始了。

要造一個(gè)通用的輪子，必然是要把項(xiàng)目中用到的部分抽象出來(lái)，哪些部分是通用的呢，這只有深切參與到項(xiàng)目的開(kāi)發(fā)和部署中才能體會(huì)得到。剛好在那段時(shí)間之前，我也參與了修改bug，打包，部署上線的過(guò)程，包括copy那些打包的腳本和配置文件。

有了上面的經(jīng)驗(yàn)，只要把必需的東西輸出就行了?？偨Y(jié)了一下，當(dāng)時(shí)項(xiàng)目的打包和上線涉及到這幾個(gè)方面：:

1. 打包 —— 生成版本號(hào)，渲染setup中的版本和項(xiàng)目信息，然后放到pypi server的packages目錄下
2. 虛擬環(huán)境 —— 在新的服務(wù)器上創(chuàng)建虛擬環(huán)境
3. 安裝項(xiàng)目 —— 從pypiserver安裝項(xiàng)目到虛擬環(huán)境中
4. 啟動(dòng)supervisord —— 管理項(xiàng)目進(jìn)程
5. 切換nginx配置 —— 我們有兩套環(huán)境在線上同時(shí)運(yùn)行，可以稱為a環(huán)境和b環(huán)境，主要用于上線以及線上突然出現(xiàn)問(wèn)題時(shí)回滾

細(xì)分的話就上面五個(gè)步驟，不太理解的可以去看看我們的essay說(shuō)明。也就是只要滿足了這些功能，那么這輪子就算是完成了。另外還考慮到為了便于新項(xiàng)目的開(kāi)發(fā)，還需要能自動(dòng)創(chuàng)建具備這些功能的項(xiàng)目模板。這其實(shí)是最主要的痛點(diǎn)，總是拷貝什么的最沒(méi)技術(shù)含量了。

于是添加了創(chuàng)建項(xiàng)目并且初始化模板，然后還能初始化到gitlab或者github上。

這樣的工具儼然是項(xiàng)目開(kāi)發(fā)部署、居家旅行之良品。

爭(zhēng)論之處

需求明確之后，怎么組織項(xiàng)目的代碼呢，對(duì)于正常的web項(xiàng)目來(lái)說(shuō)，沒(méi)有啥難度的，都有固定的模板。對(duì)于這個(gè)工具類的東西，還是***次考慮，怎么設(shè)計(jì)才能更合理——易擴(kuò)展、易維護(hù)。在翻了好久django的源代碼之后，我開(kāi)始按照一個(gè)core，然后一些tools的思路開(kāi)始碼代碼。

我的考慮是，這個(gè)工具應(yīng)該有一個(gè)核心的功能，然后是周圍的一些輔助工具。遺憾的是，這種思路***還是被推翻了。熊總的意思是應(yīng)該參考linux的pipeline來(lái)設(shè)計(jì)，所有的功能都應(yīng)能單獨(dú)拿出來(lái)。于是底層的工具模塊都按照這個(gè)邏輯被他重寫了（so，如果你們覺(jué)得那部分代碼有槽點(diǎn)盡管吐好了，我不介意的，^_^)。

代碼結(jié)構(gòu)的爭(zhēng)論還好些，基于經(jīng)驗(yàn)就能看出哪種更好。但是一些邏輯的設(shè)計(jì)卻不是經(jīng)驗(yàn)?zāi)艿玫降?，就像軟件開(kāi)發(fā)沒(méi)有銀彈一樣，各自的業(yè)務(wù)場(chǎng)景都不同，沒(méi)有統(tǒng)一的解決方案。

另外一個(gè)爭(zhēng)執(zhí)的點(diǎn)是部署方式。如果你已經(jīng)看了我們的文檔，或者已經(jīng)理解了上面的部署方式。你可能已經(jīng)疑惑了：“為毛你們不直接用git部署呢?還可以打tag什么的。” 這也是我們之前在考慮的問(wèn)題。

擺在我們面前的有兩條路，一條路是用git來(lái)部署代碼，另外一條路是用pip install項(xiàng)目包來(lái)部署。我們選擇了后者。原因是這樣的：

1. 歷史原因 —— 之前的項(xiàng)目一直在用這樣的方式

2. 服務(wù)器配置的成本 —— 這個(gè)我覺(jué)得是最主要的，對(duì)比兩種方式，git部署的話服務(wù)器要統(tǒng)一安裝git環(huán)境，但是我們申請(qǐng)到新的服務(wù)器沒(méi)有這東西，我們得自己安裝；另外還有一個(gè)包依賴的問(wèn)題。而使用pip的方式安裝，不需要做多余的處理，新來(lái)機(jī)器，給了ip，直接就能部署上去。

大概就基于上述的兩個(gè)原因，選擇了用pip install的方式來(lái)部署了。有什么沒(méi)說(shuō)到得地方，有同事路過(guò)留言補(bǔ)充下吧。

開(kāi)放的初衷

有了上面的過(guò)程，也就產(chǎn)生了這么個(gè)工具： essay 。在項(xiàng)目完成之后，后面的時(shí)間里我們劃分了不同的組，又開(kāi)始負(fù)責(zé)新的項(xiàng)目。這個(gè)工具算是一直在我們的項(xiàng)目開(kāi)發(fā)中起著重要的作用。我們覺(jué)得這個(gè)工具算是我們?cè)谶^(guò)去一年多中開(kāi)發(fā)和部署經(jīng)驗(yàn)的總結(jié)，開(kāi)放出來(lái)應(yīng)該會(huì)有些價(jià)值，無(wú)論是對(duì)于開(kāi)發(fā)者還是對(duì)于團(tuán)隊(duì)。

我自己是在這個(gè)工具的開(kāi)發(fā)過(guò)程中學(xué)到很多東西，我想任何一個(gè)渴望了解項(xiàng)目從開(kāi)發(fā)到部署整個(gè)流程的開(kāi)發(fā)人員都應(yīng)該能從中有所收益。

開(kāi)放的目的除了分享經(jīng)驗(yàn)，還有一個(gè)重要的作用就是交流。我們所積累的經(jīng)驗(yàn)在業(yè)內(nèi)并不一定是***的，肯定還有更多更好的解決方案，而這些東西都要來(lái)源于交流。這樣才能相互促進(jìn)，而相互促進(jìn)才是開(kāi)放和開(kāi)源的初衷。

項(xiàng)目地址：https://github.com/SohuTech/essay

補(bǔ)充一些數(shù)據(jù)

手機(jī)搜狐網(wǎng)（m.sohu.com)每天有幾億的PV，在這樣的情況下，發(fā)現(xiàn)線上bug，一般情況下從修復(fù)bug到上線不會(huì)超過(guò)15分鐘。并且在上線的時(shí)候用戶是不會(huì)感覺(jué)到頁(yè)面訪問(wèn)慢或者打不開(kāi)的。在新功能點(diǎn)或者bug多的情況下，一天上線十幾個(gè)版本的情況也是有的。每次上線都不會(huì)對(duì)用戶造成影響的關(guān)鍵在于我們部署了a，b兩套環(huán)境。

之前在我參與手機(jī)搜狐網(wǎng)開(kāi)發(fā)時(shí)后臺(tái)有100多臺(tái)虛機(jī)，在遇到熱點(diǎn)事件的時(shí)候會(huì)擴(kuò)充一倍。在這種情況下，新功能上線的過(guò)程我印象中不會(huì)超過(guò)5分鐘，如果關(guān)閉fabric的success的console輸出以及開(kāi)啟并行模式，發(fā)布的速度會(huì)更快。