運維發(fā)展歷程與工業(yè)革命異曲同工，工業(yè)的三次革命分別是機(jī)械化、電氣化與信息化，運維則是原始手工、腳本與自動化工具。那么工業(yè)4.0悄然來臨的今天，智能化又將會給運維帶來哪些影響？坦白講，AIOps是新概念，目前并沒有準(zhǔn)確且廣泛使用的定義，對AIOps的認(rèn)知也會隨實踐、反思和討論的不斷積累發(fā)生演變。但AIOps所指代的整體趨勢是毋庸置疑的，智能化將逐步走進(jìn)IT行業(yè)乃至社會生活的各個方面。

今天， 由51CTO 主辦的第十六期以“Tech Neo”為主題的技術(shù)沙龍活動如期舉行，此次沙龍邀請了來自陌陌科技SRE團(tuán)隊負(fù)責(zé)人王景學(xué)、去哪兒網(wǎng)DevOps工程師葉璐和ThoughtWorks高級咨詢師顧宇。希望講師們這些基于平臺、建站、深度學(xué)習(xí)等不同方式的自動化運維實踐經(jīng)驗，多少可以為運維/開發(fā)人員帶來一些的新思路。

[[207897]]

自動化運維與 DevOps”沙龍現(xiàn)場

陌陌在k8s容器方面的實踐

首位演講的是王景學(xué)老師，主要分享陌陌在k8s容器方面的實踐和應(yīng)用遷移方面的一些經(jīng)驗。當(dāng)時陌陌選用k8s進(jìn)行實踐的主要原因是，應(yīng)用發(fā)布時間過長、緊急擴(kuò)容吃力，效率低且應(yīng)用運行環(huán)境軟件版本不一致，配置復(fù)雜，維護(hù)成本比較高，硬件資源利用率不高，總體成本比較高。

k8s方面的設(shè)計目標(biāo)有五點，分別是：提高服務(wù)的可用性，可管理性、使用k8s來管理docker集群、開發(fā)不需要關(guān)心服務(wù)器、提高資源隔離性，實現(xiàn)服務(wù)混合部署，應(yīng)用級別基礎(chǔ)資源監(jiān)控，服務(wù)平滑遷移等。針對這些問題和目標(biāo)，通過自研發(fā)布系統(tǒng)，基于docker和k8s的容器管理平臺，便于開發(fā)者便捷地部署自己的應(yīng)用程序。

如下圖，是K8s架構(gòu)

針對K8s架構(gòu)，王景學(xué)老師還分享了基于location和group標(biāo)簽的集群調(diào)度、基于ovs的網(wǎng)絡(luò)節(jié)點架構(gòu)和實現(xiàn)、集群在阿里云擴(kuò)展和支持，測試環(huán)境中有狀態(tài)應(yīng)用的嘗試、容器基礎(chǔ)資源監(jiān)控方面的指標(biāo)等，還有在應(yīng)用遷移過程中，遇到了Swap、cpu軟中斷及資源利用率，應(yīng)用白名單等問題。

于未來，希望可以實現(xiàn)對應(yīng)用請求量，線程數(shù)，流量等指標(biāo)的監(jiān)控。基準(zhǔn)值部分，達(dá)到單實例可承載請求量，線程數(shù)，流量。伸縮方面，做到最小保留實例數(shù)，最大擴(kuò)容實例數(shù)，根據(jù)監(jiān)控反饋和基準(zhǔn)值計算需要擴(kuò)容和縮容的實例數(shù), 按照各個集群資源余量按比例伸縮。

去哪兒網(wǎng)基于Kubernetes/Ceph的機(jī)器學(xué)習(xí)云實踐

第二位演講者是有豐富云平臺建設(shè)、運維、容器云落地等經(jīng)驗的葉璐老師，演講的主題是去哪兒網(wǎng)基于Kubernetes/Ceph的機(jī)器學(xué)習(xí)云實踐。

葉璐老師以深度學(xué)習(xí)的興起為演講開端，這要涉及深度學(xué)習(xí)的概念、興起的原因、深度學(xué)習(xí)加速器-GPU等方面的內(nèi)容。緊接著分享了深度學(xué)習(xí)在Qunar的應(yīng)用，像智能客服，拿去花用戶信用評級，酒店推薦等都是經(jīng)典實踐。

演講最核心的部分是如何應(yīng)對GPU使用資源的一系列問題，如環(huán)境無隔離、采購周期長、 資源利用率低、各種工具的環(huán)境部署成本高等。

針對這些問題，去哪網(wǎng)采用的方式是構(gòu)建GPU云，第一期的目標(biāo)是GPU資源云化, 持業(yè)務(wù)線同學(xué)快捷定制機(jī)器學(xué)習(xí)應(yīng)用，秒建秒刪，一鍵釋放GPU資源，建立統(tǒng)GPU 資源申請和管理等入口到Portal，降低業(yè)務(wù)線同學(xué)的接入和學(xué)習(xí)成本。做到環(huán)境隔離同時保證訓(xùn)練數(shù)據(jù)在分布式環(huán)境下的持久化和可靠性，以及支持Tensorflow全工具鏈。

如下圖，是機(jī)器學(xué)習(xí)應(yīng)用的一種部署情況

葉璐表示，目前一期已經(jīng)完成正在公測中，使用前后對比，在環(huán)境秒起秒刪、環(huán)境隔離給開發(fā)同學(xué)提供極大的便利。在對接Ceph后，數(shù)據(jù)的可用性和可靠性大大提升，不用擔(dān)心因為更換機(jī)器帶來的訓(xùn)練數(shù)據(jù)遷移，丟失。

GPU云基礎(chǔ)環(huán)境固化，讓開發(fā)同學(xué)免受環(huán)境安裝之苦是第一步?，F(xiàn)在Spectrum第二期也在開發(fā)中，開發(fā)工程師隨時固化到Kubernetes Post-Install，提供了更高的環(huán)境定制自由度；同時Tensorflow serving的上線，為機(jī)器學(xué)習(xí)應(yīng)用真正落地提供了更完整的pipeline，同時還有其他的優(yōu)化，上下游的數(shù)據(jù)獲取管道，預(yù)處理流程優(yōu)化，Jupyter插件系統(tǒng)集成。

用基礎(chǔ)設(shè)施即代碼自動化架構(gòu)遷移

最后一位演講人是專注于 DevOps、持續(xù)交付，微服務(wù)以及全功能產(chǎn)品團(tuán)隊的設(shè)計、實踐、落地以及經(jīng)驗推廣的顧宇老師。他的演講主題是用基礎(chǔ)設(shè)施即代碼自動化架構(gòu)遷移。

演講由一個真實的架構(gòu)遷移案例展開，分享了在一個東南亞互聯(lián)網(wǎng)企業(yè)并購案例中的 DevOps 的實施案例。通過在 AWS上使用 Ansible 和 CloudFormation作為基礎(chǔ)設(shè)施即代碼的工具實現(xiàn)產(chǎn)品架構(gòu)的遷移。

在互聯(lián)網(wǎng)企業(yè)的并購過程中，不光是組織結(jié)構(gòu)的融合，更是產(chǎn)品架構(gòu)和產(chǎn)品團(tuán)隊的融合。然而在不同的企業(yè)文化、技術(shù)能力甚至是不同的國家法律法規(guī)上的融合更多的是看不到的隱形成本。

通過 DevOps 的基礎(chǔ)設(shè)施即代碼實踐，把架構(gòu)以及開發(fā)/運維實踐固化為配置和代碼。讓所有的團(tuán)隊和成員能夠依照同樣的規(guī)則進(jìn)行開發(fā)和運維。通過自動化的手段加速團(tuán)隊和產(chǎn)品和架構(gòu)的融合過程，提升整個組織的技術(shù)水平。

首先，根據(jù)康威定理，組織和架構(gòu)和基礎(chǔ)設(shè)施架構(gòu)要保持一致，就可以根據(jù)未來的組織結(jié)構(gòu)設(shè)計系統(tǒng)架構(gòu)，可以減少系統(tǒng)架構(gòu)演進(jìn)中的適應(yīng)性浪費。

其次，把整個架構(gòu)分層次封裝：基礎(chǔ)設(shè)施、應(yīng)用和數(shù)據(jù) 三種類型分別進(jìn)行封裝：

1. 基礎(chǔ)設(shè)施通過配置管理技術(shù)封裝在 Ansible 的 Playbook里，把 Ansible 作為 Cloudformation的引擎。
2. 應(yīng)用通過 Docker 鏡像進(jìn)行封裝，根據(jù)不同的地區(qū)在構(gòu)建過程中進(jìn)行合并。
3. 數(shù)據(jù)通過自動化的備份腳本和自動化的遷移腳本（Migration Scripts）實時保證可用性。

然后，根據(jù)使用場景，設(shè)計基礎(chǔ)設(shè)施即代碼的架構(gòu)。能夠自動的把整個架構(gòu)自動的搭建和還原。根據(jù)使用場景設(shè)計安全策略，避免人為操作，減少人為故障。

顧宇老師表示，基礎(chǔ)設(shè)計即代碼和基礎(chǔ)設(shè)施是類和對象的關(guān)系。根據(jù)不同的場景，可以采用面向?qū)ο笤瓌t進(jìn)行邏輯分層。隔離不同場景的關(guān)注點。例如：持續(xù)交付關(guān)注Docker 鏡像的部署和變更，應(yīng)用維護(hù)關(guān)注日志的查詢和操作。

最后在該案例中，顧宇老師總結(jié)了利用基礎(chǔ)設(shè)施即代碼技術(shù)的幾個關(guān)鍵要點：

• 架構(gòu)遷移要為組織結(jié)構(gòu)遷移服務(wù)
• 把自動化和基礎(chǔ)設(shè)施即代碼當(dāng)做制度使用（康威定理和逆定理）
• 把基礎(chǔ)設(shè)施即代碼當(dāng)做一個產(chǎn)品開發(fā)
• 安全的架構(gòu)和架構(gòu)的安全
• 基礎(chǔ)設(shè)施邏輯分層基礎(chǔ)設(shè)施即代碼本質(zhì)上是一套類庫，從面向?qū)ο蟮脑瓌t考慮基礎(chǔ)設(shè)施的設(shè)計。
• 構(gòu)建每日可用架構(gòu)

[[207898]]

活動結(jié)束時，現(xiàn)場很多開發(fā)者還意猶未盡，圍著諸位老師就自動化運維的部署、遷移等方面問題，進(jìn)行探討交流。

隨智能化在各個應(yīng)用領(lǐng)域的落地及實踐，IT運維也將迎來一個智能化運維的新時代。讓我們共同見微知著、未雨綢繆，當(dāng)機(jī)器能越來越智能地工作，我們也要變得越來越聰明。

51CTO Tech Neo技術(shù)沙龍是51CTO在2016年開始定期組織的IT技術(shù)人員線下交流活動，目前僅限北京地區(qū)，周期為每月1次，每期關(guān)注一個話題，范圍涉及大數(shù)據(jù)、云計算、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)等多個技術(shù)領(lǐng)域。