12月1日-2日，Velocity大會(huì)北京站正式開(kāi)幕，這也是Velocity在圣克拉拉、紐約、阿姆斯特丹后的全球第四站。來(lái)自谷歌、阿里巴巴、騰訊、網(wǎng)易、百度、京東等國(guó)內(nèi)外知名互聯(lián)網(wǎng)公司的技術(shù)專家共聚一堂，其中網(wǎng)易云解決方案總架構(gòu)師劉超受邀出席，同與會(huì)者分享了網(wǎng)易蜂巢基于kubernetes的公有云運(yùn)維實(shí)踐。

[[178257]]

隨著云計(jì)算的普及，越來(lái)越多的企業(yè)開(kāi)始在云端部署自己的應(yīng)用，如何對(duì)這些應(yīng)用進(jìn)行管理、調(diào)度、優(yōu)化、運(yùn)維等，以實(shí)現(xiàn)應(yīng)用的快速部署、快速迭代和實(shí)時(shí)監(jiān)控，已然成為云計(jì)算服務(wù)的一大難題。

從2012年正式上線私有云平臺(tái)到2015年推出網(wǎng)易蜂巢容器云平臺(tái)，再到2016年上線DevOps和微服務(wù)。作為網(wǎng)易云的基礎(chǔ)設(shè)施云服務(wù)，網(wǎng)易蜂巢一直走在行業(yè)前列，并形成了新一代云計(jì)算的雛形。

截止到目前，采用業(yè)界最先進(jìn)的容器編排技術(shù)Kubernetes，網(wǎng)易蜂巢支撐了網(wǎng)易內(nèi)部95%以上的互聯(lián)網(wǎng)業(yè)務(wù)，包括擁有億級(jí)用戶的網(wǎng)易考拉海購(gòu)和網(wǎng)易云音樂(lè)。在提供高可用和高性能服務(wù)的同時(shí)，網(wǎng)易蜂巢在認(rèn)證鑒權(quán)、網(wǎng)絡(luò)隔離、容器安全、任務(wù)調(diào)度、集群擴(kuò)容、監(jiān)控告警等方面積累了豐富的運(yùn)維經(jīng)驗(yàn)。

劉超在Velocity大會(huì)介紹說(shuō)，網(wǎng)易蜂巢的運(yùn)維實(shí)踐可以追溯到IaaS層、PaaS層和CaaS層。

在硬件層面，網(wǎng)易蜂巢采用了五星級(jí)機(jī)房標(biāo)準(zhǔn)，實(shí)現(xiàn)多線BGP網(wǎng)絡(luò)接入、萬(wàn)兆網(wǎng)絡(luò)互聯(lián)和全SSD存儲(chǔ)。

基于硬件，網(wǎng)易蜂巢基于OpenStack自主研發(fā)了IaaS服務(wù)，實(shí)現(xiàn)了高性能的計(jì)算虛擬化，網(wǎng)絡(luò)虛擬化和存儲(chǔ)虛擬化。對(duì)于計(jì)算虛擬化方面，網(wǎng)易蜂巢定制KVM系統(tǒng)鏡像，對(duì)原有厚重的虛擬機(jī)鏡像進(jìn)行了內(nèi)核裁剪，并通過(guò)實(shí)現(xiàn)云主機(jī)IP靜態(tài)化，優(yōu)化OpenStack創(chuàng)建云主機(jī)流程，從而使得本來(lái)分鐘級(jí)別的虛擬機(jī)創(chuàng)建過(guò)程縮減為秒級(jí)別。對(duì)于網(wǎng)絡(luò)存儲(chǔ)化方面，基于Openvswitch和SDN技術(shù)，實(shí)現(xiàn)了虛擬機(jī)主機(jī)的高速互聯(lián)，另外針對(duì)網(wǎng)絡(luò)安全和網(wǎng)絡(luò)攻擊，通過(guò)DPDK技術(shù)，在用戶態(tài)可以實(shí)現(xiàn)網(wǎng)絡(luò)包從二層到四層的過(guò)濾，防止MAC和IP網(wǎng)絡(luò)欺騙，對(duì)于網(wǎng)絡(luò)性能，通過(guò)linux的tc技術(shù)結(jié)合Openvswitch，實(shí)現(xiàn)基于租戶的網(wǎng)絡(luò)性能隔離和QoS。

基于IaaS層，在數(shù)據(jù)庫(kù)、緩存服務(wù)、對(duì)象存儲(chǔ)等方面，網(wǎng)易蜂巢也通過(guò)自研的方式實(shí)現(xiàn)了高可用、高性能的PaaS。

網(wǎng)易蜂巢作為容器云平臺(tái)，相比于虛擬機(jī)實(shí)現(xiàn)了以資源為核心到以應(yīng)用為核心的轉(zhuǎn)變，用戶可以通過(guò)去狀態(tài)化，容器化，和DevOps，實(shí)現(xiàn)應(yīng)用的動(dòng)態(tài)擴(kuò)展，負(fù)載均衡，快速迭代。以DevOps為例，網(wǎng)易蜂巢提供了豐富的運(yùn)維工具，不僅解決了線上線下環(huán)境一致性的問(wèn)題，還打通了研發(fā)和運(yùn)維部門(mén)，使得研發(fā)能夠通過(guò)蜂巢自動(dòng)完成運(yùn)維工作，而運(yùn)維部門(mén)也可以更加聚焦于服務(wù)的連續(xù)性、用戶的體驗(yàn)以及可靠性，使得整個(gè)組織協(xié)作更加高效。

從虛擬機(jī)過(guò)度到容器，對(duì)于一些傳統(tǒng)企業(yè)來(lái)講，一步實(shí)現(xiàn)微服務(wù)化和DevOps還是比較困難的，需要長(zhǎng)時(shí)間的應(yīng)用改造和開(kāi)發(fā)流程的完善，為了幫助客戶盡快的實(shí)現(xiàn)應(yīng)用的容器化，網(wǎng)易蜂巢推出了有狀態(tài)容器。一個(gè)容器啟動(dòng)的時(shí)候，會(huì)將容器的配置和容器的鏡像放在一個(gè)本地文件夾里面，Docker Daemon通過(guò)讀取這個(gè)文件夾，來(lái)維護(hù)當(dāng)前主機(jī)上的所有的容器列表。網(wǎng)易蜂巢通過(guò)定制化Docker，在容器啟動(dòng)的時(shí)候，將容器的配置和鏡像保存在外部的統(tǒng)一存儲(chǔ)上面，從而使得到容器所在主機(jī)宕機(jī)的時(shí)候，在另外的主機(jī)上，可以掛載外部的統(tǒng)一存儲(chǔ)，從而保證保存在硬盤(pán)上面的數(shù)據(jù)在容器跨主機(jī)遷移的時(shí)候，不丟失。

此外，網(wǎng)易蜂巢的技術(shù)團(tuán)隊(duì)還進(jìn)行了一系列的容器層面的優(yōu)化和編排層面優(yōu)化，比如說(shuō)網(wǎng)易蜂巢在容器方面提供了虛擬化扁平二層網(wǎng)絡(luò)，基于VXLAN實(shí)現(xiàn)租戶隔離，可以使得用戶不通過(guò)NAT，而是通過(guò)傳統(tǒng)虛擬機(jī)的網(wǎng)絡(luò)互聯(lián)模式來(lái)進(jìn)行容器間的互聯(lián)，從而使得容器化對(duì)于用戶應(yīng)用的侵入性很少。

服務(wù)微服務(wù)化之后，容器數(shù)量會(huì)比較多，如果查找問(wèn)題需要對(duì)于每個(gè)容器的日志進(jìn)行查看，會(huì)比較難定位問(wèn)題，網(wǎng)易蜂巢平臺(tái)提供統(tǒng)一的日志收集，分析，搜索服務(wù)，用戶可以通過(guò)關(guān)鍵字進(jìn)行搜索，將某個(gè)訂單號(hào)在各個(gè)應(yīng)用中的日志全部查詢出來(lái)，則問(wèn)題就一目了然了。

除了問(wèn)題的定位，性能瓶頸的定位也是一個(gè)挑戰(zhàn)，網(wǎng)易蜂巢引入服務(wù)端 APM 解決細(xì)粒度性能分析，通過(guò)不同應(yīng)用之間的調(diào)用鏈，迅速發(fā)掘性能瓶頸。

在服務(wù)編排上， Kubernates默認(rèn)的namespace只隔離replication controller，pod 等資源，網(wǎng)易蜂巢實(shí)現(xiàn)了節(jié)點(diǎn)、存儲(chǔ)、網(wǎng)絡(luò)的租戶隔離，從而實(shí)現(xiàn)不同的租戶不共享云主機(jī)節(jié)點(diǎn)，使用完全獨(dú)立的VXLAN ID，滿足公有云模式下租戶的安全隔離需求。

同時(shí)劉超表示，在這個(gè)“唯快不破”的互聯(lián)網(wǎng)時(shí)代，網(wǎng)易蜂巢將助力企業(yè)實(shí)現(xiàn)微服務(wù)化。

在如圖中的架構(gòu)里面，用戶僅僅需要關(guān)心自己的應(yīng)用的開(kāi)發(fā)流程，實(shí)現(xiàn)微服務(wù)和DevOps，至于底層的IaaS層的計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)，中間的PaaS的數(shù)據(jù)庫(kù)，緩存，對(duì)象存儲(chǔ)，上層的CaaS層的持續(xù)集成、鏡像倉(cāng)庫(kù)、服務(wù)發(fā)現(xiàn)、服務(wù)編排、日志服務(wù)、APM等，以及對(duì)外的負(fù)載均衡和CDN服務(wù)，可以全部交給網(wǎng)易蜂巢平臺(tái)來(lái)實(shí)現(xiàn)。更重要的是，網(wǎng)易蜂巢遵循開(kāi)放、標(biāo)準(zhǔn)、穩(wěn)定的原則，所有的層面全部使用開(kāi)源的軟件和開(kāi)放的接口，使得服務(wù)本身易遷移、無(wú)綁定。

Web性能、運(yùn)維、DevOps、容器、微服務(wù)等成為今年Velocity北京站的核心議題，也預(yù)示了云計(jì)算和企業(yè)級(jí)服務(wù)發(fā)展的趨勢(shì)。網(wǎng)易蜂巢作為新一代云計(jì)算平臺(tái)在DevOps、微服務(wù)等方面有著出色的表現(xiàn)，未來(lái)將繼續(xù)為客戶提供穩(wěn)定、可靠、高質(zhì)量的云服務(wù)。