[[151855]]

分享人：

　　蘇永華：盛大游戲高級研究員，負責盛大游戲及G云網(wǎng)絡架構(gòu)規(guī)劃及運維。

　　在此之前先后就職于中國郵政負責綠卡系統(tǒng)運維、騰訊公司負責數(shù)據(jù)中心的建設(shè)及規(guī)劃。在網(wǎng)絡、數(shù)據(jù)中心規(guī)劃、建設(shè)方面擁有比較豐富的經(jīng)驗。

　　分享實錄

　　目前市面上的云產(chǎn)品層出不窮，對于用戶來說選擇一款適合于自己業(yè)務的云至關(guān)重要。這要求用戶選擇的云產(chǎn)品除了與自己的業(yè)務需求契合度高之外，還要運行穩(wěn)定、可用率高。

　　對于各種云平臺來講除了技術(shù)上的差異外，有一點是相同的，他們的資源都是部署在IDC機房和運營商網(wǎng)絡上的。因此選擇一個穩(wěn)定的IDC和網(wǎng)絡供應商來承載各自的云平臺是各云服務提供商的首要任務。

　　之前力哥已share過G云COO馮總的相關(guān)IDC選擇的文章，在文中著重對個運營商網(wǎng)絡和節(jié)點做了闡述，因此，我會在其他方面多說一點，經(jīng)驗不足支持請大家多多包涵。

　　選擇運營商骨干節(jié)點所在地區(qū)的IDC、網(wǎng)絡一般為單線，電信和聯(lián)通骨干節(jié)點所在地一般都是省會城市，IDC和網(wǎng)絡普遍具有以下特點：

　　1.建設(shè)等級高，基礎(chǔ)設(shè)施好：所建設(shè)的IDC等級相對較高，屬于運營商4星級以上機房，電力、空調(diào)、柴發(fā)等基礎(chǔ)設(shè)施都具有N+1或N+N的冗余，高可用性較好。一般不會因基礎(chǔ)設(shè)施問題導致云平臺服務小時級別的中斷。

　　2.運維經(jīng)驗豐富、運維力量強：由于是骨干節(jié)點，IDC和網(wǎng)絡的重要性較強，運營商會配備本區(qū)域最富有經(jīng)驗的維護人員團隊，因此無論基礎(chǔ)設(shè)備問題還是網(wǎng)絡方面的問題，均可以得到比較迅速的定位或者協(xié)調(diào)資源來解決。

　　3.網(wǎng)絡接入層級高、擴展方便：網(wǎng)絡方面，骨干節(jié)點地區(qū)IDC一般一跳就會至省級或集團骨干網(wǎng)，甚至有的重點IDC核心設(shè)備直連骨干網(wǎng)C級設(shè)備。與其他地區(qū)相比減少了很多中間傳輸線路，降低了故障率且在帶寬擴展性也非常的便利。

　　4.運營規(guī)范、服務到位：與其他地區(qū)相比運營IDC的時間都比較長而且有比較規(guī)范和完善的SLA，在服務方面比較到位?？梢詾榭蛻羰s大量的前期溝通成本。

　　從客戶群體來看排名靠前的互聯(lián)網(wǎng)企業(yè)例如BAT等都在這些地區(qū)有大量的部署，經(jīng)過BAT對運營商服務質(zhì)量、IDC基礎(chǔ)條件、運營規(guī)范等方面的推動，運營商在服務意思和安全防范上無論從橫向還是縱向來講都是比較領(lǐng)先的。

　　G云部署在南京、上海、天津、廣州等地機房都屬于此類型的IDC，IDC和網(wǎng)絡運行多年都非常平穩(wěn)，每年基本可達到99.95%的可用率。

　　內(nèi)容包括三個主題：

　　◆BGP機房和網(wǎng)絡的選擇

　　◆BGP在G云中的應用

　　◆墨菲定律對運維的啟示

　　一、BGP機房和網(wǎng)絡的選擇

　　BGP網(wǎng)絡融合了三大運營商甚至更多運營商線路，既可以解決國內(nèi)運營商之間互聯(lián)互通問題，也有效解決了有些業(yè)務對于多IP多線路架構(gòu)上的不支持。因此，對于用戶在不同時間段多運營商無縫接入的手游等類型業(yè)務特別適合。但是因BGP網(wǎng)絡融合了多運營商線路，故對于網(wǎng)絡故障率和故障后產(chǎn)生的影響都增大了很多，選擇一個比較靠譜的BGP機房和網(wǎng)絡非常重要!

　　對于BGP實現(xiàn)方式來講，國內(nèi)95%以上的BGP線路都不是全網(wǎng)穿透式BGP，一部分是與單個運營商網(wǎng)內(nèi)BGP廣播互聯(lián)，一般是與運營商進行靜態(tài)廣播完成的；有的線路是采用本地運營商的資源，有的則是通過長途鏈路從外地引入至本地的。因此不同的方式、不同的線路資源對于網(wǎng)絡的可用性、價格都影響較大。云平臺對BGP機房和網(wǎng)絡的選擇主要注意以下幾個方面：

　　1.BGP機房的選擇---機房等級高、基礎(chǔ)設(shè)施有冗余

　　國內(nèi)目前有能力承建IDC并很好的對外服務的運營商除三大基礎(chǔ)運營商外，僅有世紀互聯(lián)、鵬博士、萬國數(shù)據(jù)等少數(shù)運營商有實力。其他的二級運營商一般都是租用或與基礎(chǔ)運營商合作的方式來發(fā)展BGP機房業(yè)務，為了降低成本有些運營時間較久或建設(shè)等級不高的機房會推向市場。這些機房的基礎(chǔ)設(shè)施都比較老化甚至一些關(guān)鍵設(shè)施如UPS等都無冗余，運營隱患非常大，因此在選擇BGP機房時要注意IDC運營的年限、建設(shè)的等級和關(guān)鍵基礎(chǔ)設(shè)施的冗余。

　　2.BGP網(wǎng)絡的選擇---覆蓋好、本地線路資源

　　目前BGP網(wǎng)絡覆蓋全國資源較好的的確是北京，北京的基礎(chǔ)運營商相對比較開放也是BGP網(wǎng)絡發(fā)展和運營最好的地區(qū)。廣東地區(qū)發(fā)展次之。為保證BGP網(wǎng)絡的品質(zhì)，最好選擇北京當?shù)鼗A(chǔ)運營商廣播接入的運營商。二級運營商為了節(jié)省成本或規(guī)避當?shù)剡\營商的接入限制，有些線路資源從河北等地調(diào)度至北京，或把北京等地的資源調(diào)度至外地使用。除了造成延時大增外，還會有長途鏈路傳輸上的不可靠等隱患。這些都可以通過網(wǎng)絡檢測工具ping、tracert路由分析來判斷線路資源是否屬于本地。

　　3.客戶群體高端或垂直，防Ddos攻擊能力強

　　BGP網(wǎng)絡因成本、資源等原因抗Ddos攻擊能力比較弱，目前行業(yè)內(nèi)BGP機房防Ddos的能力一般在5G左右，目前國內(nèi)的攻擊成本較低，因此現(xiàn)在網(wǎng)絡遭受Ddos等安全攻擊已成為常態(tài)。對于BGP運營商來說機房內(nèi)客戶的規(guī)模和其業(yè)務的合規(guī)性對于減少Ddos攻擊數(shù)量有很大作用。

　　目前G云平臺一般選擇散戶少、垂直用戶多的BGP運營商作為合作伙伴，傳奇、九陰等眾多對端游、手游對網(wǎng)絡要求較高的業(yè)務都在上面運行的良好。

　　二、BGP在G云中的應用

　　1.BGP簡介

　　BGP是一種路由協(xié)議，目前internet上大型網(wǎng)絡或者機構(gòu)運行的協(xié)議絕大多數(shù)都是BGP，他協(xié)議傳輸可靠，更新消耗小，而且具備豐富的路由選擇的策略，能夠支持數(shù)十萬甚至百萬路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景，一般情況下都是選擇使用BGP協(xié)議。

　　2.運營商BGP線路的那些事

　　由于國內(nèi)多運營商的存在及互聯(lián)互通問題，很多公司基于業(yè)務的特點希望所在的數(shù)據(jù)中心網(wǎng)絡能夠覆蓋越多用戶越好，且希望架構(gòu)簡單。因此選擇多線路接入的BGP資源成為其必然選擇。就運營商而言目前IDC出口類型主要分以下幾種：　

　　第一種：靜態(tài)鏈路，通過靜態(tài)路由與運營商互聯(lián)，運營商PE設(shè)備為城域網(wǎng)級別設(shè)備，這種方式最簡單，而且價格便宜，一般為十幾元至一百多元每兆，缺點是：無法穿透其他運營商且無法根據(jù)路由權(quán)值做路由選路策略?！　?/p>

#p#

　　第二種BGP廣播鏈路：與運營商進行對等互聯(lián)BGP連接，PE設(shè)備為骨干設(shè)備。需要擁有自己的IP地址和AS號，優(yōu)勢是，可以接受運營商的國內(nèi)所有路由及發(fā)送自己的公網(wǎng)業(yè)務路由，豐富路由策略權(quán)值做路由調(diào)整使用。

　　這種方式鏈路租費和廣播費用昂貴，且需要強大的運營商關(guān)系。每兆價格在幾百元甚至千元。

　　第三種：靜態(tài)代播，靜態(tài)鏈路的衍生版本，通過靜態(tài)路由與運營商互聯(lián)，接入PE設(shè)備為城域網(wǎng)級別設(shè)備，運營商用靜態(tài)路由指入互聯(lián)，并用OSPF重分布將靜態(tài)路由廣播至全網(wǎng)，要求接入商必須有自己的ip地址。

　　此種方式在操作時，在靜態(tài)鏈路的價格上還要付費給運營商IP廣播費用一般為十幾至幾十元每IP、每月。此種方式也無法靈活的根據(jù)路由的權(quán)值做路由的選路。

　　各機房間采用BGP協(xié)議，方便路由靈活、敏捷的切換及多協(xié)議的擴展。對于一些較為邊緣的機房則采用gre over ipsec的方式接入G云骨干網(wǎng)核心。G云機房還在根據(jù)業(yè)務的發(fā)展，與運營商進行BGP互聯(lián)，建設(shè)自有的BGP出口資源。

　　由于BGP協(xié)議和資源使用方面相對都比較成熟了，相關(guān)的優(yōu)缺點和走過的艱辛就不在此多說，因此在此僅僅與大家分享一下機房之間gre over ipsec備份線路互聯(lián)時值得注意的點：

　　1.MTU問題，機房間做了GRE IPSEC后，數(shù)據(jù)包頭大小是有變化的，需要考慮GRE和ipsec對包頭的大小的影響，因此在內(nèi)網(wǎng)傳輸數(shù)據(jù)或業(yè)務使用時一定要注意數(shù)據(jù)包分片問題，及時調(diào)整系統(tǒng)或者網(wǎng)絡設(shè)備的MTU值。

　　2.Ipsec加密對網(wǎng)絡設(shè)備是有消耗的，一般來說對數(shù)據(jù)進行des加密，對于cisco3945E設(shè)備，其效率是3des的4倍，當cisco 3945E運行 IPsec時；單向加或解密延時2.5ms，In+Out加解密延5ms，兩端雙向10ms ，ciscoASR路由器IPsec無延遲。Cisco 3945E 采用ESP-DES加密時內(nèi)存占650M，CPU 50%。因此請大家在實施是根據(jù)數(shù)據(jù)中心在內(nèi)網(wǎng)中的定位和需求靈活的對設(shè)備進行選型。

　　三、墨菲定律對運維的啟示

　　二十世紀西方文化中最杰出的三大發(fā)現(xiàn)就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在問題，他總會發(fā)生。我和很多朋友在數(shù)據(jù)中心和網(wǎng)絡、系統(tǒng)崗位掙扎多年，對此感受頗深，也有相當多的案例可以佐證。先說一個近期的案例，一朋友在機房搬遷時，大部分工作都操作完畢，最后僅僅是Ddos安全設(shè)備未與安全同事確認部署效果，加上連續(xù)奮戰(zhàn)太累就先回去休息了，以為安全攻擊是較小概率事件，因此即時有問題，下午也可以很快搞定。結(jié)果在上午休息過程中，該機房某款業(yè)務就遭受到數(shù)次了大流量Ddos攻擊，導致整機房業(yè)務受損嚴重。

　　近來的Ctrip事件、青云、阿里云運營事件的產(chǎn)生從某種角度來說都有墨菲定律的影子。因此對于我們來講主要有以下啟示：

　　1.重視細節(jié)、重視流程

　　無論做變更操作還是版本發(fā)布及其他運維操作，在細心的同時嚴格按照流程和規(guī)范操作，比如小到變更流程、回退操作，發(fā)布流程大到運營管理和項目管理，使規(guī)范流程的意識深深的烙印在心里。無論是人為操作或者系統(tǒng)自動操作都有出紕漏的可能，按照規(guī)范流程操作可以有效的保護我們，使我們免于背負不必要的黑鍋。

　　2.要有樂觀積極心態(tài)，千萬不能受負面情緒影響

　　在做運維過程中，任何操作都是戰(zhàn)戰(zhàn)兢兢、小心翼翼，若沒有積極樂觀的心態(tài)和強大的自信心，估計做不了幾年運維，精神上就無法負荷了，肯定會被壓垮，從而會導致更大的錯誤出現(xiàn)，乃至影響到自身的生活。因此，我們必須要有積極的心理暗示，強大的自信心來面對我們的工作，甚至客戶、老板，只有這樣才能在工作中游刃有余、穩(wěn)步推動。也希望各位做運維的兄弟能夠團結(jié)起來，進行資源、信息、知識共享降低運維的門檻。

　　提問環(huán)節(jié)：

　　問題1：運營商BGP線路里面，類型3和1相比的優(yōu)勢在哪？

　　答：類型1是目前單線或者雙線機房常用的方式就是與運營山谷進行靜態(tài)路由方式互聯(lián)就是我們所謂的雙線雙IP，類型3是所謂的假bgp，即一個IP分別讓幾個運營商進行靜態(tài)網(wǎng)內(nèi)代播，運營商之間不能穿越。

　　問題2：有無做過TCP OVER ANYCAST這種網(wǎng)絡架構(gòu)的測試？

　　答：暫時沒有進行測試，后續(xù)會有計劃對DNS over anycast的技術(shù)進行研究，屆時可以一起交流。

　　問題3：你們租機房的適合會考慮備份系統(tǒng)有效性嗎?

　　答：備份系統(tǒng)有效性更多是從業(yè)務層面驗證，對于基礎(chǔ)性機房選擇的話更多的我們會從基礎(chǔ)設(shè)施(電、制冷、柴發(fā))和網(wǎng)絡穩(wěn)定性去考慮。目前對于重要的業(yè)務系統(tǒng)例如計費認證類型的一般在同城都有災備，而且同城各機房間會采用裸光纖進行環(huán)狀互聯(lián)，以保證關(guān)鍵數(shù)據(jù)傳輸?shù)母呖捎眯浴?/p>