【51CTO.com原創(chuàng)稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運(yùn)維技術(shù)峰會(huì)在北京召開。此次峰會(huì)圍繞人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等12大核心熱點(diǎn)，匯聚海內(nèi)外60位一線專家，是一場(chǎng)高端的技術(shù)盛宴，也是***IT技術(shù)人才學(xué)習(xí)和人脈拓展不容錯(cuò)過的平臺(tái)。

在19日上午的“OpenStack創(chuàng)新實(shí)戰(zhàn)”分論壇現(xiàn)場(chǎng)，UMCloud架構(gòu)總監(jiān)張文墨帶來了主題為《OpenStack大規(guī)模裸機(jī)管理的***實(shí)踐》的精彩演講，與參會(huì)者分享了UMCloud在很多裸機(jī)項(xiàng)目實(shí)踐中總結(jié)的一臺(tái)方法論和解決方案。

[[233088]]

UMCloud架構(gòu)總監(jiān)張文墨

利用OpenStack統(tǒng)一管理裸機(jī)

據(jù)張文墨介紹，目前UMCloud在上海、南京、成都、佛山和北京建立了5個(gè)數(shù)據(jù)中心，共計(jì)4000+臺(tái)裸機(jī)，5個(gè)數(shù)據(jù)中心都存在已有OpenStack集群，而且5個(gè)集群里都需要同時(shí)添加800到2000個(gè)不同的節(jié)點(diǎn)，這些節(jié)點(diǎn)都要被OpenStack統(tǒng)一管理。

經(jīng)過UMCloud多次技術(shù)選型之后，最終選用了OpenStack O版的Ironic來實(shí)現(xiàn)集群管理。為什么選擇Ironic?對(duì)此，張文墨解釋說，Ironic有三大功能非常實(shí)用：自動(dòng)化獲取裸機(jī)配置信息、提供裸機(jī)系統(tǒng)自動(dòng)化安裝/擦除功能、可以像管理OpenStack虛擬機(jī)一樣管理裸機(jī)。Ironic優(yōu)點(diǎn)在于單個(gè)集群可支持超過3000臺(tái)裸機(jī)，還可與OpenStack其他組件聯(lián)動(dòng)。

當(dāng)然，張文墨也承認(rèn)，在面對(duì)小規(guī)模集群的時(shí)候， Ironic的功能、性能、管理方式已經(jīng)能夠滿足大多數(shù)需求，但是在超過幾百臺(tái)甚至千臺(tái)以上的大規(guī)模裸機(jī)管理的時(shí)候，它還是有些不足的。

他舉例道，例如Ironic沒有樹狀結(jié)構(gòu)，對(duì)裸機(jī)信息的錄入和處理也比較復(fù)雜。第二個(gè)最嚴(yán)重的問題就在于無法管理裸機(jī)的網(wǎng)絡(luò)。最直接的原因?qū)嶋H上就是因?yàn)镮ronic并沒有辦法去管理和配置交換機(jī)。第三個(gè)不足就是所有裸機(jī)被放在一個(gè)大池中，造成大規(guī)模管理缺陷。例如：客戶有2000臺(tái)裸機(jī)，想在轉(zhuǎn)碼業(yè)務(wù)域用幾個(gè)機(jī)架，再用外部的幾個(gè)機(jī)架，而Ironic目前沒有這種區(qū)分方式。所有的裸機(jī)都在一個(gè)大池中，就是所有的業(yè)務(wù)都混在一起。因此，使用Ironic管理大規(guī)模裸機(jī)還是不足的。

做大規(guī)模Ironic的裸機(jī)管理時(shí)的五大關(guān)鍵點(diǎn)

“所以，我們?cè)谧鲆粋€(gè)大規(guī)模Ironic的裸機(jī)管理時(shí)就主要關(guān)注了五點(diǎn)。”張文墨透露，分別是：大規(guī)模裸機(jī)的信息自動(dòng)化錄入、大規(guī)模裸機(jī)硬件信息的自動(dòng)化收集、大規(guī)模裸機(jī)信息自動(dòng)化處理、上層交換機(jī)網(wǎng)絡(luò)的自動(dòng)配置、裸機(jī)的池化。

在正式解讀這五大關(guān)鍵點(diǎn)之前，張文墨先為大家展示了下面這張網(wǎng)絡(luò)架構(gòu)圖：

張文墨解說道，這個(gè)架構(gòu)唯一的目的是為裸機(jī)的服務(wù)器來服務(wù)的，就圖中下面的Bare Metal server(橙色區(qū)域)。Bare Metal server左側(cè)紅線是一個(gè)基礎(chǔ)的IPM管理網(wǎng)段，它的重點(diǎn)是Ironic Conductor(綠色區(qū)域)，這個(gè)組件主要用來完成對(duì)Bare Metal server的電源周期管理，包括開機(jī)、關(guān)機(jī)、重啟、硬盤啟動(dòng)等配置;Bare Metal server右側(cè)的橙色線是帶外1G的Inspect(裸機(jī)信息的自動(dòng)化收集);Bare Metal server下面做捆綁的線，連接到網(wǎng)管交換機(jī)，而后連接到Zabbix Server網(wǎng)管服務(wù)器。實(shí)際上，這條線是作為一個(gè)裸機(jī)的自動(dòng)監(jiān)控存在的;Bare Metal server上面的捆綁線，左側(cè)的是業(yè)務(wù)網(wǎng)段，右側(cè)的是存儲(chǔ)網(wǎng)段。這個(gè)圖是最初的概念圖，后期UMCloud做了小調(diào)整。

回到剛剛提到的五大關(guān)鍵點(diǎn)，張文墨一一進(jìn)行了分析解讀。

大規(guī)模裸機(jī)的信息自動(dòng)化錄入：裸機(jī)信息錄入的技術(shù)含量并不高，但是耗時(shí)較大，這是項(xiàng)目實(shí)施***的挑戰(zhàn)。這就要求硬件集成符合三個(gè)標(biāo)準(zhǔn)：標(biāo)準(zhǔn)布線、標(biāo)準(zhǔn)配置、標(biāo)準(zhǔn)制表，然后按照一定的規(guī)則通過腳本自動(dòng)錄入。

大規(guī)模裸機(jī)硬件信息的自動(dòng)化收集：裸機(jī)信息的自動(dòng)采集，使用的是Ironic Inspector /Conductor。首先，利用Conductor通過IPMI將裸機(jī)開機(jī);然后，裸機(jī)通過PXE從Inspector拿到內(nèi)存操作系統(tǒng);***，操作系統(tǒng)通過內(nèi)置的IPA向Inspector上報(bào)裸機(jī)信息。

大規(guī)模裸機(jī)信息自動(dòng)化處理：裸機(jī)信息處理流程的***步，就是將未接線的網(wǎng)絡(luò)接口刪除;第二步，指定安裝操作系統(tǒng)的網(wǎng)絡(luò)接口;第三步，將指定的業(yè)務(wù)口進(jìn)行綁定。完成以上任務(wù)的關(guān)鍵在于local_link_information。

上層交換機(jī)網(wǎng)絡(luò)的自動(dòng)配置：前面三點(diǎn)主要都是效率上的優(yōu)化，可以大大減少管理裸機(jī)的時(shí)間，但仍舊無法管理交換機(jī)的網(wǎng)絡(luò)。于是，UMCloud首先引入了SDN交換機(jī)，與華為達(dá)成合作。雙方在裸機(jī)的管理上進(jìn)行了適配和開發(fā)，摸索出下圖所示的流程，使得OpenStack可以通過SDN來自動(dòng)控制交換機(jī)，實(shí)現(xiàn)自動(dòng)化管理。

裸機(jī)的池化：其含義就是按照業(yè)務(wù)需求、物理位置等標(biāo)準(zhǔn)在同一大裸機(jī)池中劃分出若干小的池。實(shí)現(xiàn)方法就是，先在裸機(jī)中使用capabilities參數(shù)，然后在相應(yīng)裸機(jī)flavor的元數(shù)據(jù)中加以匹配。

據(jù)了解，經(jīng)過UMCloud的技術(shù)實(shí)踐后，目前他們裸機(jī)下發(fā)速度可以達(dá)到每天300臺(tái)裸機(jī)(按10小時(shí)算)，切換業(yè)務(wù)/業(yè)務(wù)擴(kuò)容的速度為每20分鐘30臺(tái)。此外，UMCloud 20個(gè)裸機(jī)資源池，可以實(shí)現(xiàn)池內(nèi)裸機(jī)自動(dòng)分配，池間隔離。

以上內(nèi)容是51CTO記者根據(jù)UMCloud架構(gòu)總監(jiān)張文墨在WOT2018全球軟件與運(yùn)維技術(shù)峰會(huì)的演講內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請(qǐng)關(guān)注51cto.com。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】