OpenStack超融合部署架構(gòu)
一.前言
1. 什么是超融合
三種常見(jiàn)的蔬菜：土豆、茄子、青椒放在一起可以烹調(diào)出永遠(yuǎn)的經(jīng)典味道—“地三鮮”。
而三大IT基礎(chǔ)設(shè)施組件：計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)在一起也能被烹調(diào)出“超融合架構(gòu)”這一概念。但是，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)要如何才能愉快地統(tǒng)一?傳統(tǒng)IT架構(gòu)如何才能變得更加彈性和可擴(kuò)展?而長(zhǎng)期以來(lái)困擾傳統(tǒng)IT架構(gòu)的擴(kuò)容難題***的解決方案在哪里?
超融合的“超”是指“虛擬化”
想要深度剖析“超融合”生態(tài)圈，首先必須清楚“超融合”這一概念的來(lái)源。超融合架構(gòu)雖然有一個(gè)“超”(Hyper)字，但也并不是什么神秘的概念， 業(yè)界普遍認(rèn)為，計(jì)算與存儲(chǔ)一體(而非使用共享存儲(chǔ)，如傳統(tǒng)SAN)的融合系統(tǒng)，通過(guò)分布式存儲(chǔ)軟件技術(shù)整合為統(tǒng)一的存儲(chǔ)池(如VMware的VSAN)， 才可以被稱(chēng)為“超融合系統(tǒng)”。
事實(shí)上，這一概念最早源于存儲(chǔ)初創(chuàng)廠商將Google、Facebook等互聯(lián)網(wǎng)廠商采用的計(jì)算存儲(chǔ)融合的架構(gòu)用于企業(yè)應(yīng)用環(huán)境(通常采用服務(wù)器虛 擬化技術(shù)，但傳統(tǒng)融合系統(tǒng)也是如此)，為企業(yè)客戶(hù)提供一種將存儲(chǔ)做到計(jì)算服務(wù)器中的融合產(chǎn)品。“因此，超融合架構(gòu)最核心的改變是存儲(chǔ)，而這一概念的最初推 動(dòng)者也都是來(lái)自于互聯(lián)網(wǎng)背景的存儲(chǔ)初創(chuàng)廠商。
下面是傳統(tǒng)IT架構(gòu)和基于云計(jì)算背景的超融合架構(gòu)，如下圖所示：
當(dāng)今，放眼世界。云計(jì)算領(lǐng)域最火的架構(gòu)是什么?無(wú)疑，是“超融合”。
國(guó)外有Mirantis、VMware、SMARTX等領(lǐng)導(dǎo)廠商先后進(jìn)入超融合領(lǐng)域，國(guó)內(nèi)也有99Cloud、Unitedstack等云公司，使用“超融合”架構(gòu)。一時(shí)間，國(guó)內(nèi)超融合生態(tài)圈廠商眾多，頗有些混亂和看不清楚的感覺(jué)。
那他們又是怎么做的呢?下面且聽(tīng)道來(lái)：
2.環(huán)境
在 <= 10臺(tái)物理服務(wù)器(Host)、500臺(tái)虛擬機(jī)(VM)情況下，通常使用超融合部署架構(gòu)，即：
計(jì)算存儲(chǔ)超融合(8臺(tái)Host)：計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)放在同一個(gè)物理節(jié)點(diǎn)上，通過(guò)存儲(chǔ)資源池，做副本和冗余方式實(shí)現(xiàn)鏡像的高可用，針對(duì)某些特定需求的VM，做VM的HA。
網(wǎng)絡(luò)控制超融合(2臺(tái)Host)：在這種環(huán)境下，網(wǎng)絡(luò)模式選擇VLAN，網(wǎng)絡(luò)節(jié)點(diǎn)和控制節(jié)點(diǎn)服務(wù)放在同一個(gè)物理節(jié)點(diǎn)上，同時(shí)提供網(wǎng)絡(luò)和控制服務(wù)，通過(guò)HAproxy、Corsync等實(shí)現(xiàn)心跳檢測(cè)和高可用。
目前，實(shí)現(xiàn)增大鏈路帶寬，解決交換網(wǎng)絡(luò)中因帶寬引起的網(wǎng)絡(luò)瓶頸、高可用;以及提高服務(wù)器網(wǎng)卡數(shù)據(jù)傳輸效率。通常我們可以用如下一些常見(jiàn)辦法：
1)服務(wù)器網(wǎng)卡做綁定
2)交換機(jī)做鏈路聚合(端口聚合)
3)使用STP(生成樹(shù)協(xié)議)
3)其他
#p#
二.網(wǎng)絡(luò)控制規(guī)劃
如下圖所示：
目前只有兩種節(jié)點(diǎn)，一種是計(jì)算存儲(chǔ)節(jié)點(diǎn)，另一種是網(wǎng)絡(luò)控制節(jié)點(diǎn)，由于網(wǎng)絡(luò)節(jié)點(diǎn)做了HA的高可用，所以任何一個(gè)計(jì)算節(jié)點(diǎn)宕機(jī)，只會(huì)影響其上面承載的虛 擬機(jī)，不會(huì)影響其他節(jié)點(diǎn)，如果是一個(gè)可以預(yù)知的宕機(jī)，你可以先將其上的虛擬機(jī)遷移到其他機(jī)器，這樣就可以將對(duì)服務(wù)的影響降到***。
另外，控制節(jié)點(diǎn)是主備模式，并且采用冷備的方式，但是數(shù)據(jù)庫(kù)保持實(shí)時(shí)同步。因?yàn)檫@種私有云的架構(gòu)對(duì)控制節(jié)點(diǎn)的依賴(lài)非常小，控制節(jié)點(diǎn)宕機(jī)，在不重啟計(jì)算節(jié)點(diǎn)的OpenVswitch-Aagent的情況下，幾乎不會(huì)影響虛擬機(jī)的正常運(yùn)行。
在網(wǎng)絡(luò)的架構(gòu)上，虛擬機(jī)網(wǎng)絡(luò)通過(guò)網(wǎng)橋，采用Trunk模式，直接連接到交換機(jī)，具有較好的性能和極高的穩(wěn)定性。管理網(wǎng)絡(luò)是OpenStack各個(gè)組 件通信的網(wǎng)絡(luò)，包括鏡像分發(fā)，虛擬機(jī)遷移等都是走這個(gè)網(wǎng)絡(luò)。存儲(chǔ)網(wǎng)絡(luò)是虛擬機(jī)訪問(wèn)共享存儲(chǔ)GlusterFS或Ceph的網(wǎng)絡(luò)(超融合架構(gòu)中，存儲(chǔ)網(wǎng)絡(luò)一 般不獨(dú)立使用)。
由于在超融合計(jì)算存儲(chǔ)——網(wǎng)絡(luò)控制架構(gòu)中，使用的是基于VLAN的Neutron模式。所以淘汰了L3-Agent，L3-Agent主要有兩方面作用，即：
一是Floating ip：通過(guò)Linux Network namespace提供Fixed ip到Float ip的NAT轉(zhuǎn)換(由iptables來(lái)實(shí)現(xiàn))，從而實(shí)現(xiàn)上外網(wǎng)的功能。
二是qrouter：在不同內(nèi)部子網(wǎng)中轉(zhuǎn)發(fā)數(shù)據(jù)包;通過(guò)指定內(nèi)部網(wǎng)關(guān)做NAT。每一個(gè)子網(wǎng)對(duì)應(yīng)router上的一個(gè)端口，這個(gè)端口的ip就是內(nèi)網(wǎng)子網(wǎng)的網(wǎng)關(guān)。
由于VLAN數(shù)據(jù)包直接經(jīng)過(guò)IP網(wǎng)絡(luò)，出外網(wǎng)，并不需要L3的虛擬路由器。同時(shí)也是為了摒棄L3-Agent的穩(wěn)定性和性能問(wèn)題、L3的復(fù)雜性問(wèn) 題。需要停用L3-Agent，虛擬機(jī)首先連接到br-int,，br-int連接到br-em3上，通過(guò)Trunk就可以達(dá)到外部網(wǎng)絡(luò)，這樣的架構(gòu)解決 了兩個(gè)問(wèn)題：***，能夠保證網(wǎng)絡(luò)的性能和穩(wěn)定性，第二，能實(shí)現(xiàn)和內(nèi)網(wǎng)其他機(jī)器無(wú)縫互通。
基于此，我們的規(guī)劃如下面所示：
1.網(wǎng)絡(luò)規(guī)劃(VLAN)
在物理服務(wù)器3張網(wǎng)卡情況下，一般網(wǎng)絡(luò)規(guī)劃是：
eth0：外部網(wǎng)絡(luò)、業(yè)務(wù)網(wǎng)絡(luò)(floating ip)
eth1：數(shù)據(jù)網(wǎng)絡(luò)(private ip)
eth2：管理網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)
Neutron，采用VLAN
IPMI網(wǎng)絡(luò)：172.16.99.0/24(VLAN 99)
數(shù)據(jù)網(wǎng)絡(luò)：172.16.100.0/24(VLAN 100)
外部網(wǎng)絡(luò)/業(yè)務(wù)網(wǎng)絡(luò)/管理網(wǎng)絡(luò)：
- 172.16.101.0/24(VLAN 101)
- 172.16.102.0/24(VLAN 102)
- 172.16.103.0/24(VLAN 103)
物理交換機(jī)創(chuàng)建相應(yīng)的vlan，網(wǎng)段對(duì)應(yīng)于vlan id。
2.VLAN注意事項(xiàng)
vlan模式下，不同租戶(hù)使用的IP地址不能重復(fù)。
由于vlan標(biāo)簽的標(biāo)志位是12bit，所以vlan號(hào)的范圍是1-4096，也就是系統(tǒng)中最多只能有4096個(gè)租戶(hù)，不適用于公有云(Nicira NVP作為Neutron的插件解決了這個(gè)問(wèn)題)
3.網(wǎng)絡(luò)類(lèi)型
集成OpenStack時(shí)需要考慮的幾種網(wǎng)絡(luò)，這種架構(gòu)和環(huán)境下，我們使用VLAN。
在一個(gè)現(xiàn)有的數(shù)據(jù)中心網(wǎng)絡(luò)中集成OpenStack時(shí)，有四種網(wǎng)絡(luò)必須考慮到。這些網(wǎng)絡(luò)分別是：
管理網(wǎng)絡(luò)：部署OpenStack環(huán)境時(shí)，各種服務(wù)的配置文件均會(huì)使用這個(gè)網(wǎng)卡上的IP。
用于OpenStack組件之間的內(nèi)部通信。這個(gè)網(wǎng)絡(luò)上的IP地址應(yīng)該僅僅在數(shù)據(jù)中心內(nèi)是可達(dá)的。
數(shù)據(jù)網(wǎng)絡(luò)：用來(lái)連通各個(gè)節(jié)點(diǎn)上的br-tun網(wǎng)橋，構(gòu)造通信平面，這個(gè)通信層可以構(gòu)建隧道[GRE]，也可以構(gòu)建L3通信協(xié)議層[VXLAN]。同時(shí)它也負(fù)責(zé)連通租戶(hù)虛擬網(wǎng)絡(luò)內(nèi)的網(wǎng)絡(luò)設(shè)備，使虛擬機(jī)之間進(jìn)行網(wǎng)絡(luò)通信。
Public/API網(wǎng)絡(luò)：一般用在控制節(jié)點(diǎn)和網(wǎng)絡(luò)節(jié)點(diǎn)上，需要和外部通信。
存儲(chǔ)網(wǎng)絡(luò)(可選)
由于這里是中小等私有云環(huán)境，可不考慮單獨(dú)使用存儲(chǔ)網(wǎng)絡(luò)，也沒(méi)有單獨(dú)的存儲(chǔ)節(jié)點(diǎn)。
網(wǎng)絡(luò)存儲(chǔ)技術(shù)有很多種，其中存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)是將服務(wù)器連接到光纖通道上與存儲(chǔ)設(shè)備互聯(lián)，用于存儲(chǔ)數(shù)據(jù)流量通常情況下都比較大的情況。
存儲(chǔ)網(wǎng)絡(luò)的技術(shù)主要包括NAS、SAN和RAIDS以及iSCSI，下面分別予以介紹。
NAS (網(wǎng)絡(luò)連接式存儲(chǔ))是通過(guò)以太網(wǎng)將存儲(chǔ)節(jié)點(diǎn)上的文件系統(tǒng)作為計(jì)算節(jié)點(diǎn)的一個(gè)網(wǎng)絡(luò)訪問(wèn)元素來(lái)使用，存儲(chǔ)節(jié)點(diǎn)的文件系統(tǒng)可以是NFS和 CIFS。
SAN 則是將NAS 中的以太網(wǎng)換成了光纖(Fiber Channel)網(wǎng)絡(luò)，讓計(jì)算節(jié)點(diǎn)看來(lái)是本地的一個(gè)存儲(chǔ)系統(tǒng)一樣，因?yàn)楣饫w帶寬較高，這里需要提及的一個(gè)標(biāo)準(zhǔn)是FCoE(Fiber Channel over Ethernet)，是通過(guò)增強(qiáng)的10Gbps 以太網(wǎng)技術(shù)在支持FCoE 的交換機(jī)的環(huán)境下，使用隧道協(xié)議允許將光纖通道的信息封裝到以太網(wǎng)信息內(nèi)，將本來(lái)運(yùn)行于光纖通道的交互信息和數(shù)據(jù)信息通過(guò)以太網(wǎng)來(lái)傳輸，融合LAN 和SAN 的數(shù)據(jù)類(lèi)型，減少線纜設(shè)備及耗電、網(wǎng)絡(luò)收斂便于管理，但是這種技術(shù)畢竟是一種新技術(shù)，為了保證FCoE 在以太網(wǎng)中不丟包引入了DCB(Data CenterBridging)的概念，目前尚不成熟。
RAIDS 是將一系列物理磁盤(pán)作為一個(gè)存儲(chǔ)單元，數(shù)據(jù)可以在這個(gè)單元里復(fù)制和分發(fā)，并且用其冗余和高可靠性能對(duì)計(jì)算節(jié)點(diǎn)的錯(cuò)誤做到容忍。
iSCSI 并不能算是一種存儲(chǔ)網(wǎng)絡(luò)類(lèi)型，只是一種基于IP 技術(shù)的接口標(biāo)準(zhǔn)，由IBM 公司研究開(kāi)發(fā)的，包括一套指令集，可以與以太網(wǎng)技術(shù)或光纖網(wǎng)絡(luò)進(jìn)行融合，比如SAN 就是使用了iSCSI 技術(shù)和光纖網(wǎng)絡(luò)，達(dá)到硬件成本低、擴(kuò)展性強(qiáng)、操作容易和高性能的優(yōu)勢(shì)。
另外，OpenStack 存儲(chǔ)里需要提及的技術(shù)是Ceph(http://ceph.com/)，這是一種大容量、通過(guò)負(fù)載實(shí)現(xiàn)高性能和高性能的分布式文件系統(tǒng)，也是OpenStack 里寄予厚望的開(kāi)源存儲(chǔ)解決方案，UnitedStack 的生產(chǎn)環(huán)境里采用了Ceph 技術(shù)。
通過(guò)VLAN來(lái)連接分散在不同物理機(jī)中不同的租戶(hù)網(wǎng)絡(luò)實(shí)際上和nova-network的VLANManager在想法上是一脈相承的，都是為每一個(gè)租戶(hù)網(wǎng)絡(luò)分配一個(gè)物理交換機(jī)上的VLAN，在連接所有節(jié)點(diǎn)的同時(shí)通過(guò)不同的VLAN保證了租戶(hù)網(wǎng)絡(luò)的隔離性。
4.fixed-ip和floating-ip區(qū)別
OpenStack 對(duì)內(nèi)部的網(wǎng)絡(luò)管理有fixed-ip以及floating-ip兩個(gè)概念，F(xiàn)ixed-IP是由VM綁定，VM自創(chuàng)建后便不會(huì)改變，然而Floating-IP是可以隨時(shí)bind給一個(gè)VM或釋放的，依照OpenStack的文件表示，F(xiàn)loating-IP是屬于Public IP，一個(gè)VM在取得Floating-IP之前是沒(méi)有對(duì)外的連接功能的，F(xiàn)ixed-IP則是Private IP，VM之間可以用此Private-IP來(lái)互相通信，每個(gè)project會(huì)啟動(dòng)一個(gè)dnsmasq來(lái)配置虛擬機(jī)的fixed ip。再借由路由器的NAT功能，實(shí)現(xiàn)上外網(wǎng)。
5. 網(wǎng)絡(luò)控制節(jié)點(diǎn)的高可用
OpenStack High Availability(高可用)
目前并沒(méi)有官方聲明OpenStack支持虛擬機(jī)級(jí)別的高可用性，這個(gè)特性在Folsom版本被提出，但是后續(xù)又被放棄了。目前OpenStack有一個(gè)孵化項(xiàng)目Evacuate, 其作用是為OpenStack提供虛擬機(jī)級(jí)別高可用支持。
網(wǎng)絡(luò)控制節(jié)點(diǎn)由于在整個(gè)環(huán)境中，提供著非常重要的各種服務(wù)，因此，實(shí)現(xiàn)HA，便及其重要。通常來(lái)說(shuō)，實(shí)現(xiàn)各項(xiàng)服務(wù)的HA，有如下幾種：
- Mysql：Galear
- RabbitMQ、OpenStack Service：Corosync + Pacemaker
- Horizon VIP：keepalive
#p#
三.計(jì)算存儲(chǔ)規(guī)劃
1.磁盤(pán)規(guī)劃
注意，這里的值，是我們假設(shè)的，需要你按照自己的實(shí)際條件來(lái)設(shè)定。
1.1 控制網(wǎng)絡(luò)節(jié)點(diǎn)分區(qū)
1.2 計(jì)算存儲(chǔ)節(jié)點(diǎn)分區(qū)
2. 操作系統(tǒng)分區(qū)
2.1 控制/網(wǎng)絡(luò)節(jié)點(diǎn)
2.2計(jì)算/存儲(chǔ)節(jié)點(diǎn)
備注
云硬盤(pán)(Cinder)和Glance共用一個(gè)glance volume，如上述規(guī)劃。
SSD硬盤(pán)(RAID 0)：用于系統(tǒng)盤(pán)
SATA大容量硬盤(pán)(RAID 5)：用于存儲(chǔ)鏡像、虛擬機(jī)文件、云硬盤(pán)和其他存儲(chǔ)等。
3.實(shí)例和鏡像存儲(chǔ)規(guī)劃
計(jì)算節(jié)點(diǎn)之間使用glusterfs分布式文件系統(tǒng)做集群，提供共享存儲(chǔ)資源池，副本數(shù)為2。用于存儲(chǔ)云硬盤(pán)、鏡像文件、虛擬機(jī)文件、以及備份數(shù)據(jù)等。
4. 計(jì)算資源規(guī)劃
在計(jì)算方面除了CPU需要支持虛擬化技術(shù)之外，其通常是1個(gè)物理CPU虛擬化16個(gè)VCPU(1:16)。
底層的Hypervisor，使用成熟穩(wěn)定，社區(qū)推薦的KVM。
四.思考
1.怎樣實(shí)現(xiàn)虛擬機(jī)(VM)如數(shù)據(jù)庫(kù)般的高可用性、實(shí)時(shí)無(wú)縫遷移。針對(duì)云環(huán)境中某些特殊的VM，或許我們可以做VM級(jí)別的HA。
2.部署OpenStack環(huán)境相對(duì)較易，如何有效實(shí)施后期的運(yùn)維、管理。
3.如何讓OpenStack實(shí)現(xiàn)企業(yè)***的期望目標(biāo)。
參考資料：
1.http://docs.openstack.org/high-availability-guide/content/ch_preface.html
2.http://www.openstack.cn/?p=3663
作者簡(jiǎn)介：徐超：畢業(yè)于成都東軟學(xué)院信息安全專(zhuān)業(yè)，目前就職于上海九州云信息科技有限公司，從事OpenStack相關(guān)工作。個(gè)人傾向于研究OpenStack、SDN和Docker。
