負載均衡作為目前服務器集群部署的一款常用設備，當一臺機器性能無法滿足業(yè)務的增長需求時，不是去找一款性能更好的機器，而是通過負載均衡，利用集群來滿足客戶增長的需求。

[[265461]]

負載均衡技術的實現(xiàn)，主要分為以下幾種：

• HTTP 重定向負載
• DNS 域名解析負載
• 反向代理負載
• IP 負載 (NAT 負載和 IP tunnel 負載)
• 直接路由 (LVS—DR)
• IP隧道 (LVS—TUN)

 

 

負載均衡不能狹義地理解為分配給所有實際服務器一樣多的工作量，因為多臺服務器的承載能力各不相同，這可能體現(xiàn)在硬件配置、網(wǎng)絡帶寬的差異，也可能因為某臺服務器身兼多職，我們所說的“均衡”，也就是希望所有服務器都不要過載，并且能夠***程序地發(fā)揮作用。

一、http 重定向

當http代理(比如瀏覽器)向web服務器請求某個URL后，web服務器可以通過http響應頭信息中的Location標記來返回一個新的URL。

這意味著HTTP代理需要繼續(xù)請求這個新的URL，完成自動跳轉。

性能缺陷：

1、吞吐率限制

主站點服務器的吞吐率平均分配到了被轉移的服務器。

現(xiàn)假設使用RR(Round Robin)調度策略，子服務器的***吞吐率為1000reqs/s，那么主服務器的吞吐率要達到3000reqs/s才能完全發(fā)揮三臺子服務器的作用，那么如果有100臺子服務器，那么主服務器的吞吐率可想而知得有大?

相反，如果主服務的***吞吐率為6000reqs/s，那么平均分配到子服務器的吞吐率為2000reqs/s，而現(xiàn)子服務器的***吞吐率為1000reqs/s，因此就得增加子服務器的數(shù)量，增加到6個才能滿足。

2、重定向訪問深度不同

有的重定向一個靜態(tài)頁面，有的重定向相比復雜的動態(tài)頁面，那么實際服務器的負載差異是不可預料的，而主站服務器卻一無所知。因此整站使用重定向方法做負載均衡不太好。

我們需要權衡轉移請求的開銷和處理實際請求的開銷，前者相對于后者越小，那么重定向的意義就越大，例如下載。

你可以去很多鏡像下載網(wǎng)站試下，會發(fā)現(xiàn)基本下載都使用了Location做了重定向。

DNS 負載均衡

DNS負責提供域名解析服務，當訪問某個站點時，實際上首先需要通過該站點域名的DNS服務器來獲取域名指向的IP地址，在這一過程中，DNS服務器完成了域名到IP地址的映射。

同樣，這樣映射也可以是一對多的，這時候，DNS服務器便充當了負載均衡調度器，它就像http重定向轉換策略一樣，將用戶的請求分散到多臺服務器上，但是它的實現(xiàn)機制完全不同。

使用dig命令來看下"baidu"的DNS設置

 

 

可見baidu擁有三個A記錄

相比http重定向，基于DNS的負載均衡完全節(jié)省了所謂的主站點，或者說DNS服務器已經(jīng)充當了主站點的職能。

但不同的是，作為調度器，DNS服務器本身的性能幾乎不用擔心。

因為DNS記錄可以被用戶瀏覽器或者互聯(lián)網(wǎng)接入服務商的各級DNS服務器緩存，只有當緩存過期后才會重新向域名的DNS服務器請求解析。

也說是DNS不存在http的吞吐率限制，理論上可以***增加實際服務器的數(shù)量。

特性:

1、可以根據(jù)用戶IP來進行智能解析。DNS服務器可以在所有可用的A記錄中尋找離用記最近的一臺服務器。

2、動態(tài)DNS：在每次IP地址變更時，及時更新DNS服務器。當然，因為緩存，一定的延遲不可避免。

不足：

1、沒有用戶能直接看到DNS解析到了哪一臺實際服務器，加服務器運維人員的調試帶來了不便。

2、策略的局限性。例如你無法將HTTP請求的上下文引入到調度策略中，而在前面介紹的基于HTTP重定向的負載均衡系統(tǒng)中，調度器工作在HTTP層面，它可以充分理解HTTP請求后根據(jù)站點的應用邏輯來設計調度策略，比如根據(jù)請求不同的URL來進行合理的過濾和轉移。

3、如果要根據(jù)實際服務器的實時負載差異來調整調度策略，這需要DNS服務器在每次解析操作時分析各服務器的健康狀態(tài)，對于DNS服務器來說，這種自定義開發(fā)存在較高的門檻，更何況大多數(shù)站點只是使用第三方DNS服務。

4、DNS記錄緩存，各級節(jié)點的DNS服務器不同程序的緩存會讓你暈頭轉向。

5、基于以上幾點，DNS服務器并不能很好地完成工作量均衡分配，***，是否選擇基于DNS的負載均衡方式完全取決于你的需要。

反向代理負載均衡

這個肯定大家都有所接觸，因為幾乎所有主流的Web服務器都熱衷于支持基于反向代理的負載均衡。它的核心工作就是轉發(fā)HTTP請求。

相比前面的HTTP重定向和DNS解析，反向代理的調度器扮演的是用戶和實際服務器中間人的角色：

1、任何對于實際服務器的HTTP請求都必須經(jīng)過調度器

2、調度器必須等待實際服務器的HTTP響應，并將它反饋給用戶(前兩種方式不需要經(jīng)過調度反饋，是實際服務器直接發(fā)送給用戶)

特性：

1、調度策略豐富。例如可以為不同的實際服務器設置不同的權重，以達到能者多勞的效果。

2、對反向代理服務器的并發(fā)處理能力要求高，因為它工作在HTTP層面。

3、反向代理服務器進行轉發(fā)操作本身是需要一定開銷的，比如創(chuàng)建線程、與后端服務器建立TCP連接、接收后端服務器返回的處理結果、分析HTTP頭部信息、用戶空間和內核空間的頻繁切換等。

雖然這部分時間并不長，但是當后端服務器處理請求的時間非常短時，轉發(fā)的開銷就顯得尤為突出。例如請求靜態(tài)文件，更適合使用前面介紹的基于DNS的負載均衡方式。

4、反向代理服務器可以監(jiān)控后端服務器，比如系統(tǒng)負載、響應時間、是否可用、TCP連接數(shù)、流量等，從而根據(jù)這些數(shù)據(jù)調整負載均衡的策略。

5、反射代理服務器可以讓用戶在一次會話周期內的所有請求始終轉發(fā)到一臺特定的后端服務器上(粘滯會話)，這樣的好處一是保持session的本地訪問，二是防止后端服務器的動態(tài)內存緩存的資源浪費。

IP 負載均衡(LVS-NAT)

因為反向代理服務器工作在HTTP層，其本身的開銷就已經(jīng)嚴重制約了可擴展性，從而也限制了它的性能極限。那能否在HTTP層面以下實現(xiàn)負載均衡呢?

NAT服務器：它工作在傳輸層，它可以修改發(fā)送來的IP數(shù)據(jù)包，將數(shù)據(jù)包的目標地址修改為實際服務器地址。

從Linux2.4內核開始，其內置的Neftilter模塊在內核中維護著一些數(shù)據(jù)***濾表，這些表包含了用于控制數(shù)據(jù)***濾的規(guī)則。

可喜的是，Linux提供了iptables來對過濾表進行插入、修改和刪除等操作。更加令人振奮的是，Linux2.6.x內核中內置了IPVS模塊，它的工作性質類型于Netfilter模塊，不過它更專注于實現(xiàn)IP負載均衡。

想知道你的服務器內核是否已經(jīng)安裝了IPVS模塊，可以

 

 

有輸出意味著IPVS已經(jīng)安裝了。IPVS的管理工具是ipvsadm，它為提供了基于命令行的配置界面，可以通過它快速實現(xiàn)負載均衡系統(tǒng)。

這就是大名鼎鼎的LVS(Linux Virtual Server，Linux虛擬服務器)。

1、打開調度器的數(shù)據(jù)包轉發(fā)選項

echo 1 > /proc/sys/net/ipv4/ip_forward 

2、檢查實際服務器是否已經(jīng)將NAT服務器作為自己的默認網(wǎng)關，如果不是，如添加

route add default gw xx.xx.xx.xx 

3、使用ipvsadm配置

ipvsadm -A -t 111.11.11.11:80 -s rr 

添加一臺虛擬服務器，-t 后面是服務器的外網(wǎng)ip和端口，-s rr是指采用簡單輪詢的RR調度策略(這屬于靜態(tài)調度策略，除此之外，LVS還提供了系列的動態(tài)調度策略，比如最小連接(LC)、帶權重的最小連接(WLC)，最短期望時間延遲(SED)等)

ipvsadm -a -t 111.11.11.11:80 -r 10.10.120.210:8000 -m 
ipvsadm -a -t 111.11.11.11:80 -r 10.10.120.211:8000 -m 

添加兩臺實際服務器(不需要有外網(wǎng)ip)，-r后面是實際服務器的內網(wǎng)ip和端口，-m表示采用NAT方式來轉發(fā)數(shù)據(jù)包

運行ipvsadm -L -n可以查看實際服務器的狀態(tài)。這樣就大功告成了。

實驗證明使用基于NAT的負載均衡系統(tǒng)。作為調度器的NAT服務器可以將吞吐率提升到一個新的高度，幾乎是反向代理服務器的兩倍以上，這大多歸功于在內核中進行請求轉發(fā)的較低開銷。

但是一旦請求的內容過大時，不論是基于反向代理還是NAT，負載均衡的整體吞吐量都差距不大，這說明對于一睦開銷較大的內容，使用簡單的反向代理來搭建負載均衡系統(tǒng)是值考慮的。

這么強大的系統(tǒng)還是有它的瓶頸，那就是NAT服務器的網(wǎng)絡帶寬，包括內部網(wǎng)絡和外部網(wǎng)絡。

當然如果你不差錢，可以去花錢去購買千兆交換機或萬兆交換機，甚至負載均衡硬件設備，但如果你是個屌絲，咋辦?

一個簡單有效的辦法就是將基于NAT的集群和前面的DNS混合使用，比如5個100Mbps出口寬帶的集群，然后通過DNS來將用戶請求均衡地指向這些集群，同時，你還可以利用DNS智能解析實現(xiàn)地域就近訪問。

這樣的配置對于大多數(shù)業(yè)務是足夠了，但是對于提供下載或視頻等服務的大規(guī)模站點，NAT服務器還是不夠出色。

直接路由(LVS-DR)

NAT是工作在網(wǎng)絡分層模型的傳輸層(第四層)，而直接路由是工作在數(shù)據(jù)鏈路層(第二層)，貌似更屌些。

它通過修改數(shù)據(jù)包的目標MAC地址(沒有修改目標IP)，將數(shù)據(jù)包轉發(fā)到實際服務器上，不同的是，實際服務器的響應數(shù)據(jù)包將直接發(fā)送給客戶羰，而不經(jīng)過調度器。

1、網(wǎng)絡設置

這里假設一臺負載均衡調度器，兩臺實際服務器，購買三個外網(wǎng)ip，一臺機一個，三臺機的默認網(wǎng)關需要相同，***再設置同樣的ip別名，這里假設別名為10.10.120.193。

這樣一來，將通過10.10.120.193這個IP別名來訪問調度器，你可以將站點的域名指向這個IP別名。

2、將ip別名添加到回環(huán)接口lo上

這是為了讓實際服務器不要去尋找其他擁有這個IP別名的服務器，在實際服務器中運行：

另外還要防止實際服務器響應來自網(wǎng)絡中針對IP別名的ARP廣播，為此還要執(zhí)行：

• echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
• echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
• echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
• echo "1" > /proc/sys/net/ipv4/conf/all/arp_announce

配置完了就可以使用ipvsadm配置LVS-DR集群了

• ipvsadm -A -t 10.10.120.193:80 -s rr
• ipvsadm -a -t 10.10.120.193:80 -r 10.10.120.210:8000 -g
• ipvsadm -a -t 10.10.120.193:80 -r 10.10.120.211:8000 -g

-g 就意味著使用直接路由的方式轉發(fā)數(shù)據(jù)包

LVS-DR 相較于LVS-NAT的***優(yōu)勢在于LVS-DR不受調度器寬帶的限制，例如假設三臺服務器在WAN交換機出口寬帶都限制為10Mbps，只要對于連接調度器和兩臺實際服務器的LAN交換機沒有限速。

那么，使用LVS-DR理論上可以達到20Mbps的***出口寬帶，因為它的實際服務器的響應數(shù)據(jù)包可以不經(jīng)過調度器而直接發(fā)往用戶端啊，所以它與調度器的出口寬帶沒有關系，只能自身的有關系。

而如果使用LVS-NAT，集群只能***使用10Mbps的寬帶。所以，越是響應數(shù)據(jù)包遠遠超過請求數(shù)據(jù)包的服務，就越應該降低調度器轉移請求的開銷，也就越能提高整體的擴展能力，最終也就越依賴于WAN出口寬帶。

總的來說，LVS-DR適合搭建可擴展的負載均衡系統(tǒng)，不論是Web服務器還是文件服務器，以及視頻服務器，它都擁有出色的性能。前提是你必須為實際器購買一系列的合法IP地址。

IP 隧道(LVS-TUN)

基于IP隧道的請求轉發(fā)機制：將調度器收到的IP數(shù)據(jù)包封裝在一個新的IP數(shù)據(jù)包中，轉交給實際服務器，然后實際服務器的響應數(shù)據(jù)包可以直接到達用戶端。

目前Linux大多支持，可以用LVS來實現(xiàn)，稱為LVS-TUN，與LVS-DR不同的是，實際服務器可以和調度器不在同一個WANt網(wǎng)段，調度器通過IP隧道技術來轉發(fā)請求到實際服務器，所以實際服務器也必須擁有合法的IP地址。

總體來說，LVS-DR和LVS-TUN都適合響應和請求不對稱的Web服務器，如何從它們中做出選擇，取決于你的網(wǎng)絡部署需要，因為LVS-TUN可以將實際服務器根據(jù)需要部署在不同的地域，并且根據(jù)就近訪問的原則來轉移請求，所以有類似這種需求的，就應該選擇LVS-TUN。