1.項(xiàng)目背景

公司集群上千物理節(jié)點(diǎn)，存儲(chǔ)容量100PB+,當(dāng)前使用50PB左右，YARN的計(jì)算內(nèi)存150Tb+,CPU 30000 Cores+。當(dāng)前使用的CDH集群，因?yàn)樾阅芷款i，需要遷移到自建的apache Hadoop3集群。CDH集群默認(rèn)的是Fair Scheduler，Ambari(Hortonwork)默認(rèn)使用Capacity Scheduler。CDH和HDP合并后，新的CDP會(huì)默認(rèn)使用Capacity Scheduler調(diào)度器。所以如果需要將CDH群集遷移到CDP時(shí)，必須從Fair Scheduler遷移到Capacity Scheduler。遷移過(guò)程包括在遷移之前自動(dòng)將某些Fair Scheduler配置轉(zhuǎn)換為Capacity Scheduler配置，并在遷移之后進(jìn)行手動(dòng)微微調(diào)。

目前Hadoop3.x默認(rèn)使用的是Capacity Scheduler，并且Capacity Scheduler支持了Node Labels機(jī)制，即通過(guò)給節(jié)點(diǎn)打標(biāo)簽的形式，讓不同隊(duì)列使用不同的標(biāo)簽節(jié)點(diǎn)進(jìn)而更好地做計(jì)算資源隔離和資源保障。目前大公司來(lái)說(shuō)使用Capacity Scheduler和Fair Scheduler的公司都有很多。至于FIFO調(diào)度器在生產(chǎn)上的使用幾乎可以忽略不計(jì)。對(duì)于一家公司，中型集群規(guī)模的話，到底是選擇Capacity Scheduler還是Fair Scheduler呢？從配置使用友好度，日常管理，生產(chǎn)上資源分配，拓展，實(shí)際使用經(jīng)驗(yàn)等多個(gè)維度去考核對(duì)比一下兩者的聯(lián)系

2.Fair Scheduler和Capacity Scheduler的調(diào)研

現(xiàn)在隨著hadoop3的更新，F(xiàn)air Scheduler和Capacity Scheduler的功能性越來(lái)越同質(zhì)化，相近。但是兩者的之所以沒(méi)有合并或者湮沒(méi)一家，是因?yàn)楸举|(zhì)上還是不同，都有一些自己的特質(zhì)與特定的功能，在不同方向發(fā)揮著自己的余熱。下面基于其重要的特性做了一些對(duì)比。

<<queue name =“ root”>
    <minResources> 10000 mb，0vcores </ minResources>
    <maxResources> 90000 mb，0vcores </ maxResources>
    <maxRunningApps> 50 </ maxRunningApps>
    <maxAMShare> 0.1 </ maxAMShare>
    <weight> 2.0 </ weight></span>

3.最后的最后

3.1 Fair Scheduler

• Fair Scheduler是資源池概念，大家共享這個(gè)池子里面的資源。
• 多隊(duì)列多租戶使用時(shí)，可以根據(jù)業(yè)務(wù)線，部門，隊(duì)列的實(shí)際使用情況，根據(jù)每個(gè)隊(duì)列的日均最小使用資源給隊(duì)列配置一個(gè)min resource，保證這個(gè)隊(duì)列的任務(wù)可以滿足最低運(yùn)行需求。同時(shí)為了防止單個(gè)隊(duì)列過(guò)多占用集群的資源，可以通過(guò)設(shè)置max resource限制隊(duì)列使用資源上線。但是max resource謹(jǐn)慎使用，設(shè)置不合理可能降低集群的資源使用率。
• 在滿足了不同隊(duì)列最小使用資源的保障后，再根據(jù)實(shí)際應(yīng)用場(chǎng)景，給不同的隊(duì)列配置不同的權(quán)重，最后FS會(huì)根據(jù)權(quán)重來(lái)為各個(gè)對(duì)列的資源池（各個(gè)對(duì)列還有子隊(duì)列）分配資源（這種搶占的按照權(quán)重分配的方式本質(zhì)和capacity 分配一樣）。權(quán)重的設(shè)置相對(duì)capacitye很靈活，想增加權(quán)重直接修改權(quán)重整數(shù)值即可，F(xiàn)S會(huì)將各個(gè)對(duì)列的權(quán)重值求和。用當(dāng)前隊(duì)列權(quán)重值/總和的形式分配資源，其實(shí)也就是按所占的百分比分配資源。這種方式有利于動(dòng)態(tài)調(diào)整資源池的使用。同一級(jí)別的隊(duì)列可以設(shè)置權(quán)重進(jìn)行資源分配搶占。同一個(gè)父隊(duì)列的子隊(duì)列之間的資源也可以通過(guò)配置權(quán)重來(lái)進(jìn)行資源分配搶占，注意子隊(duì)列只搶占父隊(duì)列的資源。
• 如下，隊(duì)列的生產(chǎn)配置情況?？梢酝ㄟ^(guò)權(quán)重，限制并發(fā)，最小資源，最大資源，調(diào)度策略等方式保證隊(duì)列任務(wù)的穩(wěn)定調(diào)度。

• 可以結(jié)合公司實(shí)際不同部門的資源使用情況，比如A部門主要晚上用，B部門主要夜里用，配置早晚兩套或者N套資源隊(duì)列分配配置文件，通過(guò)調(diào)度自動(dòng)更新配置文件，yarn會(huì)每隔10s去更新讀取一次配置文件，這樣在無(wú)感知的情況下更加有利于調(diào)高集群的吞吐率。

3.2 Capacity Scheduler

• 相比Capacity Scheduler 是一個(gè)隊(duì)列概念，新增一個(gè)任務(wù)，如果發(fā)現(xiàn)資源不夠了，則根據(jù)FIFO規(guī)則排隊(duì)；什么時(shí)候資源夠了，再用。
• Fair Scheduler可以配置自動(dòng)創(chuàng)建pool，但是Capacity則無(wú)法創(chuàng)建隊(duì)列；其實(shí)本質(zhì)差別就是在于一個(gè)是pool共享資源的概念。對(duì)于FS而言，可以使用資源池中未被使用的資源，但是Capacity則不允許；所以前者比較靈活，后者相對(duì)呆滯。

3.3 建議

如果是中小型集群，上千節(jié)點(diǎn)以內(nèi)，資源比較緊張，建議使用Fair Scheduler,配置簡(jiǎn)單，對(duì)資源的使用效率也高。相比Fair Scheduler更加靈活，允許作業(yè)使用群集中未使用的資源。它通過(guò)基于定義的權(quán)重來(lái)給任務(wù)的公平搶占和穩(wěn)定提供保證。對(duì)于中小型集群，這是一個(gè)很好的默認(rèn)設(shè)置。

容量調(diào)度程序?qū)τ谫Y源的管理更加細(xì)化，配置起來(lái)也是調(diào)度器中最麻煩的。其使用資源配額定義隊(duì)列。作業(yè)不能消耗額外的資源。這需要更多的配置和不斷的試錯(cuò)，調(diào)整容量規(guī)劃。所以它更加適合不同工作負(fù)載且具有不同需求的大型集群。比如大幾千，上萬(wàn)，類似阿里巴巴那樣的集群。

參考資料：

https://docs.cloudera.com/cdp/latest/data-migration/topics/cdp-data-migration-yarn-scheduler-migration.html

Apache Hadoop 3.3.4 – YARN Node Labels

??https://www.quora.com/Apache-Hadoop-Whats-the-difference-between-Fair-Scheduler-and-Capacity-Scheduler??

本文轉(zhuǎn)載自微信公眾號(hào)「滌生大數(shù)據(jù)」，作者「滌生大數(shù)據(jù)」，可以通過(guò)以下二維碼關(guān)注。

轉(zhuǎn)載本文請(qǐng)聯(lián)系「滌生大數(shù)據(jù)」公眾號(hào)。