眾所周知，Yarn是大數(shù)據(jù)核心調(diào)度組件，其使用覆蓋率非常高。在“Hadoop是否已失寵”的選題調(diào)研中，不少專(zhuān)家都對(duì)Yarn這一核心組件的生命力表達(dá)了自己的看法。

阿里云技術(shù)專(zhuān)家封神認(rèn)為，Yarn在離線(xiàn)與在線(xiàn)數(shù)據(jù)混合方面表現(xiàn)欠佳，但這也是其背景使然，支持Yarn的幾家公司主要做離線(xiàn)系統(tǒng)，對(duì)在線(xiàn)系統(tǒng)部署問(wèn)題關(guān)注不夠。當(dāng)然，目前市場(chǎng)已經(jīng)存在具備一定競(jìng)爭(zhēng)關(guān)系的產(chǎn)品，比如Mesos，但這兩大調(diào)度系統(tǒng)的設(shè)計(jì)目標(biāo)并不完全相同，并且Yarn也在朝著Mesos的領(lǐng)域進(jìn)軍。

[[238468]]

百分點(diǎn)集團(tuán)技術(shù)副總裁兼首席架構(gòu)師劉譯璟認(rèn)為，Yarn與Hadoop平臺(tái)的綁定過(guò)于密切，而實(shí)際上，我們有很多資源調(diào)度管理方法可供選擇，比如Kubernetes等，對(duì)各種應(yīng)用的支持某種程度上比Yarn更完善，無(wú)論是外部類(lèi)型應(yīng)用，大數(shù)據(jù)應(yīng)用還是機(jī)器學(xué)習(xí)應(yīng)用均可處理。

雖然在大數(shù)據(jù)應(yīng)用層面不盡完美，但Yarn在支持長(zhǎng)期運(yùn)行服務(wù)方面具有很大優(yōu)勢(shì)，這是Yarn社區(qū)耗時(shí)一年一直在努力做的事情，本文主要介紹該服務(wù)的特點(diǎn)和具體使用方法。

Apache Hadoop 3.1功能——Yarn服務(wù)框架!

所謂長(zhǎng)期運(yùn)行服務(wù)支持，主要針對(duì)長(zhǎng)期占用較多資源的應(yīng)用，我們將該功能稱(chēng)之為Yarn服務(wù)框架。2017年11月，這一功能被整合到工具箱，總共經(jīng)歷了108個(gè)提交，代碼更改了33539行。該功能主要包括以下內(nèi)容：

1、在Yarn上運(yùn)行的核心框架(ApplicationMaster)，作為容器協(xié)調(diào)工具，負(fù)責(zé)管理所有服務(wù)的生命周期。

2、RESTful API服務(wù)，供用戶(hù)使用簡(jiǎn)單的JSON規(guī)范在Yarn上部署和管理服務(wù)。

3、由Yarn服務(wù)注冊(cè)表支持的Yarn DNS服務(wù)器，可通過(guò)其標(biāo)準(zhǔn)DNS在Yarn上查找服務(wù)。

4、高級(jí)容器設(shè)置計(jì)劃，例如每個(gè)應(yīng)用程序的容器大小調(diào)整和節(jié)點(diǎn)標(biāo)簽。

5、集裝箱升級(jí)和整體服務(wù)。

6、Yarn服務(wù)框架與一些其他功能：

• 對(duì)Docker的支持;
• 基于HBase的本地Yarn時(shí)間線(xiàn)服務(wù)，用于記錄生命周期事件和指標(biāo)，并為用戶(hù)提供豐富的分析API以獲取、查詢(xún)應(yīng)用程序詳細(xì)信息;
• Yarn UI2中的Services UI。

Yarn上管理服務(wù)的大部分復(fù)雜性都是對(duì)用戶(hù)隱藏的。用戶(hù)僅處理JSON規(guī)范，并通過(guò)CLI或REST API部署和管理在Yarn上運(yùn)行的服務(wù)。以下是在Yarn上部署httpd容器的JSON規(guī)范示例。用戶(hù)只需通過(guò)REST API或使用CLI發(fā)布此JSON規(guī)范，系統(tǒng)將自動(dòng)處理其余內(nèi)容——啟動(dòng)和監(jiān)視容器或進(jìn)行應(yīng)用程序運(yùn)行所需的所有操作，如容器自動(dòng)重啟(如果失敗)。例如：

1、啟動(dòng)服務(wù)，請(qǐng)使用提供的JSON運(yùn)行以下命令

2、獲取應(yīng)用程序狀態(tài)

yarn app -status my-httpd 

3、將容器數(shù)量設(shè)置為3:

yarn app -flex my-httpd -component httpd 3 

4、停止服務(wù):

yarn app -stop my-httpd 

5、重啟已經(jīng)停止的服務(wù):

yarn app -start my-httpd 

下圖展示了Yarn集群在支持長(zhǎng)期運(yùn)行服務(wù)時(shí)涉及的主要組件：

由圖可見(jiàn)，典型的工作流程是：

• User向Yarn Service REST API發(fā)布描述服務(wù)規(guī)范的JSON請(qǐng)求，例如容器內(nèi)存大小、CPU核心數(shù)、Docker鏡像ID等。同樣，用戶(hù)也可以使用Yarn CLI提交服務(wù)并創(chuàng)建請(qǐng)求;
• RM在接受請(qǐng)求后，啟動(dòng)ApplicationMaster(即容器編排框架);
• 業(yè)務(wù)流程框架從RM請(qǐng)求資源(一定要遵守用戶(hù)的資源需求)，然后分配容器，在NodeManager上啟動(dòng)容器;
• NodeManager依次啟動(dòng)容器進(jìn)程(用戶(hù)代碼所在的位置)或使用Docker容器運(yùn)行時(shí)啟動(dòng)Docker容器;
• 業(yè)務(wù)流程框架監(jiān)視容器的健康狀況和準(zhǔn)備情況，并對(duì)容器的故障或錯(cuò)誤采取行動(dòng)。它將服務(wù)的生命周期事件和指標(biāo)寫(xiě)入Yarn時(shí)間線(xiàn)服務(wù)(由HBase支持)，將附加服務(wù)元信息(例如容器IP和主機(jī))寫(xiě)入由ZooKeeper支持的Yarn服務(wù)注冊(cè)表中;
• Registry DNS服務(wù)器偵聽(tīng)ZooKeeper中的znode創(chuàng)建或刪除，并創(chuàng)建各種DNS記錄，例如A record和Service Record，以提供DNS查詢(xún);

根據(jù)JSON規(guī)范和YARN配置中提供的信息，為每個(gè)Docker容器提供用戶(hù)友好的主機(jī)名。然后，客戶(hù)端可以使用標(biāo)準(zhǔn)DNS通過(guò)容器主機(jī)名查找容器IP。

Yarn已被證明可以很好地支持MapReduce和Spark等批量處理工作負(fù)載，此功能還可以將現(xiàn)有的基于容器的服務(wù)引入Yarn。用戶(hù)可以使用單個(gè)集群來(lái)運(yùn)行批處理作業(yè)和支持長(zhǎng)時(shí)間運(yùn)行服務(wù)，這還可以實(shí)現(xiàn)批處理作業(yè)和服務(wù)之間的資源共享，服務(wù)通常在白天運(yùn)行，而批處理作業(yè)通常在夜間運(yùn)行，這樣的資源共享極大地提高了整體集群的利用率;支持kerberos安全性，可以與標(biāo)準(zhǔn)的kerberized Hadoop集群很好地配合;除了docker容器化應(yīng)用程序外，它還支持標(biāo)準(zhǔn)的tar打包應(yīng)用程序。

在Hadoop生態(tài)系統(tǒng)中存在超過(guò)十年，Yarn已經(jīng)成長(zhǎng)為一個(gè)較成熟的項(xiàng)目，并在很多企業(yè)內(nèi)部大規(guī)模應(yīng)用。此外，Yarn Container Orchestration Framework利用了Hadoop生態(tài)中所有的穩(wěn)定功能，這讓Yarn成為Hadoop使用者的首要選擇。正如開(kāi)篇兩位技術(shù)專(zhuān)家所言，Yarn并不是最完善的資源調(diào)度工具，但它與Hadoop生態(tài)綁定甚緊并與其中的組件完美整合，這就是Yarn最大的優(yōu)勢(shì)之一。