Hadoop YARN
代碼托管地址: Apache SVN
YARN又被稱為MapReduce 2.0,借鑒Mesos,YARN提出了資源隔離解決方案Container,但是目前尚未成熟,僅僅提供 Java 虛擬機(jī)內(nèi)存的隔離。
對(duì)比MapReduce 1.x,YARN架構(gòu)在客戶端上并未做太大的改變,在調(diào)用 API 及接口上還保持大部分的兼容,然而在YARN中,開發(fā)人員使用 ResourceManager、ApplicationMaster 與 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker。其中 ResourceManager 是一個(gè)中心的服務(wù),負(fù)責(zé)調(diào)度、啟動(dòng)每一個(gè) Job 所屬的 ApplicationMaster,另外還監(jiān)控 ApplicationMaster 的存在情況;NodeManager負(fù)責(zé) Container 狀態(tài)的維護(hù),并向 RM 保持心跳。ApplicationMaster 負(fù)責(zé)一個(gè) Job 生命周期內(nèi)的所有工作,類似老的框架中 JobTracker。