Apache Hadoop 2.6.0發(fā)布——異構(gòu)存儲(chǔ),長(zhǎng)時(shí)間運(yùn)行的服務(wù)與滾動(dòng)升級(jí)支持
我很高興地宣布,在Apache的Hadoop社區(qū)已經(jīng)發(fā)布了Apache Hadoop的2.6.0!
特別是,我們很高興在此版本中相關(guān)的三個(gè)主要片:異構(gòu)存儲(chǔ)在HDFS使用SSD和內(nèi)存層,支持長(zhǎng)時(shí)間運(yùn)行在YARN服務(wù)和滾動(dòng)升級(jí),將升級(jí)您的集群軟件,然后重新啟動(dòng)升級(jí)的節(jié)點(diǎn)而無(wú)需關(guān)閉群集或丟失正在進(jìn)行的工作。YARN作為其架構(gòu)中心,Hadoop的不斷吸引新的引擎在數(shù)據(jù)平臺(tái)中運(yùn)行,作為組織想要在一個(gè)單一的存儲(chǔ)庫(kù)高效地存儲(chǔ)數(shù)據(jù),并與它同時(shí)以不同的方式進(jìn)行交互。
非常感謝所有的貢獻(xiàn)者和提交這些人所合作過(guò)這個(gè)版本,共有近900個(gè) JIRA問(wèn)題在四個(gè)方面解決的:
- Hadoop通用:231個(gè) JIRA問(wèn)題解決
- Hadoop的HDFS:305個(gè) JIRA問(wèn)題解決
- Hadoop的YARN:290個(gè) JIRA問(wèn)題解決
- Hadoop的MapReduce的:70個(gè) JIRA問(wèn)題解決
- Apache Hadoop2.6.0的亮點(diǎn)
以下是有關(guān)的最重要的特征的一些細(xì)節(jié)。對(duì)于功能,改進(jìn)和bug修復(fù)的完整列表,
加強(qiáng)支持異構(gòu)存儲(chǔ)層的HDFS
管理員可以在一個(gè)限定的Datanode跨磁盤存儲(chǔ)層,以及應(yīng)用程序可利用的API將數(shù)據(jù)存儲(chǔ)到這些不同的存儲(chǔ)層。這意味著管理員可以優(yōu)化他們的應(yīng)用程序通過(guò)使用Hadoop運(yùn)行:
- 在SSD存儲(chǔ)層以提高讀/寫延遲
- 內(nèi)存存儲(chǔ)層進(jìn)行快速讀/寫要么臨時(shí)數(shù)據(jù)或故障的應(yīng)用程序(如星火,TEZ等)
- 歸檔存儲(chǔ)層,以提高存儲(chǔ)效率。
支持長(zhǎng)時(shí)間運(yùn)行的服務(wù)在YARN
Apache Hadoop2.6.0包括增強(qiáng)了核心Apache Hadoop YARN平臺(tái),使長(zhǎng)期存在的服務(wù)(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中運(yùn)行,并充分利用其優(yōu)勢(shì)的容錯(cuò),安全性和易維護(hù)性。
Apache Hadoop最初架構(gòu),支持批量處理數(shù)據(jù)。但有些應(yīng)用“永遠(yuǎn)在線”,隨時(shí)準(zhǔn)備處理輸入數(shù)據(jù)。例如,Apache Storm必須準(zhǔn)備在一天中的任何時(shí)間實(shí)時(shí)處理數(shù)據(jù)流,在一年中的任何一天。
用Hadoop2.6.0,集群現(xiàn)在可以利用相同的基礎(chǔ)設(shè)施安排,執(zhí)行和管理所有期限的多個(gè)工作負(fù)載。長(zhǎng)住服務(wù),如 Storm和HBase可以和平共處的一起是在特定的時(shí)間點(diǎn)(如Apache Hive或Apache Pig),用于特設(shè)工作應(yīng)用程序。
滾動(dòng)升級(jí)在YARN工作,保留重新啟動(dòng)
新的工作,維護(hù)重啟功能可以讓應(yīng)用程序保持其完成和正在進(jìn)行的國(guó)家,在一個(gè)節(jié)點(diǎn)故障或重啟的臉。 YARN現(xiàn)在可以提供滾動(dòng)以最小的服務(wù)質(zhì)量下降用于運(yùn)行應(yīng)用程序的升級(jí)支持。已完成或正在進(jìn)行中的應(yīng)用工作節(jié)點(diǎn)重啟過(guò)程中保持不變,進(jìn)度回升,而不必從頭開始重新啟動(dòng)所有任務(wù)。
展望Apache Hadoop2.7版本
為ApacheHadoop的下一個(gè)版本的主要驅(qū)動(dòng)力正在向JDK7+即我們現(xiàn)在要求使用JDK7的ApacheHadoop的前進(jìn),也支持JDK8作為一個(gè)運(yùn)行時(shí)。
在ApacheHadoop社區(qū)開展的其他重要活動(dòng)有:
- 在HDFS進(jìn)行糾刪碼支持 - HDFS-7285
- 支持磁盤YARN調(diào)度和隔離的資源 - YARN-2139
- 容器資源委派延長(zhǎng)YARN資源管理 - YARN-1488
與往常一樣,你可以沿著發(fā)展,通過(guò)跟蹤路線圖的Wiki的Apache Hadoop跟隨。
致謝
非常感謝大家誰(shuí)促成了這一版本,和整個(gè)Apache Hadoop社區(qū)。
原文出自:http://blog.csdn.net/yangzhenping/article/details/41800691