一、概要

這篇文章，給大家聊聊分布式文件系統(tǒng)HDFS在大量客戶端并發(fā)寫數(shù)據(jù)時(shí)，如何進(jìn)行性能優(yōu)化?

二、背景引入

先引入一個(gè)小的背景，假如多個(gè)客戶端同時(shí)要并發(fā)的寫Hadoop HDFS上的一個(gè)文件，這個(gè)事兒能成嗎?

明顯不可以接受啊，因?yàn)镠DFS上的文件是不允許并發(fā)寫的，比如并發(fā)的追加一些數(shù)據(jù)什么。

所以HDFS里有一個(gè)機(jī)制，叫做文件契約機(jī)制。

也就是說，同一時(shí)間只能有一個(gè)客戶端獲取NameNode上面一個(gè)文件的契約，然后才可以寫入數(shù)據(jù)。

此時(shí)如果其他客戶端嘗試獲取文件契約的時(shí)候，就獲取不到，只能干等著。

通過這個(gè)機(jī)制，可以保證同一時(shí)間只有一個(gè)客戶端在寫一個(gè)文件。

在獲取到了文件契約之后，在寫文件的過程期間，那個(gè)客戶端需要開啟一個(gè)線程，不停的發(fā)送請(qǐng)求給NameNode進(jìn)行文件續(xù)約，告訴NameNode：

• NameNode大哥，我還在寫文件啊，你給我一直保留那個(gè)契約好嗎?

而NameNode內(nèi)部有一個(gè)專門的后臺(tái)線程，負(fù)責(zé)監(jiān)控各個(gè)契約的續(xù)約時(shí)間。

如果某個(gè)契約很長時(shí)間沒續(xù)約了，此時(shí)就自動(dòng)過期掉這個(gè)契約，讓別的客戶端來寫。

說了這么多，老規(guī)矩，給大家來一張圖，直觀的感受一下整個(gè)過程。 

三、問題凸現(xiàn)

好，那么現(xiàn)在問題來了，假如我們有一個(gè)大規(guī)模部署的Hadoop集群，同時(shí)存在的客戶端可能多達(dá)成千上萬個(gè)。

此時(shí)NameNode內(nèi)部維護(hù)的那個(gè)文件契約列表會(huì)非常非常的大，而監(jiān)控契約的后臺(tái)線程又需要頻繁的每隔一段時(shí)間就檢查一下所有的契約是否過期。

比如，每隔幾秒鐘就遍歷大量的契約，那么勢必造成性能不佳，所以說這種契約監(jiān)控機(jī)制明顯是不適合大規(guī)模部署的hadoop集群的。

四、優(yōu)化方案

那么如何對(duì)文件契約監(jiān)控算法進(jìn)行優(yōu)化的呢?

咱們來一步一步的看一下他的實(shí)現(xiàn)邏輯。首先，我們一起來看看下面這張手繪圖： 

其實(shí)奧秘十分的簡單，每次一個(gè)客戶端發(fā)送續(xù)約請(qǐng)求之后，就設(shè)置這個(gè)契約的最近一次續(xù)約時(shí)間。

然后，基于一個(gè)TreeSet數(shù)據(jù)結(jié)構(gòu)來根據(jù)最近一次續(xù)約時(shí)間對(duì)契約進(jìn)行排序，每次都把續(xù)約時(shí)間最老的契約排在最前頭，這個(gè)排序后的契約數(shù)據(jù)結(jié)構(gòu)十分的重要。

TreeSet是一種可排序的數(shù)據(jù)結(jié)構(gòu)，他底層基于TreeMap來實(shí)現(xiàn)。

TreeMap底層則基于紅黑樹來實(shí)現(xiàn)，可以保證元素沒有重復(fù)，同時(shí)還能按照我們自己定義的排序規(guī)則在你每次插入一個(gè)元素的時(shí)候來進(jìn)行自定義的排序。

所以這里我們的排序規(guī)則：就是按照契約的最近一次續(xù)約時(shí)間來排序。

其實(shí)這個(gè)優(yōu)化就是如此的簡單，就是維護(hù)這么一個(gè)排序數(shù)據(jù)結(jié)構(gòu)而已。

我們現(xiàn)在來看一下Hadoop中的契約監(jiān)控的源碼實(shí)現(xiàn)： 

每次檢查契約是否過期的時(shí)候，你不要遍歷成千上萬的契約，那樣遍歷效率當(dāng)然會(huì)很低下。

我們完全可以就從TreeSet中獲取續(xù)約時(shí)間最老的那個(gè)契約，假如說連最近一次續(xù)約時(shí)間最老的那個(gè)契約都還沒過期，那么就不用繼續(xù)檢查了啊!這說明續(xù)約時(shí)間更近的那些契約絕對(duì)不會(huì)過期!

舉個(gè)例子：續(xù)約時(shí)間最老的那個(gè)契約，最近一次續(xù)約的時(shí)間是10分鐘以前，但是我們判斷契約過期的限制是超過15分鐘不續(xù)約就過期那個(gè)契約。

這個(gè)時(shí)候，連10分鐘以前續(xù)約的契約都沒有過期，那么那些8分鐘以前，5分鐘以前續(xù)約的契約，肯定也不會(huì)過期啊! 

這個(gè)機(jī)制的優(yōu)化對(duì)性能的提升是相當(dāng)有幫助的，因?yàn)檎碚f，過期的契約肯定還是占少數(shù)，所以壓根兒不用每次都遍歷所有的契約來檢查是否過期。

我們只需要檢查續(xù)約時(shí)間最舊的那幾個(gè)契約就可以了，如果一個(gè)契約過期了，那么就刪掉那個(gè)契約，然后再檢查第二舊的契約好了。以此類推。

通過這個(gè)TreeSet排序 + 優(yōu)先檢查最舊契約的機(jī)制，有效的將大規(guī)模集群下的契約監(jiān)控機(jī)制的性能提升至少10倍以上，這種思想是非常值得我們學(xué)習(xí)和借鑒的。

給大家稍微引申一下，在Spring Cloud微服務(wù)架構(gòu)中，Eureka作為注冊(cè)中心其實(shí)也有續(xù)約檢查的機(jī)制，跟Hadoop是類似的。

但是在Eureka中就沒有實(shí)現(xiàn)類似的續(xù)約優(yōu)化機(jī)制，而是暴力的每一輪都遍歷所有的服務(wù)實(shí)例的續(xù)約時(shí)間。

如果你面對(duì)的是一個(gè)大規(guī)模部署的微服務(wù)系統(tǒng)呢，情況就不妙了!

部署了幾十萬臺(tái)機(jī)器的大規(guī)模系統(tǒng)，有幾十萬個(gè)服務(wù)實(shí)例的續(xù)約信息駐留在Eureka的內(nèi)存中，難道每隔幾秒鐘都要遍歷幾十萬個(gè)服務(wù)實(shí)例的續(xù)約信息嗎?

最后給大家提一句，優(yōu)秀的開源項(xiàng)目，蘊(yùn)含著很多優(yōu)秀的設(shè)計(jì)思想。多看各種優(yōu)秀開源項(xiàng)目的源碼，是短時(shí)間內(nèi)快速、大幅度提升一個(gè)人的技術(shù)功底和技術(shù)水平的方式，大家不妨嘗試一下。