在數(shù)據(jù)倉庫中肯定是要實(shí)施數(shù)據(jù)生命周期管理的，因?yàn)槲覀冊趯?shí)際使用中發(fā)現(xiàn)對于數(shù)據(jù)倉庫中的數(shù)據(jù)訪問存在典型的二八原則，即通常80%的訪問集中在20%的數(shù)據(jù)上，這個(gè)結(jié)論是我們抽查了幾個(gè)省的數(shù)據(jù)倉庫后確認(rèn)的，甚至有的省由于數(shù)據(jù)倉庫設(shè)計(jì)的不一樣（比如日表、月表）等顯現(xiàn)得更加明顯?；谶@樣的情況，為了讓數(shù)據(jù)倉庫運(yùn)行得更加高效，同時(shí)能低成本的存儲(chǔ)長期的數(shù)據(jù)，約一半以上的省公司數(shù)據(jù)倉庫實(shí)現(xiàn)了按照數(shù)據(jù)生命周期的分庫。

但是當(dāng)我們將目光轉(zhuǎn)向Hadoop的時(shí)候，發(fā)現(xiàn)同樣的問題依然存在。我們希望讓Hadoop來承載海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，以及部分的數(shù)據(jù)加工，也許以后還會(huì)通過HIVE或者PIG的方式承載一些高端的即席查詢?nèi)蝿?wù)。這種混合而不是單一的任務(wù)注定了也需要實(shí)施生命周期管理，因?yàn)閿?shù)據(jù)加工通常是對近段時(shí)間的數(shù)據(jù)進(jìn)行，而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢則需要對歷史數(shù)據(jù)進(jìn)行。

根據(jù)訪問頻次和響應(yīng)時(shí)間以及吞吐率的需求不同，我們可以通過幾種方式來進(jìn)行數(shù)據(jù)生命周期管理。

一、在一個(gè)Hadoop系統(tǒng)中，通過不同的壓縮率、塊大小和副本數(shù)量來控制。對于歸檔的數(shù)據(jù)，可以使用較高的壓縮率，較大的塊和較少的副本來保存。因?yàn)檩^高的壓縮率需要較長的解壓時(shí)間、較大的塊可以節(jié)約NameNode的空間，較少的副本（但仍需要保證數(shù)據(jù)安全）雖然會(huì)減少M(fèi)ap任務(wù)的本地調(diào)度幾率，但是由于頻率較少所以影響不大。

二、組成兩個(gè)HDFS系統(tǒng)。一個(gè)是專門為高性能計(jì)算設(shè)計(jì)的，有較多的高性能磁盤（SAS盤）、CPU和內(nèi)存，系統(tǒng)存儲(chǔ)容量不用太大。另外一個(gè)專門為歷史數(shù)據(jù)存儲(chǔ)和查詢設(shè)計(jì)，用較多的高容量磁盤（SATA盤）、較少比例的CPU和內(nèi)存。兩個(gè)系統(tǒng)中的數(shù)據(jù)對象通過一個(gè)第三方組件來進(jìn)行透明的管理，兩個(gè)系統(tǒng)中的數(shù)據(jù)通過Hadoop中一個(gè)專門用來在兩個(gè)HDFS中導(dǎo)數(shù)據(jù)的組件，通過MapReduce來進(jìn)行高效的數(shù)據(jù)同步。在數(shù)據(jù)處理方面，兩個(gè)系統(tǒng)可以配置在一套JobTrack上，也可以僅讓第二套系統(tǒng)承擔(dān)HDFS的任務(wù)，所有的MapReduce任務(wù)都放在第一套高性能系統(tǒng)上去實(shí)現(xiàn)，讓它再去訪問第二套系統(tǒng)的HDFS。

個(gè)人感覺兩個(gè)也許可以混合起來用，當(dāng)然這加大了系統(tǒng)的復(fù)雜度，需要同步加強(qiáng)管控。