“鴛鴦鍋”玩轉(zhuǎn)大數(shù)據(jù)
近視、脫發(fā)
頸椎、腰椎問題
還有久坐不動
漸漸發(fā)福的身體...
上面這些癥狀
別說你沒有
而且，干IT這行的更是重災(zāi)區(qū)
怎么辦？
沒準(zhǔn)兒，還能像小張一樣
不僅把身體練好了
IT人的第六感，
小張在健身房找到了同行
小張是某教育機(jī)構(gòu)的一名程序媛，看著自己漸漸凸出的中段兒，越發(fā)渾實的四肢，隱隱顯露的雙下巴，在今年年初終于下狠心報了一個私教班。
健身半年以來，小張的工作狀態(tài)愈發(fā)精進(jìn)，頻頻受到領(lǐng)導(dǎo)表揚。這不，上周有消息說，公司又成功拿到了新一輪的融資。小張聽到消息后，樂得只想蹦迪，感覺自己距車?yán)遄幼杂?，skII 自由已經(jīng)不遠(yuǎn)了。
然而這個disco還沒蹦完，領(lǐng)導(dǎo)就給她布置了個難題。因為公司擴(kuò)張，對數(shù)據(jù)的存儲和分析要求更高，普通的數(shù)據(jù)倉庫已經(jīng)無法滿足需求，需要尋找一個新的解決方案。
但對于大數(shù)據(jù)，小張并沒有過深入的了解，公司也沒有相關(guān)的團(tuán)隊。怎么辦？小張抓耳撓腮，這時候想起來，健身房里有一個叫小戴的，是個同行，也許他能知道。
要說為什么小張知道小戴和自己是同行，沒有別的，這就是IT人特有第六感。
一次健身課后，小張主動約小戴一起吃火鍋，兩人一拍即合。于是，隔著火鍋店里氤氳的霧氣，愉快地聊了起來。
吃火鍋，秒懂Hadoop
小戴夾起一塊麻辣牛肉放進(jìn)鍋里，慢悠悠說道：“數(shù)據(jù)湖是大數(shù)據(jù)匯集、處理和應(yīng)用的基礎(chǔ)設(shè)施，只有將數(shù)據(jù)存儲在數(shù)據(jù)湖中才能更加高效、安全、低成本地實現(xiàn)數(shù)據(jù)掘金。
就像我們面前這口火鍋，各種蔬菜肉類都能放，撈出來就能吃，簡單又美味。而小炒一鍋只能燒一個菜，盡管精致，但要以吃貨來論的話，效率可遠(yuǎn)遠(yuǎn)比不上火鍋。”
小張聽了連連點頭，搶話說：數(shù)據(jù)湖最早在2011年由CITOResearch網(wǎng)站的CTO和作家DanWoods提出。經(jīng)過多年的發(fā)展，數(shù)據(jù)湖可以存儲非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化等任意結(jié)構(gòu)數(shù)據(jù)的并行系統(tǒng)；而且數(shù)據(jù)的存儲、清洗、分析、展現(xiàn)、管理都在一個平臺內(nèi)完成，無需數(shù)據(jù)遷移。
小戴抬頭看了下對面的女孩，心想：還算懂一點兒。
小張嚼著嘴里的羊肉，又慢慢夾起來一塊嫩嫩的鴨血，放進(jìn)鍋里。心想：終于把我提前半個小時記的內(nèi)容背了下來，你倒是繼續(xù)呀，我可只記住了這些。
小戴放下筷子，緩緩說道：“提起數(shù)據(jù)湖，總離不開Hadoop，今天，大部分大數(shù)據(jù)處理平臺都采用Hadoop，不過…”
小張忍不住問道：“不過什么？”
“不過傳統(tǒng)的Hadoop中每個節(jié)點既是計算節(jié)點又是存儲節(jié)點，每個數(shù)據(jù)需要復(fù)制3份，防止單個節(jié)點故障造成的數(shù)據(jù)丟失。隨著數(shù)據(jù)量的不斷增加，傳統(tǒng)Hadoop的計算和存儲融合架構(gòu)帶來缺點開始顯現(xiàn)。”
小戴指了指眼前的火鍋，繼續(xù)道：“就像我們眼前的這口火鍋，雖然食材各種都有，但它不靈活，因為鍋底是固定的，吃多了總會膩。所以傳統(tǒng)Hadoop也面臨著擴(kuò)展不靈活，數(shù)據(jù)保護(hù)成本過高，平臺用途單一等問題。”
小張趕緊咽下嘴里的肉，嚴(yán)肅問道：“那你的意思是？”
小戴笑了笑，只說：“快吃飯吧，我都餓了。”
小張此時要崩潰了，居然還賣起了關(guān)子??？
見小戴守口如瓶，小張也只能作罷，兩個人愉快地吃完了火鍋，各回各家了。
第二天一早，小張就收到一個PDF文件，里面是昨天沒講完的下半部分...
計算存儲分離，
“鴛鴦鍋”玩轉(zhuǎn)大數(shù)據(jù)
針對傳統(tǒng)Hadoop不足，戴爾易安信Isilon和ECS通過自帶Hadoop屬性，實現(xiàn)了計算和存儲分離的架構(gòu)。這種架構(gòu)不僅能克服傳統(tǒng)Hadoop架構(gòu)的不足，在進(jìn)行大數(shù)據(jù)處理時還無需進(jìn)行長時間的數(shù)據(jù)導(dǎo)入工作，實現(xiàn)數(shù)據(jù)就地分析，從而大大提高數(shù)據(jù)分析效率。
就像火鍋里的鴛鴦鍋，存儲是清湯鍋底，計算就是麻辣鍋底，兩者不僅互不干擾，而且滿足了各種食客的口腹之欲~
（不愧是鋼鐵直男，連鴛鴦鍋的圖都配了，看著小戴發(fā)來的PDF，小張心里想著...）
具體來說，和傳統(tǒng)Hadoop架構(gòu)相比，基于Isilon或ECS搭建Hadoop大數(shù)據(jù)分析平臺具有以下優(yōu)勢：
看完P(guān)DF后，小張立刻打電話向小戴道謝，然后開始著手準(zhǔn)備數(shù)據(jù)湖的建設(shè)方案。
等等，這戀愛的酸臭味...
周一，小張剛到辦公室就接到了開會的通知，急急忙忙跑到會議室。抬頭一看，剛喝了一口還沒來的及咽下的咖啡差點噴出來，會議室大屏前站著的，是西裝革履的小戴！
小張回過神來的時候，小戴剛好說到重點，Isilon的數(shù)據(jù)湖對他們公司到底有什么用處：
1.集中存儲所有非結(jié)構(gòu)化數(shù)據(jù)。各種影像、視頻、文檔、基因數(shù)據(jù)都可以集中存儲在Isilon上；
- 提供多種Hadoop版本支持。無需遷移數(shù)據(jù)，可以直接從大數(shù)據(jù)管理平臺升級為大數(shù)據(jù)分析平臺；
- 消除大數(shù)據(jù)孤島。在一個平臺上可以同時運行多個大數(shù)據(jù)應(yīng)用，無需為每個大數(shù)據(jù)應(yīng)用建設(shè)配套專用的存儲基礎(chǔ)設(shè)施；傳統(tǒng)上，當(dāng)增加新的數(shù)字化應(yīng)用或數(shù)字教學(xué)設(shè)備時，學(xué)校為每個應(yīng)用程序或教學(xué)設(shè)備提供專用的存儲基礎(chǔ)設(shè)施。其結(jié)果是，各個應(yīng)用系統(tǒng)都有獨立的存儲設(shè)備，形成物理上割裂的數(shù)據(jù)孤島。這些數(shù)據(jù)孤島只能被單獨管理，從而使得基礎(chǔ)設(shè)施變得復(fù)雜，運營和擴(kuò)容更加昂貴；
2.簡化數(shù)據(jù)生命周期管理。戴爾易安信數(shù)據(jù)湖具有自動存儲分層和云歸檔功能，熱數(shù)據(jù)可以分布在高性能存儲介質(zhì)上，冷數(shù)據(jù)可根據(jù)策略自動遷移到低成本存儲介質(zhì)或者遷移到云中；隨著教育相關(guān)數(shù)據(jù)量的急劇增加，數(shù)據(jù)湖提供一種簡便、安全、易管理、易擴(kuò)展的大數(shù)據(jù)存儲架構(gòu)，在數(shù)據(jù)生命周期內(nèi)進(jìn)行對海量數(shù)據(jù)進(jìn)行高效地管理和利用；
- 快速擴(kuò)容，多維提升。采用Isilon建設(shè)的數(shù)據(jù)湖平臺可在1分鐘內(nèi)完成在線擴(kuò)容，并實現(xiàn)容量和性能的同步增長；
- 多級容錯，確保安全。Isilon具有多級容錯機(jī)制，可以靈活設(shè)置多種數(shù)據(jù)保護(hù)策略，防止多塊盤或多個節(jié)點同時損壞，帶來的業(yè)務(wù)中斷和數(shù)據(jù)丟失。
- 降低存儲成本。由于教育數(shù)據(jù)蘊(yùn)含巨大的價值，因此大部分?jǐn)?shù)據(jù)都需要長期保存，隨著數(shù)據(jù)量的增加，數(shù)據(jù)長期保存的成本也越來越高，而數(shù)據(jù)湖能顯著降低數(shù)據(jù)保存的總擁有成本；
- 發(fā)掘數(shù)據(jù)價值。數(shù)據(jù)只要整合到一起才能被有效利用和發(fā)揮最大的威力。各種結(jié)構(gòu)、各種應(yīng)用的數(shù)據(jù)可以通過多種協(xié)議匯集到數(shù)據(jù)湖中，并可在不遷移數(shù)據(jù)的前提下，對湖中的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和利用；
- 實現(xiàn)數(shù)據(jù)共享，數(shù)據(jù)匯總后，對數(shù)據(jù)分享十分有利。各個教育部門可以在數(shù)據(jù)湖中根據(jù)需要和對應(yīng)的權(quán)限找到所需的數(shù)據(jù)；
- 便于教育協(xié)作，當(dāng)各個教育機(jī)構(gòu)的數(shù)據(jù)通過數(shù)據(jù)湖匯總后，便于開展部門間、高校間、地區(qū)間的教育協(xié)作、科研協(xié)作。
小戴剛說完，小張的領(lǐng)導(dǎo)就開口了，“挺不錯的，這聽起來能夠滿足我們公司的需求了。具體技術(shù)細(xì)節(jié)，你再和小張溝通溝通吧。”
小張內(nèi)心OS：他把我想跟您說的，都說完了啊，老板！
小張表面鎮(zhèn)定，站起來跟小戴握手：戴先生，咱們再談?wù)劙伞?/p>
小戴：好嘞！我也有個...想跟你談?wù)劇?/p>
唉，等會兒！小編我仿佛聞到了什么...
