Hadoop人才需求高漲 你準(zhǔn)備好了嗎？
譯文【51CTO 11月15日外電頭條】企業(yè)對Hadoop以及大數(shù)據(jù)相關(guān)技術(shù)的興趣日益高漲，這同時也讓大數(shù)據(jù)技術(shù)方面的專家成為炙手可熱的人才。
在本周于紐約舉行的Hadoop全球大會上，眾多分析師與IT管理者一再強(qiáng)調(diào)目前企業(yè)所面臨的主要挑戰(zhàn)之一就是在部署Hadoop方面人才匱乏。他們甚至表示，只要技術(shù)嫻熟、堪當(dāng)重任，企業(yè)愿意為這類員工繳納健康保險。
目前相關(guān)人才之短缺從以下事例中可見一斑：來自JP摩根大通公司以及eBay的IT高管們在會上發(fā)展主題演講，以借機(jī)匯集觀眾。
eBay公司體驗(yàn)、搜索與平臺部門副總裁Hugh Williams向觀眾們表示，目前他們正在誠意招聘Hadoop專業(yè)人員，并熱情邀請感興趣的朋友與他面對面進(jìn)行交流。
而JP摩根大通公司總經(jīng)理Larry Feinsmith則半開玩笑地聲稱，他們不僅樂意雇用合格的專業(yè)人士，更會提供比eBay高出10%的優(yōu)厚待遇。
在企業(yè)內(nèi)部，“Hadoop可謂次世代的數(shù)據(jù)倉庫，應(yīng)該被看作新型數(shù)據(jù)源，”Forrester研究公司分析師James Kobielus如是說。“能夠熟練使用Hadoop的人才理應(yīng)獲得更理想的薪酬，”因?yàn)樗麄儗ζ髽I(yè)的幫助極為巨大。
比起當(dāng)下常用的傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)，Hadoop使得企業(yè)可以存儲并管理更為龐大的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)卷。
越來越多的企業(yè)開始試探性地摸索這一技術(shù)，旨在為像博客、點(diǎn)擊流數(shù)據(jù)以及社交媒體內(nèi)容這樣數(shù)據(jù)量甚巨的服務(wù)提供存儲及分析功能，以期獲得更進(jìn)一步的客戶及業(yè)務(wù)洞察能力。
Kobielus認(rèn)為，隨著企業(yè)部署量的增加，此類分析技術(shù)人才的身份也必然要水漲船高。而且很多領(lǐng)域的專業(yè)人士都有潛力在Hadoop上大顯身手，例如具備多元統(tǒng)計分析、數(shù)據(jù)挖掘、預(yù)測建模、自然語言處理、內(nèi)容分析、文本分析以及社交網(wǎng)絡(luò)分析等職業(yè)背景的技術(shù)人員。
“更加廣義的大數(shù)據(jù)——特別是在Hadoop當(dāng)中——需要管理者具備高級分析領(lǐng)域的工作經(jīng)驗(yàn)，例如使用像MapReduce及R這樣的新生代方案處理預(yù)測及統(tǒng)計建模，”他說道。他同時補(bǔ)充說，以上這些正是數(shù)據(jù)分析師或數(shù)據(jù)科學(xué)家在Hadoop環(huán)境中經(jīng)常要應(yīng)對的結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，在它們的幫助下企業(yè)能夠顯著提升洞察力及商務(wù)智能性。
Hadoop贏得的廣泛關(guān)注也給企業(yè)帶來了對Hadoop平臺管理專家的剛性需求，Kobielus表示。他們工作是負(fù)責(zé)Hadoop集群、安全及管理，并對其進(jìn)行優(yōu)化以確保集群對企業(yè)的可用性。Hadoop應(yīng)用程序之所以能夠順暢工作，靠的是“這些專家為其搭建及優(yōu)先的運(yùn)行平臺”，他說道。
“原先負(fù)責(zé)管理Teradata及甲骨文Exadata的數(shù)據(jù)庫管理員往往正是意圖向Hadoop集群管理進(jìn)發(fā)的主要群體，”他說。“他們會意識到這是一片全然不同的天地。”此外，存儲管理專家也不可或缺，他們所做的工作能夠幫助Hadoop環(huán)境與現(xiàn)有傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合。
目前對Hadoop專業(yè)人員的需求主要分三大類：數(shù)據(jù)分析師（又稱數(shù)據(jù)科學(xué)家）、數(shù)據(jù)工程師以及IT數(shù)據(jù)管理專家，Martin Hall如是說。他是Karmasphere公司總裁，該公司的主要經(jīng)營項(xiàng)目正是為Hadoop環(huán)境開發(fā)軟件產(chǎn)品。
Hall認(rèn)為，數(shù)據(jù)管理專家的職責(zé)在于選擇、安裝、管理、規(guī)范以及擴(kuò)展Hadoop集群。正是這些專家決定了Hadoop是應(yīng)該立足于云還是采取預(yù)置模式，包括供應(yīng)商該如何選擇、使用哪一款Hadoop分布方案、集群規(guī)模以及被用于運(yùn)行生產(chǎn)應(yīng)用程序還是用于進(jìn)行質(zhì)量測試等。這一職位應(yīng)該具備的技能，與負(fù)責(zé)傳統(tǒng)關(guān)系數(shù)據(jù)庫與數(shù)據(jù)庫環(huán)境類的任務(wù)頗為相似，他指出。
同時，Hadoop數(shù)據(jù)工程師還要負(fù)責(zé)創(chuàng)建數(shù)據(jù)處理工作以及建立分布式MapReduce算法，以供數(shù)據(jù)分析師使用。那些在Java和C++等領(lǐng)域技能水平較為突出的專業(yè)人士能夠在企業(yè)大規(guī)模部署Hadoop的浪潮中尋得更多機(jī)會，他說道。
第三類專業(yè)需求則是在SAS、SPSS以及以R為代表的編程語言等方面具備豐富經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家，Hall指出。此類專業(yè)人士能夠?qū)⒔ⅰ⒎治?、共享以及智能整合加以集中，并存儲于Hadoop環(huán)境當(dāng)中。
就目前來看，Hadoop領(lǐng)域的人才短缺意味著企業(yè)會更加依賴于服務(wù)供應(yīng)商提供的部署技術(shù)。支撐這一論點(diǎn)的一大跡象是，在專業(yè)的咨詢及系統(tǒng)集成行業(yè)內(nèi)，專攻Hadoop實(shí)際應(yīng)用帶來的收入要遠(yuǎn)遠(yuǎn)大于Hadoop產(chǎn)品銷售所帶來的收入，Kobielus如是說。
像Cloudera、MapR、Hortonworks以及IBM這樣的企業(yè)如今已經(jīng)在提供Hadoop的相關(guān)培訓(xùn)課程，我們應(yīng)該充分利用這些資源，通過建立Hadoop卓越中心使自己的企業(yè)獲得最大收益，他提醒道。
原文：Tech job-seekers: Hadoop skills are in high demand
【編輯推薦】
