Hadoop Summit 2013 Day1:BOF&Meetup
幾番周折終于到達San Jose,幫我辦理很多手續(xù)的小郭卻由于Visa被Check而未能成行,開始認為是PRISM之后,美國對中國的一項報復(fù)措施,今天遇到同學(xué),才知道可能是美使館的一個潛規(guī)則:即上次簽證被Check但是通過的人,下一次簽證肯定被check,而且時間會延長。
由于時差,大早上5:00左右就起來了,早餐并干活后就跑到會場去了,第一天是meetup、BOF和布展,好幾個感興趣的Meetup在時間上重疊,上午聽了YARN和Accumulo,下午聽了HBase和Ambari。其他的還有包括data scientist、System Integration、PIG、Hive等眾多meetup,也就只好放棄,好在很多內(nèi)容都會在今天上午的主題演講中出現(xiàn)。
p1 meetups,注意有個牽小狗參會的女士,好像是條小斗牛犬
YRAN的Developer Meetup是幾個HortonWorks的哥們主持的,先是收集大家的問題,主要包括intro、roadmap、API、compability、Storm、HBase等內(nèi)容,以討論形式為主,不過由于參加者中只有少數(shù)是Yarn Developer,也會有有很多基礎(chǔ)的問題討論。有個Yarn的用戶提到j(luò)ar包的依賴性和命名規(guī)范等問題,這個目前Yarn目前并未考慮。
Accumulo是NSA(PRISM的源頭)發(fā)布的開源系統(tǒng),基本上類似HBase,但是提供了Cell級別的安全訪問控制,在內(nèi)部實現(xiàn)方面可能也有些不同(需要看代碼才行),提供了Iterator API和一些批量處理的API。介紹者有2人,一人估計是Sqrrl的,一人是HortonWorks的,感覺里面不少人都互相認識,這個也不奇怪,要是在中國,這種meetup肯定也會遇到很多熟人和前任同事啥的。Sqrrl是一個基于Accumulo的商業(yè)化軟件和服務(wù),提供了圖分析和計算的能力,感覺是個挺不錯的東西,可惜不是開源的,掩飾著給出了一些類SQL,輸出結(jié)果是可視化的圖形,而且可以在圖形上進一步操作。
p2 Accumulo meetup
HBase meetup貌似也是HortonWorks的人主持的,一個印度哥們代替演講者介紹了一個基于Yarn的HBase部署工具Hoya,這個玩意不是必備工具,但是對于需要在同一個Hadoop集群上部署不同HBase版本進行測試同志、或者需要按需使用HBase進行分析的同志使用?,F(xiàn)場演示看了一個Yarn集群上部署N多HBase的演示,只需指定配置文件和幾個參數(shù)就可以部署。在演示hbase集群停止再啟動的時候,戲劇性的場面出現(xiàn)了,只有master啟動了,3個regionserver都沒有出現(xiàn),全場嘩然,印度小哥們很淡定,說I trust our system。等了幾分鐘,不斷刷新,最終還是成功了,全場報以掌聲,不過這個玩意依然是一個內(nèi)部工具,在github上面有source code。
Ambari meetup僅看到了后面的部分,是一個哥們在介紹如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不錯,充分利用了WA的storage等服務(wù),看來術(shù)業(yè)卻有專攻,這個玩意Linux哥們是絕對不懂的。
p3 大門口和工作人員
p4 下午4點左右離開會場,請一個老外幫我在門口拍了一張和yellow elephant的合影