51CTO獨家報道ChinaHadoop技術(shù)沙龍
【51CTO獨家報道】4月13日下午,清華大學(xué)校園內(nèi)一派春天的氣息。ChinaHadoop作為國內(nèi)最活躍的、最熱情的開源用戶社區(qū)之一,在國內(nèi)***學(xué)府清華大學(xué)內(nèi)舉行Hadoop技術(shù)沙龍。與廣大技術(shù)人員共享Hadoop的技術(shù)魅力。
51CTO視頻專題地址:http://database.51cto.com/exp/hadoop0413/index.html
本次沙龍在清華大學(xué)中央主樓接待廳,有來自Intel、淘寶、百度、搜狗等公司的優(yōu)秀講師為大家?guī)黻P(guān)于Hadoop技術(shù)的分享。
謝磊老師致辭
阿里集團數(shù)據(jù)平臺技術(shù)專家羅李
而來自搜狗的高級工程師冼茂源介紹到搜狗使用Hadoop主要基于自己的業(yè)務(wù)特點,包括多業(yè)務(wù)組共享集群,常規(guī)任務(wù)與緊急任務(wù)并存。
磁盤訪問頻繁,故障率高,單集群日均任務(wù)量>兩萬,對故障節(jié)點敏感度高等等。
搜狗的高級工程師冼茂源
冼茂源還談到搜狗基于FairScheduler,任務(wù)提交時以提交用戶名為標(biāo)識,將任務(wù)分到不同pool中以達到資源隔離。
更多沙龍PPT和講師課程視頻,請訪問51CTO專題:http://database.51cto.com/exp/hadoop0413/index.html