淘寶頊陽(yáng):Hbase系統(tǒng)運(yùn)維實(shí)踐
2014年7月25-26日,由51CTO傳媒主辦的全球軟件技術(shù)峰會(huì)WOT(World Of Tech)在北京富力萬(wàn)麗酒店召開。秉承專注技術(shù)、服務(wù)技術(shù)人員的理念,自2012年以來(lái),WOT品牌峰會(huì)成功舉辦了三屆,積累了大量的技術(shù)專家資源,獲得了廣大IT從業(yè)者和技術(shù)愛好者的一致認(rèn)可,成為了業(yè)界重要的技術(shù)分享交流平臺(tái)以及人脈拓展平臺(tái)。
本次會(huì)議分為8個(gè)技術(shù)主題,分別是:數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用,互聯(lián)網(wǎng)架構(gòu)分析,高效的技術(shù)團(tuán)隊(duì),敏捷開發(fā),實(shí)時(shí)計(jì)算與數(shù)據(jù)分析,移動(dòng)應(yīng)用,自動(dòng)化運(yùn)維,開源技術(shù)。51CTO作為本次峰會(huì)的主辦方,將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴。
在下午的數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用專場(chǎng),淘寶資深數(shù)據(jù)庫(kù)工程師許飛飛(花名:頊陽(yáng))為來(lái)賓帶來(lái)題為《Hbase系統(tǒng)運(yùn)維實(shí)踐》的精彩演講。
在演講中,頊陽(yáng)首先介紹Hbase在切分表的原子性配置、水平線性擴(kuò)展能力、強(qiáng)一致性 實(shí)時(shí)的讀寫方面有更好的優(yōu)勢(shì)。
1.強(qiáng)一致性 比較mango
2.自動(dòng)擴(kuò)容
3.超高的寫入性能
4.低成本
目前阿里3大在線存儲(chǔ)MySQL,OceanBase和HBase。目前機(jī)器規(guī)模在線1000+,離線3000+,目前有超過(guò)200個(gè)集群。對(duì)于Hbase集群運(yùn)維,頊陽(yáng)老師提出:
1. 獨(dú)立小集群還是混合大集群?如何有效運(yùn)維大規(guī)模機(jī)器?
2.HBase依賴HDFS和Zookeeper,出現(xiàn)問(wèn)題很難排查
3.HBase監(jiān)控指標(biāo)非常多,提取有效信息比較困難
4.熱點(diǎn)的檢測(cè)和處理。。。。
1.什么樣的項(xiàng)目適合使用HBase?
2.HBase如何正確評(píng)估擴(kuò)容?