小米劉紹輝:從MySQL遷移到NoSQL的HBase實踐
2013年11月22至23日,大數(shù)據(jù)領(lǐng)域的盛會,2013年Hadoop中國技術(shù)峰會在北京召開,來自國內(nèi)外的技術(shù)專家齊聚一堂,來探討大數(shù)據(jù)技術(shù)。51CTO記者在大會期間采訪了小米資深工程師劉紹輝,他向記者分享了小米從MySQL遷移到NoSQL的HBase實踐。
劉紹輝,小米云存儲團隊工程師。專注于小米hbase 的落地,業(yè)務支持和特性開發(fā);關(guān)注hbase 社區(qū)發(fā)展,積極參與社區(qū)交流和開發(fā),貢獻自己的力量。原騰訊SOSO基礎架構(gòu)部工程師,參與typhoon mapreduce和torca系統(tǒng)的開發(fā)。
劉紹輝表示,隨著小米業(yè)務的逐漸擴展,特別是大數(shù)據(jù)時代的到來,原有的關(guān)系型數(shù)據(jù)庫MySQL已經(jīng)逐漸無法滿足需求,因此向NoSQL遷移是很自然的事情。小米使用的NoSQL數(shù)據(jù)庫是HBase,之所以選擇HBase主要的考慮有兩個方面,***是對運維、容錯、可擴展性的支持,第二是HBase的成本相對較低。目前HBase已經(jīng)支持了小米的米聊以及PUSH服務,并且更多的服務也都在預計遷移當中。
另外,值得一提的是,小米在HBase遷移過程中做了不少工作,并且將其中的一部分成果開源出來。比如Hadoop的部署監(jiān)控系統(tǒng)Minos,小米在遷移過程中發(fā)現(xiàn)沒有一款好的監(jiān)控系統(tǒng)能夠滿足他們對自動化和個性化數(shù)據(jù)的支持,因此自己開發(fā)并且免費貢獻出來。
目前云計算和大數(shù)據(jù)的基礎領(lǐng)域,開源十分盛行,并且一些大公司都樂于將自己的成果分享出來,這在國內(nèi)以前是很難看到的。之所以會出現(xiàn)這種現(xiàn)象,劉紹輝認為,因為目前這些領(lǐng)域的技術(shù)發(fā)展十分迅速,如果一個公司創(chuàng)建了一個開源項目分支并且將其閉源的話,很快就會與開源項目脫節(jié),無法應用***特性和技術(shù)。因此大公司都在這些項目的開源領(lǐng)域活躍,希望能夠影響開源項目向符合自己要求的方向前進,而影響的***方法就是貢獻自己的成果。
采訪視頻: