WOT架構(gòu)師系列訪談(2)——阿里巴巴朱金清
編者按: 51CTO 2014 WOT全球軟件技術(shù)峰會(huì)將在2014年7月25-26日在北京富力萬(wàn)麗酒店召開(kāi)。從本周開(kāi)始,我們將陸續(xù)公布會(huì)議內(nèi)容,并針對(duì)即將參會(huì)的架構(gòu)師訪談,以便大家進(jìn)一步了解會(huì)議內(nèi)容。會(huì)議詳細(xì)議程見(jiàn): http://wot.51cto.com/2014/。
本次訪談的對(duì)象是阿里巴巴的朱金清(花名:穆公)。在本次的WOT軟件技術(shù)峰會(huì)中,朱金清老師將在數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域,帶來(lái)阿里巴巴在HBase方面的實(shí)戰(zhàn)分享。
講師簡(jiǎn)歷:
阿里巴巴數(shù)據(jù)庫(kù)技術(shù)專(zhuān)家朱金清,目前在淘寶/阿里數(shù)據(jù)庫(kù)技術(shù)團(tuán)隊(duì)從事MySQL/HBase數(shù)據(jù)庫(kù)的數(shù)據(jù)管理和開(kāi)發(fā)。人民大學(xué)數(shù)據(jù)庫(kù)方向碩士,師從孟小峰教授,期間也玩過(guò)搜索、爬蟲(chóng)、數(shù)據(jù)挖掘等東西,主要做的是寫(xiě)論文和demo原型的開(kāi)發(fā);碩士畢業(yè)之后在百度從事鳳巢等MySQL廣告數(shù)據(jù)庫(kù)的管理調(diào)優(yōu)工作、曾主導(dǎo)過(guò)鳳巢歷史上***的數(shù)據(jù)庫(kù)拆分工作(1拆N)。
朱金清(@淘穆公)
以下是對(duì)朱老師的訪談實(shí)錄:
記者:阿里巴巴HBase集群的規(guī)模會(huì)到何種程度?
朱金清:我們總共在線加離線是有上千臺(tái)的機(jī)器,相對(duì)來(lái)說(shuō)我估計(jì)應(yīng)該算是國(guó)內(nèi)比較大的。我知道有用HBase可能有幾家:小米、360和新浪,大概是這樣。我們這邊單獨(dú)的***的集群在搜索,一個(gè)集群有二三百臺(tái)左右。
記者:HBase在阿里巴巴,主要應(yīng)用在哪些方面?
朱金清:在很多地方都用到了,包括kv型行數(shù)據(jù)、append型的數(shù)據(jù)、日志業(yè)務(wù)、還要所有的歷史數(shù)據(jù),我們現(xiàn)在也都是放在HBase上。如果你要實(shí)時(shí)查詢(xún)數(shù)據(jù),或者是要查詢(xún)歷史數(shù)據(jù),比如說(shuō)我們的以往的訂單,都可以用HBase。
記者:HBase的優(yōu)化工作,阿里是如何來(lái)做的呢?
朱金清:***個(gè)就是說(shuō)我們?cè)谝粋€(gè)業(yè)務(wù)上,就是說(shuō)上線之前,我就幫它決定好,這個(gè)東西可能用什么樣的存儲(chǔ)更好。不能出現(xiàn)不清楚HBase用了多久后,可能性能還沒(méi)有多好,再來(lái)?yè)Q一個(gè)其他更好的。這是選型階段的優(yōu)化,或者說(shuō)是評(píng)審的優(yōu)化。
還有一個(gè)就是每一臺(tái)機(jī)器性能優(yōu)化,相當(dāng)于上線之后的優(yōu)化了。我們分為兩個(gè)方面,一個(gè)就是有硬件的解決方案,我們現(xiàn)在也有上SSD這個(gè)硬件,然后來(lái)提高隨機(jī)讀的性能,因?yàn)?HBase隨機(jī)讀性能相對(duì)來(lái)說(shuō)是比較一般的,而 MySQL我覺(jué)得達(dá)不到那么好。
還有一個(gè)就是相當(dāng)于我們?cè)谶M(jìn)程,在HBase這個(gè)代碼上面進(jìn)行優(yōu)化。比如說(shuō)我們現(xiàn)在也有后端的研發(fā)團(tuán)隊(duì)也有做了二級(jí)索引的方案。就是提高這個(gè)讀查詢(xún)的性能,然后在代碼上面做了一些優(yōu)化。現(xiàn)在我們也有軟硬件結(jié)合的方式,就是說(shuō)這個(gè)代碼改了,然后用了 SSD 或者 FusionIO這種硬件,然后讓它的讀取和查詢(xún)都變得很好。
記者:HBase優(yōu)化的時(shí)候,有哪些注意事項(xiàng)?
朱金清:對(duì)于優(yōu)化,我們建議簡(jiǎn)單的需求不要直接通過(guò)進(jìn)入代碼來(lái)搞定。如果說(shuō)在外圍或者配置參數(shù)能搞定的話,直接外圍或者配置修改來(lái)搞定。因?yàn)檫@樣的話,我可能升級(jí)代價(jià)也小。
性能優(yōu)化還有一個(gè)就是說(shuō)我們也希望說(shuō)這個(gè)不是說(shuō)什么場(chǎng)景我都去優(yōu)化,就是對(duì)通用的,比如說(shuō)這個(gè)東西做了一點(diǎn)就能很多集群都能提升,那這個(gè)產(chǎn)品我們更傾向通用問(wèn)題的解決。
阿里、百度、京東、淘寶、谷歌、Facebook、Tesla都到2014 WOT全球軟件技術(shù)峰會(huì)了,你還等什么?這些***的公司將***對(duì)外公開(kāi)技術(shù),涵蓋八大主題,共有40+課程,部署實(shí)施、運(yùn)維開(kāi)發(fā)、大數(shù)據(jù)、Spark、敏捷開(kāi)發(fā)一個(gè)都不少。除了***手的經(jīng)驗(yàn)之外,還有未來(lái)兩三年的技術(shù)趨勢(shì),你會(huì)讓自己錯(cuò)過(guò)這樣的技術(shù)大會(huì)嗎?