本次會(huì)議分為8個(gè)技術(shù)主題，分別是：數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用，互聯(lián)網(wǎng)架構(gòu)分析，高效的技術(shù)團(tuán)隊(duì)，敏捷開(kāi)發(fā)，實(shí)時(shí)計(jì)算與數(shù)據(jù)分析，移動(dòng)應(yīng)用，自動(dòng)化運(yùn)維，開(kāi)源技術(shù)。51CTO作為本次峰會(huì)的主辦方，將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴。

 

在下午的數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用專(zhuān)場(chǎng)，百度云系統(tǒng)部工程師楊林為大家?guī)?lái)題為《百度云MongoDB經(jīng)驗(yàn)分享》 的精彩演講。本次演講包括MongoDB的應(yīng)用場(chǎng)景介紹，以及其中常見(jiàn)的問(wèn)題分析。

 

Mongo特點(diǎn)是具有豐富的數(shù)據(jù)類(lèi)型，具有豐富的索引/查詢(xún)模式支持，Schemaless靈活，比較容易上手，還可以自動(dòng)分享，同時(shí)還具有較高的性能。

 

那么，百度云是怎么用Mongo的呢？

 

其應(yīng)用場(chǎng)景主要有結(jié)構(gòu)化存儲(chǔ)平臺(tái)PSS；典型的應(yīng)用有：圖片exif信息；通訊錄；設(shè)備同步。在百度網(wǎng)盤(pán)中，圖片的分類(lèi)就是利用了MongoDB。以及數(shù)據(jù)量達(dá)到百億、千億的應(yīng)用。對(duì)于性能方面的要求，如果該應(yīng)用屬于在線業(yè)務(wù)，平均響應(yīng)時(shí)間要求10ms內(nèi)。具有多索引需求，包含數(shù)據(jù)索引的應(yīng)用，都適合使用MongoDB。

 

它的特點(diǎn)是規(guī)模比較大，單表數(shù)據(jù)量可達(dá)到數(shù)百億，而且容易觸發(fā)Mongo的一些性能隱患。數(shù)據(jù)屬于冷數(shù)據(jù)，而且對(duì)于數(shù)據(jù)起用法固定。都是基于個(gè)人的數(shù)據(jù)，可以很好按照uid分享。而且查詢(xún)模式也相對(duì)簡(jiǎn)單。

 

 

 

 

在應(yīng)用過(guò)程中，我們也遇到了很多問(wèn)題。

 

比如：連接數(shù)爆炸的問(wèn)題。當(dāng)conn一直上漲，達(dá)到配置的極限值以后，就開(kāi)始拒絕服務(wù)了。之所以會(huì)出現(xiàn)這些問(wèn)題，主要是，緩慢查詢(xún)，客戶(hù)端太多。對(duì)于這些問(wèn)題，我們通過(guò)監(jiān)控及早發(fā)現(xiàn)，針對(duì)慢查詢(xún)用KillOp（）殺掉。針對(duì)客戶(hù)端過(guò)多的情況，增加一層proxy。

 

還有就是auto balancer。在數(shù)據(jù)量小的時(shí)候，是不會(huì)有問(wèn)題的。但是一旦開(kāi)始balancer，線上服務(wù)就開(kāi)始不穩(wěn)定，系統(tǒng)就開(kāi)始讀寫(xiě)變慢，超市，conn，qr上漲。即使調(diào)整了balancer窗口，也不能從根本上解決問(wèn)題，要不了幾天窗口還會(huì)被縮小。我們通過(guò)moveChunk后刪除階段限速，能緩解問(wèn)題。通過(guò)pre-sharing，然后可以關(guān)閉auto balance。

 

以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道，敬請(qǐng)關(guān)注。