看DTCC2015:阿里、360、京東 NoSQL實踐
【IT168 評論】一年一度的數(shù)據(jù)庫和大數(shù)據(jù)領(lǐng)域技術(shù)盛宴——2015中國數(shù)據(jù)庫技術(shù)大會(簡稱 DTCC 2015)將于4月16日至4月18日在北京新云南皇冠假日酒店隆重召開。***消息,大會NoSQL專場演講嘉賓已經(jīng)全部確認(rèn)完畢,嘉賓議題已經(jīng)發(fā)布。
“大數(shù)據(jù)技術(shù)交流和價值發(fā)現(xiàn)”是大會的核心主題,DTCC 2015大會規(guī)模將達(dá)到2500人,分3天21個專場,近百場精彩演講,大會將云集了國內(nèi)外最***的數(shù)據(jù)專家,共同探討MySQL、NoSQL、Oracle、緩存技術(shù)、閃存技術(shù)、國產(chǎn)數(shù)據(jù)庫、Hadoop、數(shù)據(jù)挖掘、推薦系統(tǒng)、機(jī)器學(xué)習(xí)等領(lǐng)域的前瞻性熱點技術(shù)。
日前由IT168編譯并發(fā)布的(2014年12月世界數(shù)據(jù)庫流行度排行榜)中我們可以看到,排行榜前十名中,NoSQL數(shù)據(jù)庫已經(jīng)占了三席,分別是MongoDB、Cassandra和Redis。這說明NoSQL正在變得越來越流行。對傳統(tǒng)的關(guān)系型數(shù)據(jù)庫巨頭而言,單純靠SQL數(shù)據(jù)庫,在面對超大型Web應(yīng)用上顯然捉襟見肘了。
天貓雙十一對阿里搜索事業(yè)部來說,就是一場高強(qiáng)度的數(shù)字化戰(zhàn)爭。早在2010年,Hadoop/HBase技術(shù)就被引入到里的搜索體系中,用于存儲相關(guān)的網(wǎng)頁、價格和圖片信息等。不光如此,連小米、奇虎360也都在使用HBase,HBase究竟有哪些神奇之處?
京東每天的庫房記錄在十億個數(shù)量級,商品圖片總共有幾十億張。這些文件基本上都是KB 級別的,關(guān)系型數(shù)據(jù)庫不太擅長處理這些海量小文件。京東最早使用的內(nèi)存鍵值存儲是Redis,而現(xiàn)在轉(zhuǎn)而使用了JimDB,您覺得為何會有這么大的轉(zhuǎn)變?JimDB與Redis又能否兼容?
和京東一樣,360也在嘗試自主研發(fā)NoSQL,360為何要自主研發(fā)?如何選擇從開源軟件過渡到自主研發(fā)的時機(jī)?在設(shè)計時,360參考中心化和去中心架構(gòu)的特點,根據(jù)自身業(yè)務(wù)場景進(jìn)行了融合,從延遲、一致性、集群伸縮方面做了權(quán)衡;面對新的混合架構(gòu),360遇到了一些***的挑戰(zhàn),又是如何一一解決和優(yōu)化的?
想真正了解京東和阿里的NoSQL數(shù)據(jù)庫嗎?想了解360自主研發(fā)過程與挑戰(zhàn)嗎?想了數(shù)據(jù)庫存儲引擎技術(shù)發(fā)展趨勢嗎? 2015第六屆中國數(shù)據(jù)庫技術(shù)大會(DTCC)上,來自京東高級架構(gòu)師袁航即將為大家發(fā)表主題為《京東內(nèi)存存儲技術(shù)演進(jìn)》的精彩演講,同時,一淘及搜索事業(yè)部離線系統(tǒng)團(tuán)隊搜索研發(fā)專家雨田將為大家講述《HBase在阿里搜索的應(yīng)用與擴(kuò)展》,360高級技術(shù)專家王超會為大家分享《Bada-構(gòu)建主從/去中心混合架構(gòu)的NoSQL》,而華為企業(yè)中間件***架構(gòu)師彭淵也會給我們分享《高性能原創(chuàng)數(shù)據(jù)庫引擎Coolhash》。
歡迎大家報名參會!大會官網(wǎng)鏈接:http://dtcc.it168.com/
附NOSQL專場演講嘉賓與主題:
華為企業(yè)中間件***架構(gòu)師 彭淵
演講主題:高性能原創(chuàng)數(shù)據(jù)庫引擎Coolhash分享
內(nèi)容簡介:Coolhash是一個java實現(xiàn)的k/v數(shù)據(jù)庫引擎,采用并行計算引擎設(shè)計,單server能達(dá)到百萬吞吐量tps,同時改進(jìn)了傳統(tǒng)hash算法,能夠支持千萬規(guī)模數(shù)據(jù)的秒級范圍查詢和任意模糊查詢,Coolhash實現(xiàn)高性能的同時提供的是持久化存儲,可以超出內(nèi)存大小限制,同時Coolhash的key指針提供1對1,1對多,多對多的關(guān)聯(lián)join查詢的新思路,Coolhash是一個nosql數(shù)據(jù)庫,但是提供了大部分sql的函數(shù)功能,還包括簡單的事務(wù)處理(ACID)。CoolHash整體只有200k大小,不到1萬行java代碼,沒有任何依賴,高度產(chǎn)品化和易用性強(qiáng),采用apache2.0開源協(xié)議,同時支持windows和linux(unix-like),非常適合您做新型數(shù)據(jù)引擎技術(shù)的研究參考和應(yīng)用。
本課題會分享數(shù)據(jù)庫存儲引擎技術(shù)的業(yè)界發(fā)展趨勢,從裸設(shè)備存儲到SSD結(jié)合內(nèi)存、從緩存到持久化存儲的靠近,從aerospike到Couchbase的分析,Coolhash的樹型key設(shè)計思想和架構(gòu),Coolhash跟redis、leveldb的詳細(xì)比較,應(yīng)用場景和技術(shù)探討等。
一淘及搜索事業(yè)部離線系統(tǒng)團(tuán)隊搜索研發(fā)專家 徐斌(花名雨田)
演講主題:HBase在阿里搜索的應(yīng)用與擴(kuò)展
內(nèi)容簡介:阿里集團(tuán)搜索系統(tǒng)后臺的Hadoop/HBase混合集群已經(jīng)達(dá)到1000+的規(guī)模,計算+存儲一體化的解決方案支撐了淘寶、天貓、B2B、Etao、云搜索等阿里全部搜索業(yè)務(wù)線。本次主題除了介紹HBase在阿里搜索技術(shù)領(lǐng)域的應(yīng)用、優(yōu)化和運(yùn)維經(jīng)驗以外,還將介紹我們基于HBase自主研發(fā)的HQueue(消息隊列)和HTunnel(HBase增量訂閱服務(wù)),以及基于它們的實時計算解決方案。
京東高級架構(gòu)師袁航
演講主題:深入解讀JIMDB—京東分布式緩存與高速NoSQL服務(wù)
內(nèi)容介紹:主要涉及Jimdb從無到有, 從1.0得到3.0, 基于規(guī)模驅(qū)動和痛點驅(qū)動的研發(fā)歷程; 包含:監(jiān)控和報警, 故障檢測和自動切換, 遷移和擴(kuò)容, 基于內(nèi)存和磁盤的2級存儲 , 基于ssd的新一代NoSQL數(shù)據(jù)庫等各方面的內(nèi)容.
360高級技術(shù)專家 王超
演講主題:Bada-構(gòu)建主從/去中心混合架構(gòu)的NoSQL
內(nèi)容目錄:在分布式NoSQL遍地開花的今天,我們?yōu)楹我灾餮邪l(fā)?如何選擇從開源軟件過渡到自主研發(fā)的時機(jī)?在設(shè)計時,我們參考中心化和去中心架構(gòu)的特點,根據(jù)自身業(yè)務(wù)場景進(jìn)行了融合,從延遲、一致性、集群伸縮方面做了權(quán)衡;面對新的混合架構(gòu),我們遇到了一些***的挑戰(zhàn),又是如何一一解決和優(yōu)化的?歷經(jīng)三個月的研發(fā),一年多的線上改進(jìn),成功解決了當(dāng)時面對的問題且得到了廣泛認(rèn)可,架構(gòu)的優(yōu)劣和可借鑒性由各位思考