英特爾大數(shù)據(jù)分布式架構(gòu)詳解
2013年4月26日-27日,由51CTO傳媒集團(tuán)旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店召開(kāi)。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問(wèn)題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來(lái)的競(jìng)爭(zhēng)力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方,將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴,更多內(nèi)容請(qǐng)點(diǎn)擊專(zhuān)題:2013大數(shù)據(jù)全球技術(shù)峰會(huì)。
2013大數(shù)據(jù)全球技術(shù)峰會(huì)專(zhuān)題
在4月27日Hadoop生態(tài)系統(tǒng)及分布式架構(gòu)設(shè)計(jì)專(zhuān)場(chǎng)論壇中,來(lái)自英特爾(中國(guó))的朱海峰先生發(fā)表了主題為“英特爾大數(shù)據(jù)技術(shù)與分布式架構(gòu)設(shè)計(jì)詳解”的演講。演講中,朱海峰先生介紹了英特爾怎么看大數(shù)據(jù)時(shí)代下數(shù)據(jù)的挑戰(zhàn),英特爾的合作案例等。
演講展示中,朱海峰首先將傳統(tǒng)的數(shù)據(jù)處理和大數(shù)據(jù)時(shí)代的數(shù)據(jù)處理做了詳細(xì)的分析和對(duì)比。并且闡述了英特爾在大數(shù)據(jù)時(shí)代扮演的角色,英特爾的特色是面向大數(shù)據(jù)應(yīng)用,在云計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)方面提供更快更為高效的架構(gòu)級(jí)別的優(yōu)化方案;持續(xù)投入大數(shù)據(jù)應(yīng)用開(kāi)發(fā),促進(jìn)軟件系統(tǒng)和服務(wù)的不斷優(yōu)化和創(chuàng)新;推進(jìn)終端設(shè)備和傳感器的智能化,構(gòu)建互聯(lián)、可管理的和安全的分布式架構(gòu)。
然后朱海峰提出了軟硬件結(jié)合的重要性與實(shí)效性。
緊接著介紹了Hadoop:
一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會(huì)開(kāi)發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開(kāi)發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱(chēng)HDFS。HDFS有著高容錯(cuò)性的特點(diǎn),并且設(shè)計(jì)用來(lái)部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(wèn)(streaming access)文件系統(tǒng)中的數(shù)據(jù)。
Intel Hadoop商業(yè)發(fā)行版
Intel Hadoop后臺(tái)管理
Intel Hadoop性能優(yōu)
其后依次介紹了如下內(nèi)容;
HBase寫(xiě)入性能討論,大對(duì)象的高效存儲(chǔ)(IDH2.3),Interactive Hive over HBase,性能評(píng)測(cè)工具Intel HiBench,新的存儲(chǔ)架構(gòu)NVM,軟件存儲(chǔ)加速:Intel CAS,性能指數(shù)級(jí)提升,對(duì)象存儲(chǔ)架構(gòu),基于Hadoop的新型數(shù)據(jù)中心方案
以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道,敬請(qǐng)關(guān)注。