三大趨勢性技術(shù)加速大數(shù)據(jù)領(lǐng)域變革
原創(chuàng)正如許多顛覆性技術(shù)一樣,經(jīng)歷了被“神化”、“妖魔化”的過程后,大數(shù)據(jù)已經(jīng)開始被人們理智的看待。它既不神秘莫測,也不虛無飄渺。
隨著數(shù)據(jù)體量的不斷增長,數(shù)據(jù)存儲、計算和數(shù)據(jù)應(yīng)用表現(xiàn)出了明顯的變化。底層的存儲和計算架構(gòu)越來越趨于分布式;中間層的數(shù)據(jù)分析的方式正從BI向以人工智能為代表的技術(shù)發(fā)展;而最上面的應(yīng)用層則更加垂直于某些行業(yè)或應(yīng)用場景。另外,為了使結(jié)果和規(guī)律以更好的方式呈現(xiàn)出來,對于數(shù)據(jù)可視化技術(shù)的研究也快速得到業(yè)界關(guān)注,以期獲得對于海量數(shù)據(jù)分析結(jié)果更加直觀、精準(zhǔn)展現(xiàn)的解決方案。
在百分點技術(shù)副總裁劉譯璟看來,大數(shù)據(jù)技術(shù)的發(fā)展是信息化發(fā)展的自然延伸,是由應(yīng)用驅(qū)動的信息化產(chǎn)品發(fā)展的必然產(chǎn)物。“最早是谷歌在做搜索的時候,由于以前有的網(wǎng)頁非常非常大,沒有辦法進(jìn)行存儲,也沒有辦法在這上面進(jìn)行搜索,所以它衍生出自己的一套分布式存儲與分布式計算這樣一整套的架構(gòu)來,這一整套架構(gòu)就變成了現(xiàn)在大家知道的Hadoop生態(tài)。”
百分點技術(shù)副總裁劉譯璟
在接受51CTO.com記者的采訪時劉譯璟說道,通過近幾年百分點與客戶接觸的過程中,他非常直觀地感受到了企業(yè)對待大數(shù)據(jù)態(tài)度的變化。“IT圈里也沒幾個人真正知道Hadoop是什么,然而現(xiàn)在,Hadoop集群已經(jīng)被部署在幾乎所有大型企業(yè)的IT系統(tǒng)中,成為企業(yè)數(shù)據(jù)平臺的新常態(tài)。”但是,現(xiàn)在的企業(yè)已經(jīng)不再認(rèn)為一套Hadoop就能夠解決所有問題,而是評估哪種產(chǎn)品或者解決方案能夠真正與自身具體的業(yè)務(wù)需求相結(jié)合,通過數(shù)據(jù)分析產(chǎn)生價值。大數(shù)據(jù)不過是解決問題的一種正常的IT手段。
然而從基因圖譜到太空探索,人類不斷產(chǎn)生著越來越大的數(shù)據(jù)集,對于數(shù)據(jù)處理、管理和理解的極限能力無時無刻不在遭遇挑戰(zhàn)。談及未來將對大數(shù)據(jù)起到推動作用的關(guān)鍵技術(shù)及發(fā)展方向時,劉譯璟重申了“大數(shù)據(jù)只是信息化的自然延伸”這個觀點。他認(rèn)為,信息化新技術(shù)的發(fā)展,一定會為整個大數(shù)據(jù)領(lǐng)域帶來變革,并對以下三類技術(shù)表示重點關(guān)注:
量子計算機(jī)
有專家表示,“經(jīng)典計算機(jī)正遇到摩爾定律的極限,而頂破天花板的正是量子計算。”量子計算機(jī)***的優(yōu)勢在于大幅縮短提取用戶所需信息的時間,它可以在幾天內(nèi)解決傳統(tǒng)計算機(jī)會花費數(shù)百萬年才能處理的數(shù)據(jù)。
相對于將0和1組成的比特流轉(zhuǎn)換成其他比特流的傳統(tǒng)計算操作,量子計算是一種截然不同的計算方式。它的神奇之處在于,它可以做到真正的并行計算與存儲。例如,一個數(shù)位的經(jīng)典存儲器可以存儲兩個數(shù)字0或者1,但在某一時刻這個數(shù)字要么是0要么是 1;而對于量子比特存儲器來說,在同一時刻,它可以同時存儲0和1,其存儲和運行能力都成指數(shù)上升。而且數(shù)據(jù)量越大,量子算法在時間復(fù)雜度上的優(yōu)勢就越明顯。
大約三年前,中國科學(xué)技術(shù)大學(xué)量子光學(xué)和量子信息團(tuán)隊在國際上***成功實現(xiàn)了用量子計算機(jī)求解線性方程組的實驗,***從原理上證明了這一算法的可行性。“像IBM,谷歌,也都在探索和研究量子計算機(jī)技術(shù)。一旦投入實際應(yīng)用成為可能,相地這會對大數(shù)據(jù),乃至整個信息產(chǎn)業(yè)帶來一個巨大的變化”,劉譯璟表示。
可見光通信
對大量數(shù)據(jù)傳輸?shù)木薮笮枨笫巩?dāng)前現(xiàn)有的通信技術(shù)面臨嚴(yán)峻挑戰(zhàn)。相關(guān)調(diào)查報告顯示,按著現(xiàn)在移動設(shè)備呈指數(shù)級發(fā)展的趨勢,預(yù)計2019年超過100億部移動設(shè)備每月將會交換超過35萬兆(10^18)比特的信息,然而這還僅僅是來自移動端的數(shù)據(jù)。
“可見光通信技術(shù)將極大的改變整個信息傳輸、存儲和計算的方式。大家可以想象,未來我們的手機(jī)都可以僅靠一束光就實現(xiàn)通話和數(shù)據(jù)傳輸,大大提升了傳輸速度和效率,整個存儲和計算的規(guī)模也將不可估量。”劉譯璟這樣評價。
高速率性是可見光通信的***優(yōu)勢,也是業(yè)界普遍看好其前景的主要原因。除此之外,高密度、低成本、高保密性都是其主要的技術(shù)優(yōu)勢。隨著市場對數(shù)據(jù)、物聯(lián)網(wǎng)和移動的偏愛程度與日俱增,人們需要找到一些更快傳輸更多數(shù)據(jù)的方法。一旦可見光通信技術(shù)走向成熟,將會對現(xiàn)有基礎(chǔ)設(shè)施無法處理這樣的數(shù)據(jù)傳輸需求提供解決方案。
區(qū)塊鏈
對于最近大熱的區(qū)塊鏈技術(shù),劉譯璟同樣非常關(guān)注,他認(rèn)為區(qū)塊鏈技術(shù)是利用一種純粹的去中心化方式,實現(xiàn)整個數(shù)據(jù)的存儲,計算,校驗,這在給數(shù)據(jù)應(yīng)用帶來更大變化的同時,也對底層的分布式計算模型,數(shù)據(jù)存儲模型等技術(shù)帶來巨大影響。
“在我的理解中,區(qū)塊鏈通過數(shù)據(jù)分布式的存儲計算這樣的一種方式來實現(xiàn)。其中有一個核心點叫做基于計算的證明。這個證明的過程實際是一種驗證,所以個人無法偽造這些資源。如果想偽造的話,計算量會非常大。由于它是基于純粹分布式的存儲和計算資源,每個節(jié)點共享出來的資源即使非常少,當(dāng)時整個這個網(wǎng)絡(luò)里邊,計算量也已經(jīng)可以達(dá)到了非常大的程度。”劉譯璟這樣認(rèn)為。
在2016年我們將看到,不同行業(yè)的多個應(yīng)用程序使用區(qū)塊鏈?;旧先魏未嬖跀?shù)字化交易的行業(yè)都將會受益于區(qū)塊鏈技術(shù),這些數(shù)據(jù)全都可以用來進(jìn)行分析。但是區(qū)塊鏈技術(shù)并不能提供數(shù)據(jù)分析的功能,這時候就需要推動大數(shù)據(jù)和其分析工具的發(fā)展進(jìn)行介入。
采訪***劉譯璟表示,其實一些所謂的新技術(shù),它的理念一點都不新。早在一九六幾年,關(guān)于Hadoop中核心的分布式理念就已經(jīng)被提出,量子機(jī)計算的概念更是在上世紀(jì)八十年代就有人做出設(shè)想。只是受限于當(dāng)時的科學(xué)和技術(shù)水平,這些理念沒辦法得到實現(xiàn)。但是一旦實現(xiàn)成為可能,整個應(yīng)用將呈現(xiàn)出指數(shù)級增長的發(fā)展趨勢,就像當(dāng)年的摩爾定律一樣。