大數(shù)據(jù)的本質(zhì)是什么,在競(jìng)爭(zhēng)之中存在哪幾誤區(qū)?
繼物聯(lián)網(wǎng)、云計(jì)算之后,“大數(shù)據(jù)”迅速成為大家爭(zhēng)相傳誦的熱門科技概念。“大數(shù)據(jù)”作為信息社會(huì)發(fā)展的一個(gè)新生事物,目前尚處在逐漸被認(rèn)識(shí)、被應(yīng)用的初始階段,無論是學(xué)術(shù)界還是IT行業(yè)對(duì)大數(shù)據(jù)的理解各有側(cè)重,尚未形成一套完整的理論體系,因此很難進(jìn)行精準(zhǔn)的定義。根據(jù)維基百科的定義,“大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理、處理的數(shù)據(jù)集合。”筆者則認(rèn)為,“大數(shù)據(jù)是通過對(duì)海量數(shù)據(jù)進(jìn)行分析,獲得有巨大價(jià)值的產(chǎn)品和服務(wù),或深刻的洞見,最終形成變革之力”。
事實(shí)上大數(shù)據(jù)不是一個(gè)戰(zhàn)場(chǎng)層面的技術(shù)性名詞,而是一個(gè)戰(zhàn)略層面上的社會(huì)性名詞,并不是其構(gòu)成數(shù)據(jù)的簡(jiǎn)單累計(jì),是一個(gè)量變到質(zhì)變的產(chǎn)生了飛躍的事物。也就是說,從數(shù)據(jù)到大數(shù)據(jù),其本質(zhì)已經(jīng)發(fā)生了改變,如同對(duì)車的定義,并不是發(fā)動(dòng)機(jī)、輪子、油管這些組件的累計(jì)。
從本質(zhì)上講,大數(shù)據(jù)是指按照一定的組織結(jié)構(gòu)連接起來的數(shù)據(jù),是非常簡(jiǎn)單而且直接的事物,但是從現(xiàn)象上分析,大數(shù)據(jù)所呈現(xiàn)出來的狀態(tài)復(fù)雜多樣,這是因?yàn)楝F(xiàn)象是由觀察角度決定的,正如蘇軾在詩里所描述的,“橫看成嶺側(cè)成峰,遠(yuǎn)近高低各不同。不識(shí)廬山真面目,只緣身在此山中”。
由此可見,大數(shù)據(jù)的核心關(guān)鍵是組織結(jié)構(gòu),而不是構(gòu)成大數(shù)據(jù)的數(shù)據(jù)本身,這個(gè)特征類似人工生命之父克里斯· 蘭頓(Chris Langton)對(duì)生命的描述,“生命的本質(zhì)在于物質(zhì)的組織形式,而不在于物質(zhì)的本身”,事實(shí)上,宇宙模型里的全部事物似乎都遵循這樣的構(gòu)成規(guī)則,結(jié)構(gòu)和節(jié)點(diǎn)上的物質(zhì)。
大數(shù)據(jù)的結(jié)構(gòu)是一個(gè)多層次、交織關(guān)聯(lián)的復(fù)雜系統(tǒng)結(jié)構(gòu),數(shù)據(jù)是分布在節(jié)點(diǎn)上的構(gòu)成物質(zhì),數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系是由節(jié)點(diǎn)的位置決定的,而不是由數(shù)據(jù)本身來決定。也就是說,不同的數(shù)據(jù)位于同一個(gè)節(jié)點(diǎn)時(shí),就可以獲得相同的關(guān)聯(lián)關(guān)系。比如張三在某個(gè)縣里政府政權(quán)結(jié)構(gòu)的局長(zhǎng)位置,他就獲得了這個(gè)節(jié)點(diǎn)位置上的所有關(guān)聯(lián)關(guān)系,如果李四替換了張三,那么李四就獲得了這個(gè)位置上的關(guān)聯(lián)關(guān)系,而張三就會(huì)失去這個(gè)位置上的關(guān)聯(lián)關(guān)系,獲得他新的節(jié)點(diǎn)位置上的關(guān)聯(lián)關(guān)系。
計(jì)算機(jī)專家對(duì)數(shù)據(jù)的劃分來自直觀的經(jīng)驗(yàn),分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。這是符合人類社會(huì)發(fā)展規(guī)律的,即找到解決當(dāng)前問題的方法,積累在解決問題的過程中獲得的知識(shí),利用量變產(chǎn)生質(zhì)變的規(guī)律找到革命性的方法,把人類社會(huì)推到一個(gè)新的高度,然后再開始新的發(fā)展周期。從當(dāng)前的全球社會(huì)現(xiàn)狀來看,人類社會(huì)文明正處在發(fā)生重大變革的關(guān)鍵時(shí)期,中國(guó)似乎將會(huì)成為人類新文明的發(fā)源地,因?yàn)樾挛拿鞯膭?chuàng)建一定會(huì)摧毀當(dāng)前文明里落后的結(jié)構(gòu)體系,而不是在現(xiàn)有的建筑上粉飾裝修,比如價(jià)值體系、道德體系等。
由此可見,不能采用傳統(tǒng)的處理數(shù)據(jù)的方法來處理大數(shù)據(jù),而是要采用哲學(xué)的思維對(duì)數(shù)據(jù)進(jìn)行抽象的邏輯描述。在哲學(xué)思維里,數(shù)據(jù)只是位于結(jié)構(gòu)節(jié)點(diǎn)上的存在事實(shí),同一個(gè)數(shù)據(jù)如果位于不同的節(jié)點(diǎn),則其對(duì)應(yīng)的關(guān)聯(lián)關(guān)系也是不同的,比如同一個(gè)蘋果的數(shù)據(jù),位于保定市節(jié)點(diǎn)和位于青島市節(jié)點(diǎn)位置,其對(duì)應(yīng)的關(guān)聯(lián)關(guān)系是不同的。
按照哲學(xué)的模型思維,任何數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù),人們把文件、視頻劃分為非結(jié)構(gòu)化數(shù)據(jù)類,是因?yàn)樗鼈儽旧硎怯纱罅繑?shù)據(jù)組成的事物,是一個(gè)具有復(fù)雜結(jié)構(gòu)的事物,而這種復(fù)雜性是無法采用當(dāng)前的結(jié)構(gòu)化技術(shù)(數(shù)據(jù)庫(kù)結(jié)構(gòu)等)來描述的,如同地球包含了巖石、樹木、人、馬、羊等各種事物,不能采用描述馬、羊的方式來準(zhǔn)確地描述地球。當(dāng)前的數(shù)據(jù)描述方式是由人們的認(rèn)知空間尺度決定的,如同霍金提出的金魚缸理論,金魚缸的空間尺度決定了科學(xué)家的認(rèn)知尺度和模式。目前對(duì)結(jié)構(gòu)化數(shù)據(jù)的管理基本上是采用二維表格模型,而把不能采用二維表格模型進(jìn)行存儲(chǔ)管理的數(shù)據(jù)歸類為非結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)是網(wǎng)絡(luò)空間里的構(gòu)成事物,如同物質(zhì)是物理空間里的構(gòu)成事物一樣,但是能否真正達(dá)到預(yù)期的目標(biāo),成為在全球有影響力的數(shù)據(jù)集散地,核心技術(shù)、顛覆性的技術(shù)是關(guān)鍵。
大數(shù)據(jù)競(jìng)爭(zhēng)中的幾個(gè)誤區(qū):
(1)嚴(yán)格地講,企業(yè)級(jí)的數(shù)據(jù)都不會(huì)成為大數(shù)據(jù),無論這個(gè)企業(yè)的規(guī)模有多大。這是因?yàn)榇髷?shù)據(jù)是由大量不同類型的數(shù)據(jù)形成的多樣化的生態(tài)應(yīng)用體系,類似生物圈的食物鏈體系。而企業(yè)的數(shù)據(jù)只是基于滿足少量應(yīng)用需求而組織起來的數(shù)據(jù),比如google的數(shù)據(jù)管理結(jié)構(gòu)。大數(shù)據(jù)屬于區(qū)域性的社會(huì)型數(shù)據(jù),區(qū)域內(nèi)的任何有數(shù)據(jù)需求的企業(yè)、機(jī)構(gòu)或者個(gè)人,都可以從大數(shù)據(jù)里獲得所需的數(shù)據(jù)。
(2)大數(shù)據(jù)是網(wǎng)絡(luò)空間里的數(shù)據(jù)存在形式,所以在未來的網(wǎng)絡(luò)空間競(jìng)爭(zhēng)里,大數(shù)據(jù)是最重要也是最殘酷的競(jìng)爭(zhēng),統(tǒng)一的大數(shù)據(jù)模型是網(wǎng)絡(luò)空間的發(fā)展目標(biāo),如同星系結(jié)構(gòu)模型是物理空間的唯一模型一樣,在不同的觀察尺度里,其結(jié)構(gòu)模型是相似的。
從這個(gè)角度講,網(wǎng)絡(luò)空間競(jìng)爭(zhēng)的焦點(diǎn)之一就是大數(shù)據(jù)模型的建立,這是通過顛覆性的技術(shù)確立模型標(biāo)準(zhǔn)的過程。網(wǎng)絡(luò)空間的主權(quán)共享是指網(wǎng)絡(luò)空間創(chuàng)建完成后的應(yīng)用資源共享,并不是指共享創(chuàng)建網(wǎng)絡(luò)空間的所有技術(shù)。擁有創(chuàng)建網(wǎng)絡(luò)空間的源頭核心技術(shù),等同于擁有源頭的控制權(quán),相當(dāng)于擁有修改網(wǎng)絡(luò)空間結(jié)構(gòu)和規(guī)則的權(quán)力。
(3)大數(shù)據(jù)是邏輯過程發(fā)生后的結(jié)果,不是邏輯過程,所以大數(shù)據(jù)本身不是方法論。為大數(shù)據(jù)提供處理方法的是云計(jì)算,弄不清楚這個(gè)關(guān)系,地方政府就很難對(duì)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)行合理有效的規(guī)劃布局,企業(yè)在發(fā)展過程中也會(huì)產(chǎn)生迷茫。
(4)大數(shù)據(jù)里的原始數(shù)據(jù)來源具有多樣性、動(dòng)態(tài)性、小規(guī)模、碎片化等特征,政府部門或者機(jī)構(gòu)、企業(yè)提供的專業(yè)性數(shù)據(jù)盡管數(shù)量龐大,但是也不是真正的大數(shù)據(jù)。