隨著互聯(lián)網(wǎng)、傳感器，以及各種數(shù)字化終端設(shè)備的普及，一個萬物互聯(lián)的世界正在成型。同時，隨著數(shù)據(jù)呈現(xiàn)出爆炸式的指數(shù)級增長，數(shù)字化已經(jīng)成為構(gòu)建現(xiàn)代社會的基礎(chǔ)力量，并推動著我們走向一個深度變革的時代。

大數(shù)據(jù)(big data)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

為了能對后面內(nèi)容的數(shù)據(jù)單位有一個大體的概念，我們可以先了解一下各數(shù)據(jù)單位。

• 1B (Byte 字節(jié))=8b (bit 位
• 1KB (Kilobyte 千字節(jié))=1024B
• 1MB (Megabyte 兆字節(jié) 簡稱“兆”)=1024KB
• 1GB (Gigabyte 吉字節(jié) 又稱“千兆”)=1024MB
• 1TB (Trillionbyte 萬億字節(jié) 太字節(jié))=1024GB
• 1PB(Petabyte 千萬億字節(jié) 拍字節(jié))=1024TB
• 1EB(Exabyte 百億億字節(jié) 艾字節(jié))=1024PB
• 1ZB (Zettabyte 十萬億億字節(jié) 澤字節(jié))=1024EB
• 1YB (Yottabyte 一億億億字節(jié) 堯字節(jié))=1024ZB

在這個大數(shù)據(jù)時代，每一天，能產(chǎn)生多少數(shù)據(jù)呢?

據(jù)IDC發(fā)布《數(shù)據(jù)時代2025》的報告顯示，全球每年產(chǎn)生的數(shù)據(jù)將從2018年的33ZB增長到175ZB，相當(dāng)于每天產(chǎn)生491EB的數(shù)據(jù)。

那么175ZB的數(shù)據(jù)到底有多大呢?1ZB相當(dāng)于1.1萬億GB。如果把175ZB全部存在DVD光盤中，那么DVD光盤疊加起來的高度將是地球和月球距離的23倍(月地最近距離約39.3萬公里)，或者繞地球222圈(一圈約為四萬公里)。目前美國的平均網(wǎng)速為25Mb/秒，一個人要下載完這175ZB的數(shù)據(jù)，需要18億年。

據(jù)IDC預(yù)測，2025年，全世界每個聯(lián)網(wǎng)的人每天平均有4909次數(shù)據(jù)互動，相當(dāng)于每18秒產(chǎn)生1次數(shù)據(jù)互動。

互聯(lián)網(wǎng)大數(shù)據(jù)

互聯(lián)網(wǎng)時代，搜索引擎已經(jīng)成為人們尋找日常解決方案的重要渠道。有事沒事搜一下，已經(jīng)成為工作與生活的常態(tài)。特別是智能手機(jī)的普及，讓我們隨時隨地都在產(chǎn)生搜索數(shù)據(jù)。據(jù)Smart insight估計，目前全球每天有50億次搜索，其中35億次搜索來自Google，占全球搜索量的70%，相當(dāng)于每秒處理4萬多次搜索。而回到2000年，在那個時候，Google一年的搜索量才140億次。智能手機(jī)讓人們的社交生活徹底數(shù)字化，每天在社交網(wǎng)絡(luò)上花費的時間越來越多，產(chǎn)生的數(shù)據(jù)量也相應(yīng)地不斷增長。

物聯(lián)網(wǎng)大數(shù)據(jù)

隨著物聯(lián)網(wǎng)基礎(chǔ)設(shè)施及智能手機(jī)、可穿戴設(shè)備的普及，我們每個人時刻都在產(chǎn)生大量的數(shù)據(jù)。我們也完全已經(jīng)成為數(shù)字化的個體。

無處不在的物聯(lián)網(wǎng)設(shè)備正在將世界變成一個“數(shù)字地球”。據(jù)HIS的數(shù)據(jù)預(yù)測，到2025年，全球物聯(lián)網(wǎng)連接設(shè)備的總安裝量預(yù)計將達(dá)到754.4億，而這些聯(lián)網(wǎng)設(shè)備也將會產(chǎn)生大量數(shù)據(jù)。

大數(shù)據(jù)的產(chǎn)生來源于互聯(lián)網(wǎng)和物聯(lián)網(wǎng)中，那么，二者有什么區(qū)別?

互聯(lián)網(wǎng)大數(shù)據(jù)和物聯(lián)網(wǎng)大數(shù)據(jù)的最大區(qū)別是：互聯(lián)網(wǎng)大數(shù)據(jù)來源更加廣泛，數(shù)據(jù)也更加多樣;物聯(lián)網(wǎng)大數(shù)據(jù)的數(shù)據(jù)格式會比互聯(lián)網(wǎng)大數(shù)據(jù)更加規(guī)范標(biāo)準(zhǔn);互聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者主要是人，物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者是物。

互聯(lián)網(wǎng)大數(shù)據(jù)具有多樣性和復(fù)雜性

中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)已完成第44次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》，報告中詳細(xì)分析了中國網(wǎng)民規(guī)模情況，截至2019年6月，中國網(wǎng)民規(guī)模達(dá)8.54億，這個數(shù)字已經(jīng)占據(jù)中國人口接近61%，同時我國網(wǎng)民還在不斷的增加。

現(xiàn)在，互聯(lián)網(wǎng)極大的方便了人們的生活，人們可以在網(wǎng)上購物、聊天、刷朋友圈、瀏覽新聞、發(fā)送微博、觀看視頻、玩游戲等，現(xiàn)在，幾乎所有生活行為都可以在互聯(lián)網(wǎng)上得到解決。我們可以通過多種方式上網(wǎng)，例如手機(jī)、電腦、平板電腦、電子手表等等，人們上網(wǎng)的入口越來越豐富，同時你的上網(wǎng)行為所產(chǎn)生的數(shù)據(jù)也會越復(fù)雜。

當(dāng)人們上網(wǎng)時，它還會生成大量的行為數(shù)據(jù)。諸如購物訂單、新聞、視頻、查看的商品、通知之類的數(shù)據(jù)最終將存儲在互聯(lián)網(wǎng)公司的數(shù)據(jù)庫中，且這個數(shù)據(jù)是巨大的。

我們也很難為互聯(lián)網(wǎng)大數(shù)據(jù)定義一個統(tǒng)一的格式，每個網(wǎng)民都有自己的習(xí)慣行為，他們每天所產(chǎn)生的數(shù)據(jù)可以都是不一樣的?；ヂ?lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者主要是人，物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者是物。

物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)格式更規(guī)范標(biāo)準(zhǔn)，便于組織存儲

物聯(lián)網(wǎng)的最大特點，就是各種物聯(lián)網(wǎng)設(shè)備相互連接以實現(xiàn)信息共享。物聯(lián)網(wǎng)會實時上報監(jiān)測到的環(huán)境指標(biāo)，例如，在智慧農(nóng)業(yè)中，通過土壤溫濕度傳感器，可以監(jiān)測到土壤的水分溫度濕度，從而調(diào)整是否需要澆水。如今，隨著物聯(lián)網(wǎng)的迅速發(fā)展，其應(yīng)用領(lǐng)域也日益廣泛，IoT設(shè)備每天都會生成海量數(shù)據(jù)。

同時，由于物聯(lián)網(wǎng)大數(shù)據(jù)來自于物聯(lián)網(wǎng)設(shè)備中，因此物聯(lián)網(wǎng)采集什么樣的數(shù)據(jù)以及數(shù)據(jù)格式在物聯(lián)網(wǎng)設(shè)備的開發(fā)和部署之前都已經(jīng)指定好，采集數(shù)據(jù)的程序也已經(jīng)部署在物聯(lián)網(wǎng)設(shè)備中，它只需要實時按照程序的命令執(zhí)行。因此，物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)沒有復(fù)雜的數(shù)據(jù)格式，相較于互聯(lián)網(wǎng)數(shù)據(jù)，格式也更加的標(biāo)準(zhǔn)。