什么是數(shù)據(jù)？

簡單來說，數(shù)據(jù)是信息的一種載體。更嚴(yán)謹(jǐn)一點(diǎn)，我們也可以說，數(shù)據(jù)是客觀世界中被記錄、存儲(chǔ)的原始符號(hào)或信息。

在目前我們所處的時(shí)代，通常所說的數(shù)據(jù)，都是指計(jì)算機(jī)系統(tǒng)里的那些文本、圖片、音頻、視頻文件，那些二進(jìn)制的0和1。

整個(gè)計(jì)算機(jī)系統(tǒng)，甚至整個(gè)數(shù)字世界，都是圍繞數(shù)據(jù)進(jìn)行工作。CPU，計(jì)算數(shù)據(jù)。內(nèi)存和硬盤，存儲(chǔ)數(shù)據(jù)。通信網(wǎng)絡(luò)，傳遞數(shù)據(jù)。

因此，在計(jì)算機(jī)科學(xué)中，數(shù)據(jù)被定義為：“所有能輸入計(jì)算機(jī)并被程序處理的符號(hào)的總稱”。

需要注意的是，數(shù)據(jù)本身是沒有意義的，是未經(jīng)加工的“原材料”。經(jīng)過處理和分析之后，數(shù)據(jù)才能轉(zhuǎn)化為有意義的信息。

也有人指出，信息是數(shù)據(jù)經(jīng)過處理后的結(jié)果，是對(duì)數(shù)據(jù)的解釋和賦予意義的產(chǎn)物。這句話雖然有點(diǎn)抽象（燒腦），但準(zhǔn)確地表達(dá)了數(shù)據(jù)和信息之間的關(guān)系。

數(shù)據(jù)的特性

數(shù)據(jù)有很多特性。小棗君初步統(tǒng)計(jì)了一下，就有14個(gè)，分別是——

符號(hào)性：數(shù)據(jù)以符號(hào)形式存在，例如數(shù)字，以及剛才提到的文字、圖像、音頻、視頻等。

客觀性：數(shù)據(jù)反映了現(xiàn)實(shí)世界事物的屬性、狀態(tài)、關(guān)系等情況。它是客觀存在的，不隨主觀意志而改變。

量化性：數(shù)據(jù)通常以量化的形式存在，便于計(jì)數(shù)、測(cè)量和統(tǒng)計(jì)分析。

可比性：數(shù)據(jù)之間可以進(jìn)行對(duì)比分析，通過比較可以揭示數(shù)據(jù)之間的關(guān)系和差異。

可傳遞性：數(shù)據(jù)可以通過各種方式進(jìn)行傳輸，如電子文檔、紙質(zhì)報(bào)告等，使得信息能夠在不同個(gè)體或組織間傳遞。

可存儲(chǔ)性：數(shù)據(jù)可以被存儲(chǔ)在數(shù)據(jù)庫、文件系統(tǒng)或其他存儲(chǔ)介質(zhì)中，以便于未來的訪問和使用。

可處理性：數(shù)據(jù)可以通過計(jì)算、分析、加工等手段進(jìn)行處理，以提取有用信息或轉(zhuǎn)化為知識(shí)。

多維度：數(shù)據(jù)可以從多個(gè)角度進(jìn)行觀察和分析，如時(shí)間、空間、類別等多個(gè)維度。

多樣性：數(shù)據(jù)有多種多樣的類別和形式，能夠滿足不同領(lǐng)域和需求。

時(shí)效性：數(shù)據(jù)可能隨時(shí)間的推移而發(fā)生變化，某些數(shù)據(jù)在特定時(shí)間點(diǎn)之后可能失去價(jià)值或準(zhǔn)確性。

可靠性：數(shù)據(jù)應(yīng)該是可靠的，即數(shù)據(jù)的來源、收集方法和處理過程應(yīng)該是可信的，以保證數(shù)據(jù)的準(zhǔn)確性。

相關(guān)性：數(shù)據(jù)之間存在相關(guān)性，某些數(shù)據(jù)的變化可能會(huì)影響其他數(shù)據(jù)的表現(xiàn)。

可解釋性：數(shù)據(jù)應(yīng)該能夠被解釋和理解，其背后的意義和代表的現(xiàn)實(shí)世界情況應(yīng)該清晰。

限制性：數(shù)據(jù)可能受到隱私、法律、倫理等因素的限制，使用數(shù)據(jù)時(shí)需要遵守相關(guān)規(guī)范。

以上這么多的特性，在現(xiàn)實(shí)情況中，并不能都滿足。

例如，在追求數(shù)據(jù)時(shí)效性的同時(shí)，可能需要犧牲部分可存儲(chǔ)性。因?yàn)閷?shí)時(shí)數(shù)據(jù)的收集和處理，需要更高的空間和成本。

同樣，為了提高數(shù)據(jù)的可靠性，可能需要投入更多的資源進(jìn)行數(shù)據(jù)驗(yàn)證和清洗，這可能會(huì)增加數(shù)據(jù)處理的復(fù)雜性和時(shí)間成本。

總之，能夠盡可能地滿足更多特性的數(shù)據(jù)，就會(huì)被認(rèn)為是高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)的價(jià)值，也就更大。在實(shí)際應(yīng)用中，我們需要根據(jù)具體場(chǎng)景和需求，權(quán)衡數(shù)據(jù)的各個(gè)特性，加以利用。

數(shù)據(jù)的分類方式

剛才在說數(shù)據(jù)特性的時(shí)候，提到數(shù)據(jù)有多樣性的特點(diǎn)，也就是有多種形式和類別。

對(duì)數(shù)據(jù)有很多種分類方式。例如，現(xiàn)在最常用的，就是按結(jié)構(gòu)進(jìn)行分類，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)，是指可以用預(yù)先定義的數(shù)據(jù)模型表述，或者，可以存入關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)。例如，一個(gè)班級(jí)所有人的年齡、一個(gè)超市所有商品的價(jià)格，這些都是結(jié)構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)，指網(wǎng)頁文章、郵件內(nèi)容、圖像、音頻、視頻等。

半結(jié)構(gòu)化數(shù)據(jù)，介于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間。如XML、JSON等格式的數(shù)據(jù)，它們有一定的組織形式，但不如結(jié)構(gòu)化數(shù)據(jù)那樣嚴(yán)格。

目前，非結(jié)構(gòu)化數(shù)據(jù)的占比是最高的。例如，在互聯(lián)網(wǎng)領(lǐng)域里，非結(jié)構(gòu)化數(shù)據(jù)的占比已經(jīng)超過了80%。

根據(jù)數(shù)據(jù)的來源，也可以分類。

例如，企業(yè)所產(chǎn)生的營銷數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)等，互聯(lián)網(wǎng)行業(yè)所產(chǎn)生的社交內(nèi)容數(shù)據(jù)、訂單數(shù)據(jù)、用戶數(shù)據(jù)等，政府部門所產(chǎn)生的社會(huì)治理數(shù)據(jù)、地理數(shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù)，等等。

根據(jù)數(shù)據(jù)的性質(zhì)，還可以分為定位數(shù)據(jù)（描述空間位置，如坐標(biāo)）、定性數(shù)據(jù)（描述事物屬性，如“陰雨天氣”）、定量數(shù)據(jù)（反映數(shù)量特征，如長度、重量）、定時(shí)數(shù)據(jù)（記錄時(shí)間特征，如日期、時(shí)刻）等。

總之，每種分類方式都有其特定的應(yīng)用場(chǎng)景和價(jià)值。

了解數(shù)據(jù)的分類，有助于我們更好地理解數(shù)據(jù)的本質(zhì)，以及如何在不同場(chǎng)景下有效地管理和利用數(shù)據(jù)。

數(shù)據(jù)的度量方式

前面我們也提到，數(shù)據(jù)具有量化性的特點(diǎn)。也就是說，數(shù)據(jù)是可以度量的。

我們通常度量數(shù)據(jù)的單位，大家應(yīng)該比較熟悉，就是KB、MB、GB、TB等。

我們傳統(tǒng)PC和手機(jī)處理的數(shù)據(jù)，是GB/TB級(jí)別。例如，我們的硬盤，現(xiàn)在通常是1TB/2TB/4TB的容量。

在TB之上，還有PB、EB、ZB等。

TB、GB、MB、KB的關(guān)系，如下：

1 KB = 1024 B  (KB - kilobyte) 

1 MB = 1024 KB (MB - megabyte) 

1 GB = 1024 MB (GB - gigabyte) 

1 TB = 1024 GB (TB - terabyte) 

1 PB = 1024 TB (PB - petabyte) 

1 EB = 1024 PB (EB - exabyte) 

1 ZB = 1024 EB (ZB - zettabyte) 

只是看這幾個(gè)字母的話，貌似不是很直觀。我來舉個(gè)例子吧。

1TB，只需要一塊硬盤可以存儲(chǔ)。容量大約是20萬張照片或20萬首MP3音樂，或者是20萬部電子書。

1PB，需要大約2個(gè)機(jī)柜的存儲(chǔ)設(shè)備。容量大約是2億張照片或2億首MP3音樂。如果一個(gè)人不停地聽這些音樂，可以聽差不多兩千年。

1EB，需要大約2000個(gè)機(jī)柜的存儲(chǔ)設(shè)備。如果并排放這些機(jī)柜，可以連綿1.2公里那么長。如果擺放在機(jī)房里，需要21個(gè)標(biāo)準(zhǔn)籃球場(chǎng)那么大的機(jī)房，才能放得下。

阿里、百度、騰訊這樣的互聯(lián)網(wǎng)巨頭，數(shù)據(jù)量據(jù)說已經(jīng)接近EB級(jí)。目前全人類的數(shù)據(jù)量，是ZB級(jí)。

根據(jù)IDC的數(shù)據(jù)，在2020年，全球創(chuàng)建、捕獲、復(fù)制和消耗的數(shù)據(jù)總量約為64ZB。而到了2025年，全球數(shù)據(jù)總量可能會(huì)達(dá)到驚人的163ZB。如果建一個(gè)機(jī)房來存儲(chǔ)這些數(shù)據(jù)，那么，這個(gè)機(jī)房的面積將比196個(gè)鳥巢體育場(chǎng)還大。

數(shù)據(jù)的產(chǎn)生階段

人類社會(huì)的數(shù)據(jù)體量不僅大，增長速度也很快——每年增長50%。也就是說，每兩年就會(huì)增長一倍多。

為什么會(huì)如此之快？

說到這里，就要回顧一下人類社會(huì)數(shù)據(jù)產(chǎn)生的三個(gè)重要階段。

第一個(gè)階段，是1940-1990年。

計(jì)算機(jī)和數(shù)據(jù)庫被發(fā)明之后，數(shù)據(jù)管理的復(fù)雜度大大降低。各行各業(yè)開始產(chǎn)生了計(jì)算機(jī)數(shù)據(jù)，并記錄在數(shù)據(jù)庫中。這時(shí)的數(shù)據(jù)，以結(jié)構(gòu)化數(shù)據(jù)為主（待會(huì)解釋什么是結(jié)構(gòu)化數(shù)據(jù)）。數(shù)據(jù)的產(chǎn)生方式，是被動(dòng)的。

第二個(gè)階段，是1990-2010年。

伴隨著互聯(lián)網(wǎng)的爆發(fā)，網(wǎng)絡(luò)內(nèi)容開始迅速增長，增加了很多的專業(yè)輸出內(nèi)容（PGC）。Web2.0出現(xiàn)后，人們開始使用博客、facebook、youtube這樣的社交網(wǎng)絡(luò)，輸出大量的用戶原創(chuàng)內(nèi)容（UGC），從而主動(dòng)產(chǎn)生了大量的數(shù)據(jù)。移動(dòng)智能終端時(shí)代的到來，也加速了該階段數(shù)據(jù)的產(chǎn)生。

第三個(gè)階段，是2010年至今。

隨著物聯(lián)網(wǎng)的發(fā)展，各種各樣的感知層節(jié)點(diǎn)（例如遍布各個(gè)角落的傳感器、攝像頭）開始自動(dòng)產(chǎn)生大量的數(shù)據(jù)。企業(yè)的數(shù)字化轉(zhuǎn)型，構(gòu)建了大量的系統(tǒng)，沉淀和管理這些數(shù)據(jù)。人類的數(shù)據(jù)總量，再次躍升。

經(jīng)過了“被動(dòng)-主動(dòng)-自動(dòng)”這三個(gè)階段的發(fā)展，最終導(dǎo)致了人類數(shù)據(jù)總量的爆炸式膨脹。

值得一提的是，如今，隨著我們逐漸進(jìn)入AI智能時(shí)代，很可能會(huì)迎來第四次數(shù)據(jù)暴增階段。以AIGC為代表的智能機(jī)器生產(chǎn)內(nèi)容，正在急劇增加。

數(shù)據(jù)的作用和意義

數(shù)據(jù)是信息的載體。它的最基礎(chǔ)作用，就是記錄和表征。

例如，考勤數(shù)據(jù)，記錄了員工每天的上下班時(shí)間、請(qǐng)假、遲到、早退等信息。這些數(shù)據(jù)不僅幫助我們了解員工的出勤情況，還能進(jìn)一步分析員工的工作效率、團(tuán)隊(duì)協(xié)作以及可能存在的管理問題。

再例如，體檢數(shù)據(jù)，記錄了我們的身高、體重、血壓、血糖等各項(xiàng)生理指標(biāo)。這些數(shù)據(jù)不僅有助于我們了解自身的健康狀況，還能及時(shí)發(fā)現(xiàn)潛在的健康問題，為預(yù)防和治療疾病提供重要依據(jù)。

除了個(gè)人工作和生活領(lǐng)域之外，在科學(xué)、商業(yè)和公共管理領(lǐng)域，都有對(duì)應(yīng)的系統(tǒng)和數(shù)據(jù)。這個(gè)數(shù)據(jù)的體量更大，甚至達(dá)到了大數(shù)據(jù)的級(jí)別。

通過深入挖掘和分析海量的數(shù)據(jù)，企業(yè)和政府部門可以找到隱藏在數(shù)據(jù)背后的規(guī)律和趨勢(shì)，為未來的發(fā)展和決策提供有力的支持。

在科學(xué)領(lǐng)域，實(shí)驗(yàn)數(shù)據(jù)、觀測(cè)數(shù)據(jù)、模擬數(shù)據(jù)等構(gòu)成了科學(xué)研究的基礎(chǔ)。這些數(shù)據(jù)不僅幫助科學(xué)家驗(yàn)證理論、發(fā)現(xiàn)新現(xiàn)象，還能推動(dòng)科學(xué)技術(shù)的進(jìn)步和創(chuàng)新。

例如，天文學(xué)中的天文觀測(cè)數(shù)據(jù)，記錄了星系的運(yùn)動(dòng)、恒星的誕生和消亡等宇宙現(xiàn)象，這些數(shù)據(jù)為理解宇宙的起源和演化提供了重要線索。

在商業(yè)領(lǐng)域，銷售數(shù)據(jù)、客戶數(shù)據(jù)、市場(chǎng)數(shù)據(jù)等是企業(yè)運(yùn)營和決策的重要依據(jù)。通過分析這些數(shù)據(jù)，企業(yè)可以了解市場(chǎng)需求、優(yōu)化產(chǎn)品設(shè)計(jì)、提升客戶滿意度，從而制定更為精準(zhǔn)的市場(chǎng)策略和商業(yè)計(jì)劃。

例如，電商平臺(tái)通過分析用戶的購買歷史和瀏覽行為，可以為用戶推薦更為符合其需求的商品，提升用戶的購物體驗(yàn)和平臺(tái)的銷售額。

在公共管理領(lǐng)域，政府?dāng)?shù)據(jù)、公共服務(wù)數(shù)據(jù)、社會(huì)調(diào)查數(shù)據(jù)等是政策制定和實(shí)施的基礎(chǔ)。這些數(shù)據(jù)不僅幫助政府了解社會(huì)現(xiàn)狀、預(yù)測(cè)發(fā)展趨勢(shì)，還能為政策評(píng)估和優(yōu)化提供依據(jù)。

例如，通過分析交通流量數(shù)據(jù)，政府可以合理規(guī)劃交通路線、優(yōu)化公共交通服務(wù)，從而緩解城市交通擁堵問題。

最后的話

總而言之，數(shù)據(jù)在目前這個(gè)時(shí)代，已經(jīng)變成了重要的無形資產(chǎn)，也被稱為“新石油”。

從個(gè)人生活到全球治理，數(shù)據(jù)都扮演著不可或缺的角色，已成為驅(qū)動(dòng)效率提升、科學(xué)發(fā)現(xiàn)和社會(huì)進(jìn)步的核心資源。

最近幾年愈演愈烈的AI浪潮，進(jìn)一步推動(dòng)了數(shù)據(jù)的價(jià)值提升。人工智能的三要素，其中一項(xiàng)，就是數(shù)據(jù)（另外兩個(gè)是算力和算法）。數(shù)據(jù)作為AI的“燃料”，其質(zhì)量和數(shù)量直接決定了AI系統(tǒng)的性能和準(zhǔn)確性。

未來，隨著數(shù)據(jù)規(guī)模的指數(shù)級(jí)增長和技術(shù)的持續(xù)突破，數(shù)據(jù)的價(jià)值將進(jìn)一步釋放。