[[193877]]

有言在先

近期有些起伏，這種情況最適合回歸書本，尋找一些你內(nèi)心認同的東西。這幾天花了點時間重溫《大數(shù)據(jù)時代》，整理、總結(jié)出了精華的東西，分享給大家。

大數(shù)據(jù)引起了變革

[[193878]] 

當今社會所獨有的一種新型能力：以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得巨大價值的產(chǎn)品和服務(wù)，或深刻的洞見。

1.震人心魄的數(shù)據(jù)

2003年，人類第一次破譯人體基因密碼的時候，辛苦工作10年才完成了三十億對堿基對的排序;大約10年后，世界范圍內(nèi)的基因儀每15分鐘就可以完成同樣的工作。在金融領(lǐng)域，美國股市每天的成交量高達70億股，而其中三分之二的交易都是郵件里在數(shù)學(xué)模型和算法之上的計算機程序自動完成的。

在2007年，所有數(shù)據(jù)中只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數(shù)據(jù)，其余全部是數(shù)字數(shù)據(jù);在2000年時，數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一;當時，另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。

2.大數(shù)據(jù)的精髓

大數(shù)據(jù)帶給我們的三個顛覆性觀念轉(zhuǎn)變：是全部數(shù)據(jù)，而不是隨機采樣;是大體方向，而不是精確制導(dǎo);是相關(guān)關(guān)系，而不是因果關(guān)系。

A.不是隨機樣本，而是全體數(shù)據(jù)：在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機采樣(隨機采樣，以前我們通常把這看成是理所應(yīng)當?shù)南拗?，但高性能的?shù)字技術(shù)讓我們意識到，這其實是一種人為限制);

B.不是精確性，而是混雜性：研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度;之前需要分析的數(shù)據(jù)很少，所以我們必須盡可能精確地量化我們的記錄，隨著規(guī)模的擴大，對精確度的癡迷將減弱;擁有了大數(shù)據(jù)，我們不再需要對一個現(xiàn)象刨根問底，只要掌握了大體的發(fā)展方向即可，適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力;

C.不是因果關(guān)系，而是相關(guān)關(guān)系：我們不再熱衷于找因果關(guān)系，尋找因果關(guān)系是人類長久以來的習(xí)慣，在大數(shù)據(jù)時代，我們無須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系;相關(guān)關(guān)系也許不能準確地告訴我們某件事情為何會發(fā)生，但是它會提醒我們這件事情正在發(fā)生。

3.大數(shù)據(jù)的核心是預(yù)測

大數(shù)據(jù)的核心就是預(yù)測，它通常被視為人工智能的一部分，或者更確切地說，被視為一種機器學(xué)習(xí)。大數(shù)據(jù)不是要教機器人像人一樣思考，而是把數(shù)學(xué)算法運用到海量的數(shù)據(jù)上來預(yù)測事情發(fā)生的可能性。

不是隨機樣本，而是全體數(shù)據(jù)

[[193879]] 

歷史上，因為記錄、儲存、分析數(shù)據(jù)的工具都不夠好，為了讓分析變得簡單，我們選擇了把數(shù)據(jù)量減少，統(tǒng)計學(xué)的一個目的就是用盡可能少的數(shù)據(jù)來證實盡可能重大的發(fā)現(xiàn)。

1.傳統(tǒng)抽樣的精確性

采樣分析的精確性隨著采樣隨機性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大，大致原因是當樣本數(shù)量達到某個值后，我們從新個體身上得到的信息會越來越少，這與經(jīng)濟學(xué)中的邊際效應(yīng)類似。

2.隨機采樣的問題

隨機采樣有一個很大的問題：人們只能從隨機采樣中得出事先設(shè)計好的問題的結(jié)果，調(diào)查得出的數(shù)據(jù)不可以重新分析以實現(xiàn)計劃之外的目的，而且一旦采樣過程中存在任何偏見，分析結(jié)果就會相去甚遠。

3. 樣本=總體

采樣的目的就是用最少的數(shù)據(jù)得到最多的信息，當我們可以獲得海量數(shù)據(jù)的時候，它就沒有什么意義了;生活中真正有趣的事情經(jīng)常藏匿在細節(jié)之中，而采樣分析卻無法捕捉到這些細節(jié)(因為采樣不能得到計劃之外的東西);大數(shù)據(jù)建立在掌握所有數(shù)據(jù)，至少是盡可能多的數(shù)據(jù)的基礎(chǔ)上，所以我們就可以正確地考察細節(jié)并進行新的分析。

不是精確性，而是混雜性

[[193880]] 

執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物，只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的，如果不能接受混亂，剩下的95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用。

1.小數(shù)據(jù)時代的精確性

在“小數(shù)據(jù)時代”，人們收集、處理數(shù)據(jù)的能力有限，對“小數(shù)據(jù)”而言，最基本、最重要的要求就是減少錯誤，保證質(zhì)量(收集信息的有限意味著細微錯誤會被放大，甚至有可能影響整個結(jié)果的準確性)。人們創(chuàng)造了很多精確的系統(tǒng)，這些系統(tǒng)試圖讓我們接受一個世界困乏而規(guī)整的慘象——假裝世間萬物都是整齊地排列的;事實上現(xiàn)實是紛繁復(fù)雜的，天地間存在的事物也遠遠多于系統(tǒng)所設(shè)想的。

2.我們要的是概率

我們總是為了一個“答案”而活著，精確性似乎一直是我們生活的支撐，但認為每個問題只有一個答案的想法是站不住腳的。“一個唯一的真理“的存在是不可能的，而且追求這個唯一的真理是對注意力的分散。大數(shù)據(jù)也許是拯救我們的關(guān)鍵方法：大數(shù)據(jù)通常用概率說話，而不是板著“準確無疑”的面孔。

不是因果關(guān)系，而是相關(guān)關(guān)系

[[193881]] 

在大數(shù)據(jù)時代，我們不必知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。我們不再一味追求人們?yōu)槭裁催@么做，知道人們?yōu)槭裁催@么做可能是有用的，但這個問題目前并不是很重要，重要的是我們能通過大數(shù)據(jù)分析出人們的相關(guān)行為。

1.相關(guān)關(guān)系

相關(guān)關(guān)系的核心是量化兩個數(shù)據(jù)值之間的數(shù)理關(guān)系：相關(guān)關(guān)系強是指當一個數(shù)據(jù)值增加時，另一個數(shù)據(jù)值很有可能也會隨之增加;相關(guān)關(guān)系弱就意味著當一個數(shù)據(jù)值增加時，另一個數(shù)據(jù)值幾乎不會發(fā)生變化。相關(guān)關(guān)系通過識別有用的關(guān)聯(lián)物來幫助我們分析一個現(xiàn)象，而不是通過揭示其內(nèi)部的運作機制。相關(guān)關(guān)系沒有絕對，只有可能性。

2. 人們的直接目的就是尋找因果關(guān)系

人們的直接愿望就是了解因果關(guān)系，我們已經(jīng)習(xí)慣了信息的匱乏，故此亦習(xí)慣了在少量數(shù)據(jù)的基礎(chǔ)上進行推理思考。以前我們用實驗來證明因果關(guān)系，它是通過是否有誘因來分別觀察所產(chǎn)生的結(jié)果是不是和真實情況相符。但是，凡事皆有因果的話，那么我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結(jié)果，而這個結(jié)果又是由其他原因?qū)е碌?，以此循環(huán)往復(fù)，那么就不存在人的自由意志這一說了——所有的生命軌跡都只是受到因果關(guān)系的控制了——這顯然是不正確的。

3.相關(guān)關(guān)系和因果關(guān)系并不矛盾

相關(guān)關(guān)系分析本身意義重大，同時它也為研究因果關(guān)系奠定了基礎(chǔ)，通過找出可能相關(guān)的事物，我們可以在此基礎(chǔ)上進行進一步的因果關(guān)系分析，如果存在因果關(guān)系的話，我們再進一步找出原因。在大多數(shù)情況下，一旦我們完成了對大數(shù)據(jù)的相關(guān)關(guān)系分析，而又不再滿足于僅僅知道“是什么”時，我們就會繼續(xù)向更深層次研究因果關(guān)系，找出背后的“為什么”。在小數(shù)據(jù)時代，我們會假象世界是怎么運作的，然后通過收集和分析數(shù)據(jù)來驗證這種假象;在大數(shù)據(jù)時代，我們會在數(shù)據(jù)的指導(dǎo)下探索世界，不再受限于各種假想;我們的研究始于數(shù)據(jù)，也因為數(shù)據(jù)我們發(fā)現(xiàn)了以前不曾發(fā)現(xiàn)的聯(lián)系。

A.大量的數(shù)據(jù)意味著“理論的終結(jié)”：用一系列的因果關(guān)系來驗證各種猜測的傳統(tǒng)研究范式已經(jīng)不實用了，如今它已經(jīng)被無需理論指導(dǎo)的相關(guān)關(guān)系研究所取代;

B.現(xiàn)在已經(jīng)是一個有海量數(shù)據(jù)的時代，應(yīng)用數(shù)學(xué)已經(jīng)取代了其他的所有學(xué)科工具，而且只要數(shù)據(jù)足夠，就能說明問題，如果你有一拍字節(jié)的數(shù)據(jù)，只要掌握了這些數(shù)據(jù)之間的相關(guān)關(guān)系，一切就迎刃而解了;

C.“理論的終結(jié)”：所有的普遍規(guī)則都不重要了，重要的是數(shù)據(jù)分析，它可以揭示一切問題;但大數(shù)據(jù)并不意味著理論已死，因為大數(shù)據(jù)就是在理論的基礎(chǔ)上形成的。

大數(shù)據(jù)時代的商業(yè)變革

[[193882]] 

在一個可能性和相關(guān)性占主導(dǎo)地位的世界里，專業(yè)性變得不那么重要了;行業(yè)并不會消失，但是他們必須與數(shù)據(jù)表達的信息進行博弈。

1. 數(shù)據(jù)化：一切皆可量化

大數(shù)據(jù)的核心發(fā)展動力來源于人類測量、記錄和分析世界的渴望。為了得到可量化的信息，我們要知道如何計量;為了數(shù)據(jù)化量化了的信息，我們要知道怎么記錄計量的結(jié)果。如今我們經(jīng)常把“數(shù)字化”和“數(shù)據(jù)化”這兩個概念搞混，但是對這兩個概念的區(qū)分實際上非常重要：

A.數(shù)據(jù)化：一種把現(xiàn)象轉(zhuǎn)變?yōu)榭芍票矸治龅牧炕问降倪^程;

B.數(shù)字化：把模擬數(shù)據(jù)轉(zhuǎn)換成0和1表示的二進制碼;

數(shù)字化帶來了數(shù)據(jù)化，但是數(shù)字化無法取代數(shù)據(jù)化;數(shù)字化是把模擬數(shù)據(jù)變成計算機課讀的數(shù)據(jù)，和數(shù)據(jù)化有著本質(zhì)的不同。

2.當方位變成了數(shù)據(jù)

1978年見證了一個偉大的轉(zhuǎn)變，當時構(gòu)成全球定位系統(tǒng)(GPS)的24顆衛(wèi)星第一次發(fā)射成功，通過與技術(shù)手段的融合，全球定位系統(tǒng)能夠快速、相對低價地進行地理定位，而且不需要任何專業(yè)知識。地理位置信息匯集起來，可能會揭示事情的發(fā)展趨勢;位置信息一旦被數(shù)據(jù)化，新的用途就猶如雨后春筍般涌現(xiàn)出來，而新價值也會隨之不斷催生。

3.當溝通變成數(shù)據(jù)

社交網(wǎng)絡(luò)平臺不僅給我們提供了尋找和維持朋友、同事關(guān)系的場所，也將我們?nèi)粘Ｉ畹臒o形元素提取出來，再轉(zhuǎn)化為可作新用途的數(shù)據(jù)。數(shù)據(jù)化不僅能將態(tài)度和情緒轉(zhuǎn)變?yōu)橐环N可分析的形式，也可能轉(zhuǎn)化人類的行為，這些行為難以跟蹤，特別是在廣大的社區(qū)和其中的子人群環(huán)境中。

A.Facebook將關(guān)系數(shù)據(jù)化——社交關(guān)系在過去一直被視作信息而存在，但從未被正式界定為數(shù)據(jù)，直到Facebook“社交圖譜”的出現(xiàn);

B.Twitter通過創(chuàng)新，讓人們能輕易記錄以及分享他們零散的想法，從而使情緒數(shù)據(jù)化得以實現(xiàn)。

4. “取之不盡，用之不竭“的數(shù)據(jù)創(chuàng)新

盡管數(shù)據(jù)長期以來一直是有價值的，但通常只是被視作附屬企業(yè)經(jīng)營核心業(yè)務(wù)的一部分，或者被歸入知識產(chǎn)權(quán)或個人信息中相對狹窄的類別，但在大數(shù)據(jù)時代，所有數(shù)據(jù)都是有價值的。我們的時代，數(shù)據(jù)收集不再存在固有的局限性，由于存儲成本的大幅下降，保存數(shù)據(jù)比丟棄數(shù)據(jù)更加容易，這使得以較低成本獲得更多數(shù)據(jù)的可能性比以往任何時候都大。不同于物質(zhì)性的東西，數(shù)據(jù)的價值不會隨著它的使用而減少，而是可以不斷地被處理，信息不會像其他物質(zhì)產(chǎn)品一樣隨著使用而有所損耗。數(shù)據(jù)的價值并不僅限于特定的用途，它可以為了同一目的而被多次使用，也可用于其他目的。