【大數(shù)據(jù)分析】紛繁復(fù)雜的數(shù)據(jù)越多越好
傳統(tǒng)的樣本分析師們都很難容忍錯誤數(shù)據(jù)的存在,因為他們一生都在研究如何防止和避免錯誤的出現(xiàn)。
在收集樣本的時候,統(tǒng)計學(xué)家會用一整套的策略來減少錯誤發(fā)生的概率。
在結(jié)果公布之前,他們也會測試樣本是否存在潛在的系統(tǒng)性偏差。這些策略包括根據(jù)協(xié)議或通過受過專門訓(xùn)練的專家來采集樣本。但是,即使只是少量的數(shù)據(jù),這些規(guī)避錯誤的策略實施起來還是耗費巨大。
尤其是當我們收集所有數(shù)據(jù)的時候,這就行不通了。不僅是因為耗費巨大,還因為在大規(guī)模的基礎(chǔ)上保持數(shù)據(jù)收集標準的一致性不太現(xiàn)實。就算是不讓人們進行溝通爭吵,也不能解決這個問題。
大數(shù)據(jù)時代要求我們重新審視精確性的優(yōu)勢。如果將傳統(tǒng)的思維模式運用于數(shù)字化、網(wǎng)絡(luò)化的21世紀,就會錯過重要的信息。
執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。在那個信息貧乏的時代,任意一個數(shù)據(jù)點的測量情況都對結(jié)果至關(guān)重要。所以,我們需要確保每個數(shù)據(jù)的精確性,才不會導(dǎo)致分析結(jié)果的偏差。
如今,我們已生活在信息時代,我們掌握的數(shù)據(jù)庫越來越全面,它不再只包括我們手頭現(xiàn)象的一點點可憐的數(shù)據(jù),而是包括了與這些現(xiàn)象相關(guān)的大量甚至全部數(shù)據(jù)。我們不再需要那么擔心某個數(shù)據(jù)點對整套分析的不利影響。我們要做的就是要接受這些紛繁的數(shù)據(jù)并從中受益,而不是以高昂的代價消除所有的不確定性。
在華盛頓州布萊恩市的英國石油公司切利博因特煉油廠里,無線感應(yīng)器遍布于整個工廠,形成無形的網(wǎng)絡(luò),能夠產(chǎn)生大量實時數(shù)據(jù)??釤岬膼毫迎h(huán)境和電氣設(shè)備的存在有時會對感應(yīng)器讀書有所影響,形成錯誤的數(shù)據(jù)。
但是數(shù)據(jù)生成的數(shù)量之多可以彌補這些小錯誤。隨時監(jiān)測管道的承壓使得BP能夠了解到,有些種類的原油比其他種類更具有腐蝕性。以前,這些都是無法發(fā)現(xiàn)也無法防止的。
有時候,當我們掌握了大量新型數(shù)據(jù)時,精確性就不那么重要了,我們同樣可以掌握事情的發(fā)展趨勢。
大數(shù)據(jù)不僅不再讓我們期待精確性,也讓我們無法實現(xiàn)精確性。
然而,除了一開始會與我們的直覺相矛盾之外,接受數(shù)據(jù)的不精確和不完美,我們反而能夠更好地進行預(yù)測,也能夠更好地理解這個世界。
值得注意的是,錯誤性并不是大數(shù)據(jù)本身固有的。它只是我們用來測量、記錄和交流數(shù)據(jù)的工具的一個缺陷。
如果說哪天技術(shù)變得完美無缺了,不精確的問題也就不復(fù)存在了。
錯誤并不是大數(shù)據(jù)固有的特性,而是一個亟需我們?nèi)ヌ幚淼默F(xiàn)實問題,并且有可能長期存在。
因為擁有更大數(shù)據(jù)量所能帶來的商業(yè)利益遠遠超過一點精確性,所以通常我們不會再花大力氣去提升數(shù)據(jù)的精確性。
這又是一個關(guān)注焦點的轉(zhuǎn)變,正如以前,統(tǒng)計學(xué)家們總是把他們的興趣放在提高樣本的隨機性而不是數(shù)量上。如今,大數(shù)據(jù)給我們帶來的利益,讓我們能夠接受不精確的存在了。