過去的經(jīng)驗表明，充分發(fā)揮規(guī)?；瘍?yōu)勢能夠切實提升分析機制所帶來的實踐價值。不過如果把大數(shù)據(jù)看作一柄榔頭，可并不是所有問題都屬于等待敲下的釘子。

很多人都誤以為在大數(shù)據(jù)解決方案中，處理對象的規(guī)?？偸窃酱笤胶?。事實上，人們往往會從不同的立場出發(fā)，對“越大越好”這一命題給出自己的答案，而我匯總出了幾下幾種典型情況：

深信不疑: 這是一種根深蒂固的觀念，有些人認為無論實際情況如何，更龐大的規(guī)模、更迅捷的速度以及/或者更多樣的數(shù)據(jù)類型總是能夠帶來更具實踐價值的分析結論，而這也正是他們眼中大數(shù)據(jù)分析的核心價值所在。如果在實際操作中找到理想的結論，那么根據(jù)他們的思維方式，這僅僅是由于具體處理者不夠努力、不夠聰明或者沒有使用正確的工具及方法。

盲目迷信: 這種觀點認為，大數(shù)據(jù)的絕對規(guī)模本身就是其價值的切實體現(xiàn)，而這與我們是否能夠從中獲取到實際結論并無關系。根據(jù)這種思維方式，如果我們以大數(shù)據(jù)所支持的特定企業(yè)應用程序為出發(fā)點對大數(shù)據(jù)功能進行評估，那么完全不需要像當下分析領域這樣迫切需要數(shù)據(jù)科學家的幫助、而能夠任意將數(shù)據(jù)保存在數(shù)據(jù)湖當中以支持未來的探索活動。

視為負擔: 這種觀點認為，數(shù)據(jù)的龐大規(guī)模并不是帶來正面或者負面結果的必要條件。不過有一項事實明確而不容否認，即現(xiàn)有數(shù)據(jù)庫在存儲與處理能力方面的匱乏根本無力負擔大數(shù)據(jù)的高強度負載，因此需要新的平臺加以支撐（例如Hadoop）。如果我們不能將發(fā)展腳步與數(shù)據(jù)的迅猛增長保持一致，那么這種觀點認為企業(yè)的當務之急是將核心業(yè)務轉移到新型數(shù)據(jù)庫當中。

絕佳機遇: 就我個人而言，這才是看待大數(shù)據(jù)的正確方式。其核心實質在于隨著數(shù)據(jù)規(guī)模的不斷擴大、數(shù)據(jù)流速度的不斷提升以及數(shù)據(jù)來源與格式的持續(xù)增長，我們需要以更加快捷而有效的方式所數(shù)據(jù)中提取出前所未有的分析結論。這種觀點不會迷信或者過度依賴大數(shù)據(jù)，因為我們承認某些結論完全可以通過小規(guī)模數(shù)據(jù)分析方式得出。同時，這種觀點也不會將數(shù)據(jù)規(guī)模視為一種負擔，而單純只是需要通過新型數(shù)據(jù)庫平臺、工具以及實踐方案解決的另一項技術挑戰(zhàn)。

去年，我曾在一篇博文中談到大數(shù)據(jù)中的核心用例，主要探討角度是從“絕佳機遇”層面出發(fā)。而去年年底，我通過親身觀察發(fā)現(xiàn)大數(shù)據(jù)的核心“業(yè)務”價值主要受到增量化內容在提供增量化背景信息方面的影響。如果大家希望通過數(shù)據(jù)分析來了解事物的全貌以及蘊藏在其背后的深層含義，那么背景信息總是越多越好。同理，如果大家希望將與當前問題相關的所有變量、關系以及模式進行全面考量的話，內容也總是越多越好。總體而言：更多背景信息加上更多相關內容通常意味著更大的數(shù)據(jù)規(guī)模。

大數(shù)據(jù)的價值還更多地體現(xiàn)在其糾正錯誤的能力，這種價值在小規(guī)模數(shù)據(jù)當中往往很難體現(xiàn)。在博文中，我曾援引某位第三方數(shù)據(jù)科學家的觀察結果，發(fā)現(xiàn)培訓信息集合當中包含的數(shù)量量越小、幾類常見風險狀況的發(fā)生可能性就越高。首先，小規(guī)模數(shù)據(jù)往往會令我們忽視某些至關重要的預測性變量。大家也有可能對某些切實具備代表性的樣本信息產(chǎn)生誤解。除此之外，大家往往能夠在具備更為復雜并能切實體現(xiàn)底層工作關系的數(shù)據(jù)集的前提下，保證自身將某些虛假的相關性聯(lián)系排除出去。

規(guī)模化的美好

相信每個人都已經(jīng)意識到，某些數(shù)據(jù)類型及特定用例在規(guī)?；瘲l件下能夠比其它資源帶來更出色的分析結論推動作用。

在這方面，我最近發(fā)現(xiàn)了一篇非常出色的評述文章，其中對一種特殊類型的數(shù)據(jù)——也就是低密度細化行為數(shù)據(jù)——進行了深入闡釋，指出其能夠在規(guī)?；瘲l件下顯著提高預測性分析的準確率。該文作者Junqué de Fortuny、Martens以及Provost指出，“此類數(shù)據(jù)集的關鍵特性在于其低密度：對于任何給定實例，絕大多數(shù)特征對于實際價值的貢獻為零、或者說‘沒有意義’。”

其中最值得注意的（作者們也引用了大量研究資料來支持他們的討論）是，此類數(shù)據(jù)已經(jīng)成為不少關注于客戶分析任務的大數(shù)據(jù)應用程序的核心所在。社交媒體行為數(shù)據(jù)完全滿足以上描述，而Web瀏覽行為數(shù)據(jù)、移動行為數(shù)據(jù)、廣告響應行為數(shù)據(jù)以及自然語言行為數(shù)據(jù)等等也全部與之相符。

“事實上，”三位作者指出，“對于大多數(shù)常見的預測分析型業(yè)務應用程序來說，例如針對銀行及電信、信用評分以及資源消耗管理等任務的應用，此類數(shù)據(jù)已經(jīng)被普遍作為預測性分析的關鍵性素材……其特性往往體現(xiàn)在人口、地理位置以及個人心理傾向方面，并且包括對特定行為的統(tǒng)計匯總——例如企業(yè)此前進行過的采購行為。”

在談到規(guī)模較大的行為數(shù)據(jù)集往往比小規(guī)模數(shù)據(jù)集更具分析價值的核心原因時，三位作者指出：“少數(shù)特定的已知行為往往無法在沒有龐大數(shù)據(jù)量作為依托的前提下被準確觀察得出。”這是因為在小型數(shù)據(jù)集當中，除非其表現(xiàn)超出預先設定的具體范圍，否則個人行為是不會被記錄下來的。但當我們把目光投向所有相關人員整體，很有可能會觀察到那些僅僅出現(xiàn)過數(shù)次甚至一次、但卻指向特定利基層面的特殊行為類型。在小規(guī)模數(shù)據(jù)集當中，由于對象數(shù)量與行為特征相對有限，我們很可能會忽略掉上述更為豐富的細節(jié)信息。

行為數(shù)據(jù)集的來源越豐富、預測模型就越能獲得理想的施展空間，從而為未來可能出現(xiàn)的更為廣泛的潛在場景提供更具參考價值的預測結論。因此，規(guī)模越大通常意味著分析效果越好。

有時候越大意味著越難理解

盡管如此，三位作者也注意到在某些情況下、上述結論可能并不成立，而這一切都要歸結于特定行為特征的預測價值層面?；旧希瑱嗪鈾C制充當著行為預測模型的基礎。

每一種被納入到預測模型內的新型增量化行為特征都應當具備與分析目標的高度相關性，只有這樣才能提高分析收益并保證預測模型有能力克服更顯著的內容差異化狀況——也就是過度擬合與錯誤預測——但這往往需要有規(guī)模更大的功能集作為依托。正如幾位作者指出：“如果不能對模型進行平衡與改進（假定已經(jīng)選定了正確的數(shù)據(jù)子集），與核心主旨無關的大量信息只會增加出現(xiàn)偏差與過度擬合狀況的機率。”

很明顯，當不利于得出預測性結論時，數(shù)據(jù)規(guī)模并非越大越好。相信沒人愿意在大數(shù)據(jù)分析過程中受到其臃腫規(guī)模的嚴重拖累。在這種情況下，我們的數(shù)據(jù)科學家則需要開動腦筋，想辦法將導入模型的數(shù)據(jù)規(guī)模盡量縮小、從而使其最大程度與當前分析任務的特性相匹配。

原文鏈接：http://www.infoworld.com/d/big-data/when-big-data-truly-better-249737