導(dǎo)讀

大數(shù)據(jù)實(shí)際上有三個(gè)主要的理解：大數(shù)據(jù)確實(shí)帶來了大的機(jī)會(huì);大數(shù)據(jù)也引來了大風(fēng)險(xiǎn);大數(shù)據(jù)本身非常像大忽悠。

一、大數(shù)據(jù)帶來大機(jī)會(huì)

各行各業(yè)突飛猛進(jìn)地運(yùn)用大數(shù)據(jù)

先說大數(shù)據(jù)，大數(shù)據(jù)到來之后，包括電子商務(wù)、零售企業(yè)、交通運(yùn)輸、信息產(chǎn)業(yè)、公共衛(wèi)生、教育以及生產(chǎn)企業(yè)對(duì)零部件的監(jiān)測(cè)，各個(gè)產(chǎn)業(yè)實(shí)際上都在突飛猛進(jìn)地運(yùn)用大數(shù)據(jù)。在這當(dāng)中，在全球范圍內(nèi)形成了很多重要的案例，我簡(jiǎn)單介紹幾個(gè)。

1 TARGET

在大數(shù)據(jù)領(lǐng)域做的最好的一個(gè)公司叫Target。它用抽樣調(diào)查和大數(shù)據(jù)結(jié)合，構(gòu)造了整個(gè)智能的廣告推送系統(tǒng)，做得非常非常好，后面我會(huì)用一個(gè)案例來講。

2 TESCO

有一個(gè)在全球范圍內(nèi)影響力非常大的公司叫TESCO，在中國(guó)叫樂購(gòu)。它用的是一個(gè)抽樣實(shí)驗(yàn)加分析，然后進(jìn)行大數(shù)據(jù)推送。TESCO能夠保證任何一個(gè)人只要在這里有了一個(gè)完整的消費(fèi)之后，你出來的那一剎那看到的廣告和你進(jìn)來時(shí)是完全不一樣的。因?yàn)樗麜?huì)根據(jù)你的需求來推送完全不同的東西。但是大家也要注意，這當(dāng)中的前提是實(shí)驗(yàn)。TESCO每天都在進(jìn)行上百個(gè)實(shí)驗(yàn)。

3 ZARA

另外一個(gè)是大家都比較熟悉的服裝品牌ZARA。ZARA玩的是一個(gè)比較傳統(tǒng)的方式。它用視頻監(jiān)測(cè)，不僅僅看你是否偷了衣服，更重要的是記錄你的行為。每一個(gè)店長(zhǎng)就是調(diào)查員，每天收集幾千個(gè)數(shù)據(jù)，找尋消費(fèi)者的需求，這也可以叫調(diào)查。歷時(shí)很長(zhǎng)的話就有數(shù)據(jù)量的影響。

4 亞馬遜

在整個(gè)信息產(chǎn)業(yè)當(dāng)中，尤其電商中做得比較好的是亞馬遜。它在大數(shù)據(jù)應(yīng)用中最典型的傳統(tǒng)的方式是行為痕跡的建模和文本挖掘的結(jié)合，構(gòu)建它的數(shù)據(jù)系統(tǒng)。

5 沃爾瑪

還有一個(gè)是沃爾瑪。它花錢買了一個(gè)不到100人的做社交大數(shù)據(jù)分析的公司Kosmix，同時(shí)還建了一個(gè)倉(cāng)儲(chǔ)的大數(shù)據(jù)工具。

這是幾個(gè)非常典型的國(guó)外的例子。

二、大數(shù)據(jù)引來的大風(fēng)險(xiǎn)

到處都是假規(guī)律

實(shí)際上大數(shù)據(jù)帶來了幾個(gè)非常重要的風(fēng)險(xiǎn)。

1.計(jì)算速度不理想

Hadoop速度非?？?，是調(diào)取、存儲(chǔ)和歸整數(shù)據(jù)的極好的工具。但是對(duì)挖掘數(shù)據(jù)來講，這個(gè)工具并沒有那么好。前一段時(shí)間，我們做了一個(gè)歷時(shí)半年的900萬用戶的智能手機(jī)使用習(xí)慣的研究。在數(shù)據(jù)建模的時(shí)候我們發(fā)現(xiàn)，計(jì)算速度實(shí)際是一個(gè)非常大的問題。我們把16臺(tái)頂級(jí)服務(wù)器連成一個(gè)超級(jí)計(jì)算機(jī)，在這個(gè)基礎(chǔ)上把模型建好，運(yùn)算全數(shù)據(jù)的過程花了整整21天。我相信航天這些的運(yùn)算速度沒有問題，但是學(xué)界的，商用的的東西中，計(jì)算速度存在著非常大的問題。

2.海量數(shù)據(jù)非常危險(xiǎn)

只要玩大數(shù)據(jù)的人會(huì)發(fā)現(xiàn)到處都是假規(guī)律。我拿一個(gè)小數(shù)據(jù)舉例。

比如，五千個(gè)樣本做一個(gè)非常簡(jiǎn)單的線性回歸的時(shí)候發(fā)現(xiàn)有三個(gè)變量線性顯著。但是沒做任何變化，把這個(gè)變量復(fù)制倍，顯著的比例可能五個(gè)了，到33萬的時(shí)候可能所有變量之間的關(guān)系都顯著了。問題是統(tǒng)計(jì)上都顯著了，但所有這些結(jié)果都是錯(cuò)的。當(dāng)數(shù)據(jù)運(yùn)算量大到大約33萬到70萬之間時(shí)，我們會(huì)發(fā)現(xiàn)一個(gè)非常重要的哲學(xué)問題，這個(gè)哲學(xué)問題是什么呢?——萬物都是有聯(lián)系的。這件事情非?？膳?非常麻煩!到底什么是真的規(guī)律?

1970年有一個(gè)學(xué)者安德森說過“多帶來不同”，那個(gè)時(shí)代提出這個(gè)觀點(diǎn)非常好。但是現(xiàn)在“多”帶來的真的是不同嗎?有時(shí)候帶來的還有迷茫，自我高潮和假規(guī)律。這點(diǎn)非常危險(xiǎn)。

斯坦福大學(xué)的Trevor Hastie說了一句著名的話，“在稻草里找一根針”。問題是很多稻草長(zhǎng)得跟針是一樣的，這是所有大數(shù)據(jù)研究面臨的最大風(fēng)險(xiǎn)。數(shù)據(jù)太大之后帶來的實(shí)際上是規(guī)律的喪失和失真，所以千萬不要忽視了抽樣。我們?cè)?00萬用戶的分析中，如果當(dāng)時(shí)直接拿出900萬的數(shù)據(jù)，用6個(gè)月的時(shí)間，進(jìn)行移動(dòng)互聯(lián)網(wǎng)行為建模，估計(jì)到今天我這個(gè)模型也建不出來。我們用的事不斷探測(cè)的過程辦法，等于先在里面抽了40萬，然后在40萬中又抽了2000人做問卷調(diào)查，來理解這套數(shù)據(jù)的邏輯。用40萬進(jìn)行常識(shí)性建模，然后再在900萬中進(jìn)行建模，再優(yōu)化它，形成最后的結(jié)果。不要忽視抽樣，不要因?yàn)槲覀冇辛舜髷?shù)據(jù)就把傳統(tǒng)的知識(shí)去掉。

3.數(shù)據(jù)是斷裂而封閉的

比如騰訊說我有全數(shù)據(jù)，你是很全，但你到底有沒有百度的?有沒有京東的?阿里的?如果沒有怎么談得上全呢?最近出現(xiàn)了一個(gè)好的形象性的詞匯——“數(shù)據(jù)孤島”。我們?cè)诤按髷?shù)據(jù)的過程中形成一個(gè)個(gè)數(shù)據(jù)孤島，在這些孤島沒有打破之前，我們基本上談不上“全”這個(gè)詞，更別說這個(gè)數(shù)據(jù)內(nèi)部的斷裂結(jié)構(gòu)。

4.缺失風(fēng)險(xiǎn)

對(duì)所有的大數(shù)據(jù)來講，分析一個(gè)小問題的時(shí)候，數(shù)據(jù)量都不大。幾百萬，一千萬，這個(gè)數(shù)據(jù)量都是可控可選的。對(duì)于所有人來講，要是進(jìn)行一個(gè)全分析時(shí)都是缺損永遠(yuǎn)多于數(shù)據(jù)。在這種建構(gòu)過程中，在數(shù)學(xué)統(tǒng)計(jì)學(xué)上有兩個(gè)很重要的詞，一個(gè)叫技術(shù)矩陣，一個(gè)叫程序矩陣。單獨(dú)分析都問題不大，最怕的是這兩個(gè)混合。微博、微信合在一起一定是容易的。但是微博和一個(gè)非常小的技術(shù)合在一起，就是一個(gè)信息一個(gè)技術(shù)，怎么分析它?這點(diǎn)難度是極大的。

5.其他風(fēng)險(xiǎn)

風(fēng)險(xiǎn)這一塊兒很多人在談，有治安的問題，有侵犯?jìng)€(gè)人隱私的問題。現(xiàn)在尤其在車聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展過程中，甚至以后我們買的任何一個(gè)東西，我們的油煙機(jī)、冰箱、洗衣機(jī)、電視里面都有定位。因?yàn)槟菚r(shí)一個(gè)定位裝置可能就十塊錢，非常便宜。你的位置，你在這個(gè)城市大概的覆蓋的邏輯我都知道了，然后我能夠傳到網(wǎng)絡(luò)上去。如果所處的環(huán)境中到處都是Wifi的時(shí)候，會(huì)不會(huì)造成公共健康問題?這些都有待各個(gè)領(lǐng)域的專家予以補(bǔ)充。

三、大數(shù)據(jù)本身很像大忽悠

精準(zhǔn)營(yíng)銷如何變成了精準(zhǔn)騷擾?

我們看下面的案例

假設(shè)一個(gè)人買了A牌的衛(wèi)生紙，B牌的護(hù)手霜，他買C牌牛奶的可能性是其他人的4.84倍，買某種餅干的可能性是其他人的4.82倍。如果他買了某種牌子的鹽，那他買某品牌香煙的可能性是其他人的4.44倍。這只是把它截?cái)喑鰜?，?shí)際上這個(gè)數(shù)據(jù)是一個(gè)非常長(zhǎng)的購(gòu)物籃技術(shù)。在這類分析中，我們會(huì)發(fā)現(xiàn)它本身依賴的確實(shí)有大數(shù)據(jù)的源頭，但是真正在分析當(dāng)中也會(huì)面臨其他問題。

所以，我今天更重要的是要講大數(shù)據(jù)與大忽悠。

只見數(shù)據(jù)不見人是非常危險(xiǎn)的

很多人沒搞明白，數(shù)據(jù)整理、展示、描述和挖掘是完全不同的概念。整理、描述、展示一個(gè)數(shù)據(jù)，用CRM、ERP很容易，它是簡(jiǎn)單問題。但是挖掘是一個(gè)復(fù)雜問題。如果我們整理數(shù)據(jù)會(huì)發(fā)現(xiàn)有一些所謂大數(shù)據(jù)模型是這樣的：用一個(gè)模型代替重要的發(fā)展用戶。但是問題是同樣一種行為或者同一個(gè)人，我們的想法完全不一樣，怎么可能用一個(gè)模型能夠替代了呢?這個(gè)實(shí)際上你會(huì)發(fā)現(xiàn)它就是一個(gè)空中樓閣一樣，因?yàn)橹灰姅?shù)據(jù)不見人是非常危險(xiǎn)的。

“云”到底是浮云還是真正的計(jì)算云不好說

現(xiàn)在“云”很多，到底是浮云還是真正的計(jì)算云不好說。如果我們要分析的話，大數(shù)據(jù)引領(lǐng)的一個(gè)時(shí)代是一個(gè)非常有意思的事情。在沒有總結(jié)總體性規(guī)律的時(shí)候，我們直接對(duì)個(gè)體進(jìn)行理解，這實(shí)際上跟我們常識(shí)性的學(xué)術(shù)研究的邏輯相違背。這種方法簡(jiǎn)單、實(shí)用、粗暴，實(shí)際驗(yàn)證的結(jié)果不一定有效。

數(shù)據(jù)可視化不能只流于形式

數(shù)據(jù)展示形成一個(gè)非常重要的流派叫數(shù)據(jù)可視化，我對(duì)這些朋友心存敬意。因?yàn)閲?guó)外的可視化技術(shù)到最后基本上是藝術(shù)。漂亮嗎?很漂亮，但是得出了什么結(jié)論呢?誰粉絲多誰轉(zhuǎn)化率高。于建嶸老師比我粉絲多多了，他的轉(zhuǎn)發(fā)量一定比我高，轉(zhuǎn)發(fā)率呢?可視化的感受非常好，但它只屬于展示，并沒有分析內(nèi)在的規(guī)律。

我們?cè)?jīng)做過一個(gè)簡(jiǎn)單的抽樣調(diào)查。我們建模分析的是2003年淘寶在全中國(guó)運(yùn)行之后，對(duì)中國(guó)網(wǎng)絡(luò)帶來的影響。這個(gè)時(shí)候總共用一張圖展現(xiàn)不了，得用16張圖展示一個(gè)現(xiàn)象。我可能有點(diǎn)兒孤陋寡聞，但現(xiàn)在還沒有見到其他研究使用這種比較深入的分析方式。

世上最遠(yuǎn)的路，是從精準(zhǔn)推送到精準(zhǔn)騷擾的套路

真正數(shù)據(jù)挖掘在國(guó)外的經(jīng)典案例當(dāng)中，Target的案例最有典型意義。生活改變會(huì)導(dǎo)致購(gòu)物行為的變化，然后會(huì)有一些大數(shù)據(jù)推送方式的變化。營(yíng)銷學(xué)、廣告學(xué)、公共衛(wèi)生學(xué)、心理學(xué)、數(shù)據(jù)分析、數(shù)據(jù)挖掘，所有這些知識(shí)是混合性知識(shí)，大數(shù)據(jù)恰恰需要這種混合才可能做好。

前兩天我買了一個(gè)5升的洗衣液，家里人再多，我至少也得用一個(gè)月。同時(shí)你也要知道我買的時(shí)候我是別的什么都沒看，直接到那兒下完單就走了，這說明我是品牌忠誠(chéng)者。你應(yīng)該做的不是在我一上網(wǎng)的時(shí)候就推送一大堆各種品牌的洗衣，你應(yīng)該告訴我這個(gè)品牌洗衣液在什么時(shí)間打折，這才叫大數(shù)據(jù)分析。

數(shù)據(jù)挖掘的商業(yè)本質(zhì)要簡(jiǎn)單不能再簡(jiǎn)單，但是過程非常復(fù)雜。不是簡(jiǎn)單的CRM、ERP跑一圈兒就給你推送。那是從精準(zhǔn)營(yíng)銷蛻變?yōu)榫珳?zhǔn)騷擾。

四、大數(shù)據(jù)的核心是關(guān)注人性

知覺、體驗(yàn)、靈機(jī)一動(dòng)、體會(huì)、內(nèi)省，都是大數(shù)據(jù)的思想。

所以，數(shù)據(jù)挖掘不是黑箱，不是一個(gè)調(diào)動(dòng)數(shù)據(jù)的方法，也不是整理數(shù)據(jù)的方法，它實(shí)際上需要在思想的基礎(chǔ)上做。真正進(jìn)行跟人相關(guān)的大數(shù)據(jù)挖掘的時(shí)候一定要關(guān)注人性。很多人說網(wǎng)購(gòu)起來之后實(shí)體店不行了。如果實(shí)體店真的不行了，年輕女孩到哪兒揮灑青春?逛街的核心在“逛”，不在于“買”。要了解人性再去建那種模型才會(huì)有意義。

蘋果

很多人說喬布斯不相信調(diào)查。喬布斯最基本的習(xí)慣，經(jīng)常整天躲在蘋果體驗(yàn)店前的灌木叢中看體驗(yàn)店里的人在干嘛。這是典型的觀察法，是人類研究問題最早期的研究方法。所以，知覺、體驗(yàn)、靈機(jī)一動(dòng)、體會(huì)、內(nèi)省，所有這些看起來跟大數(shù)據(jù)無關(guān)的東西可能恰恰是大數(shù)據(jù)的核心，因?yàn)樗撬枷搿?/p>

谷歌

谷歌在2008年的時(shí)候開發(fā)一個(gè)非常重要的東西，叫流感趨勢(shì)預(yù)測(cè)，最初它預(yù)測(cè)的結(jié)果比美國(guó)疾控中心的預(yù)測(cè)結(jié)果還準(zhǔn)，轟動(dòng)了全球。結(jié)果接下來你會(huì)發(fā)現(xiàn)它那個(gè)東西越來越亂，嚴(yán)重高估了流感的狀態(tài)。為什么?就是因?yàn)閯偛耪劦降木S克多·邁爾-舍恩伯格這一流派在談大數(shù)據(jù)的時(shí)候重相關(guān)不重因果。無論真相關(guān)假相關(guān)，相關(guān)就重，正是假相關(guān)造就了谷歌的失敗。假相關(guān)怎么來的?某一次流感發(fā)病的時(shí)間點(diǎn)，比如跟美國(guó)中學(xué)生籃球賽那個(gè)時(shí)間點(diǎn)是完全一致的。你說這倆概念能有關(guān)系嗎?問題是只要搜索中學(xué)生的籃球賽，就構(gòu)成了流感預(yù)測(cè)的一個(gè)主要的詞之一。類似的東西太多了，為什么?因?yàn)樵诠雀桀A(yù)測(cè)的時(shí)候，沒有找疾控專家。這些東西才是進(jìn)行大數(shù)據(jù)預(yù)測(cè)的一個(gè)很重要的前提。

這里面就是過度擬合、虛假相關(guān)和人性這幾個(gè)問題造就了谷歌的錯(cuò)誤。

這時(shí)你也會(huì)發(fā)現(xiàn)這些商業(yè)公司在做的時(shí)候，更多是跟商業(yè)邏輯相關(guān)的一個(gè)概念。它真的不是純的研究，而且我們并不知道它整個(gè)計(jì)算的完整過程。所以，掌握大數(shù)據(jù)本身并不等于是擁有良好的數(shù)據(jù)。這是美國(guó)《科學(xué)》雜志在系統(tǒng)評(píng)估谷歌的時(shí)候說出來的一句話。

五、掌握大數(shù)據(jù)本身并不等于是擁有良好的數(shù)據(jù)

大數(shù)據(jù)只是一個(gè)工具，不能替代基礎(chǔ)知識(shí)。

在實(shí)際的商業(yè)應(yīng)用中，現(xiàn)在這個(gè)時(shí)代，要一攬子把大數(shù)據(jù)這個(gè)概念說透，我覺得神仙也做不到。在現(xiàn)實(shí)的應(yīng)用中，大數(shù)據(jù)小應(yīng)用是一個(gè)核心方式。前面我提到的五個(gè)國(guó)外的比較好的成功案例當(dāng)中，沒有一個(gè)不包含抽樣，沒有一個(gè)不包含小數(shù)據(jù)。也就是說大數(shù)據(jù)不能忽視各個(gè)專業(yè)的基礎(chǔ)知識(shí)，比如歷史學(xué)、法學(xué)、政治學(xué)、社會(huì)學(xué)、心理學(xué)，大數(shù)據(jù)本身不構(gòu)成帶來知識(shí)的積累，它只是帶來一個(gè)數(shù)的變化。

算法如果依賴了對(duì)這個(gè)獨(dú)立領(lǐng)域的深度理解，再去跟IT、數(shù)學(xué)的技能連在一起，會(huì)做出一個(gè)比較好的大數(shù)據(jù)分析。只靠一個(gè)算法得到得那種知識(shí)非?？欤菑默F(xiàn)來看，錯(cuò)誤率也是極高的。算法本身還是依賴于人。所以，人工智能的中文翻譯真是挺好的，沒有人工，無法智能，所以叫“人工智能”，這是確確實(shí)實(shí)有道理的一個(gè)概念。

總結(jié)

從我個(gè)人理解來講，大數(shù)據(jù)運(yùn)算本身構(gòu)造給大家一個(gè)有更多能力的新的算盤，你說算盤有用嗎?確確實(shí)實(shí)有用，但是算盤代表了所有知識(shí)嗎?不可能。它是給我們提供了一個(gè)各個(gè)領(lǐng)域都能夠用的一個(gè)工具。

商業(yè)本質(zhì)當(dāng)中，純IT人員可能真的無法做好挖掘這個(gè)概念。能做好整理、展示、調(diào)取，但是挖掘很難，可能需要市場(chǎng)研究的、營(yíng)銷方面的專業(yè)人員。另外如果是歷史就讓歷史學(xué)家同時(shí)介入，如果社會(huì)就讓社會(huì)學(xué)家同時(shí)介入，這個(gè)時(shí)候可能能把東西做好。