本文作者馮月為股票雷達(dá)創(chuàng)始人

如果有一天你可以預(yù)測(cè)未來，你要做的第一件事情是什么?買彩票?第二件、第三件事情呢? 先賣個(gè)關(guān)子，我們后面再說這件事情。

大數(shù)據(jù)是個(gè)產(chǎn)業(yè)，廣義上指的是在這個(gè)信息過載時(shí)代圍繞著海量信息產(chǎn)生、傳播、收集、處理、創(chuàng)造價(jià)值的整個(gè)產(chǎn)品鏈條;狹義上一般指大數(shù)據(jù)存儲(chǔ)與處理、數(shù)據(jù)挖掘的相關(guān)產(chǎn)業(yè)。目前市場(chǎng)上利用大數(shù)據(jù)最多的一般在于分析和預(yù)測(cè)。

根據(jù)本人10年來在這個(gè)行業(yè)的從業(yè)經(jīng)驗(yàn)，大數(shù)據(jù)與前兩年的云計(jì)算、再往前的網(wǎng)格計(jì)算、并行計(jì)算都是相同產(chǎn)業(yè)鏈上幾個(gè)環(huán)節(jié)，它是作為概念被媒體和從業(yè)者炒作起來的。但不可否認(rèn)的是，我們的社會(huì)正處于信息爆炸的時(shí)代，各行業(yè)的信息量都在幾何級(jí)數(shù)增長，高效利用好這些數(shù)據(jù)確實(shí)能為工作和生活帶來巨大變革。

觀點(diǎn)1：數(shù)據(jù)本身不產(chǎn)生價(jià)值，如何分析和利用大數(shù)據(jù)對(duì)實(shí)際業(yè)務(wù)產(chǎn)生幫助才是關(guān)鍵

例如，它可以幫助控制美國占17.6%GDP的醫(yī)療支出，為醫(yī)藥行業(yè)帶來超過3000億美元的成本節(jié)省和收益(來自麥肯錫的報(bào)告)

Netflix 制作《紙牌屋》的故事很多人都聽過，說的是這家公司利用大數(shù)據(jù)分析了用戶最喜歡的情節(jié)、最喜歡的演員組合、最喜歡的編劇等等，組合起來之后自己制作了一部電視劇最終取得巨大成功。

雖然聽過故事的人很多，但幾乎沒有人注意到，這家公司是處于大數(shù)據(jù)應(yīng)用鏈的頂端。與提供分析服務(wù)、提供大數(shù)據(jù)存儲(chǔ)、提供數(shù)據(jù)清洗的基礎(chǔ)產(chǎn)業(yè)中下游公司不同，Netflix除了自身產(chǎn)生數(shù)據(jù)且具備分析能力外，關(guān)鍵的是具備把分析結(jié)果轉(zhuǎn)化為產(chǎn)品的能力，這才是產(chǎn)生高利潤和競爭力的核心。

觀點(diǎn)2：從事大數(shù)據(jù)的生意要重視投入與產(chǎn)出

大數(shù)據(jù)門檻很低，用一個(gè)Excel就可以起步，但隨著研究的深入，想利用大數(shù)據(jù)分析進(jìn)行獲利，還是需要一定的預(yù)算和投入。

比如：需要專業(yè)的團(tuán)隊(duì)，如大數(shù)據(jù)分析師，10年前這個(gè)職位就存在，叫BI(商業(yè)智能)，工作的內(nèi)容就是分析大量的數(shù)據(jù)并通過建模等方式幫助制定戰(zhàn)略或進(jìn)行商業(yè)決策。

有了分析師就需要有配套的工程師配合，從海量的數(shù)據(jù)中挖掘出有價(jià)值的東西。

服務(wù)器：大數(shù)據(jù)另一個(gè)要消耗的資源就是服務(wù)器，從存儲(chǔ)到計(jì)算再到帶寬，都是需要不斷的進(jìn)行投入的。

所以商業(yè)公司進(jìn)入這個(gè)行業(yè)前要考慮下是否有足夠的預(yù)算，但同時(shí)上述的幾點(diǎn)也孕育了不少新的機(jī)會(huì)，比如amazon就是全球最大的云計(jì)算基礎(chǔ)設(shè)施廠商，splunk和前一段上市的Tableau都是對(duì)分析師提供數(shù)據(jù)處理服務(wù)的，相當(dāng)于替代了一部分昂貴的工程師的工作。

觀點(diǎn)3：大數(shù)據(jù)不是最近才有的，數(shù)據(jù)一直存在，分析數(shù)據(jù)的技術(shù)近幾年有了革命性的突破

處理海量數(shù)據(jù)在技術(shù)界一直是個(gè)課題，幾個(gè)革命性的技術(shù)在近10年相繼出現(xiàn)，奠定了我們目前大數(shù)據(jù)的基礎(chǔ)，其中包括虛擬化技術(shù)、Map-Reduce & Bigtable 、 NoSQL數(shù)據(jù)庫、Deep Learning技術(shù)等。

虛擬化造就了今天的amazon云服務(wù)基礎(chǔ)設(shè)施， map reduce造就了幫助我們進(jìn)行高速云計(jì)算的hadoop開源軟件，之前處理幾天的數(shù)據(jù)現(xiàn)在幾分鐘就可以處理完。NoSQL數(shù)據(jù)庫已經(jīng)廣泛應(yīng)用在了擁有大量數(shù)據(jù)及高訪問量的網(wǎng)站上，性能比傳統(tǒng)數(shù)據(jù)庫提升了許多。

觀點(diǎn)4：許多人已經(jīng)默默地通過大數(shù)據(jù)獲利

商業(yè)公司通過長期研究，一旦發(fā)現(xiàn)了通過大數(shù)據(jù)獲利的秘訣，多數(shù)情況下還是選擇獨(dú)樂樂而不是眾樂樂。因?yàn)榉治龇椒ê蛿?shù)據(jù)源一旦公開，競爭對(duì)手必然會(huì)跟進(jìn)，會(huì)導(dǎo)致了方法同質(zhì)化最終體現(xiàn)在收益降低。

精準(zhǔn)營銷是個(gè)眾所周知的領(lǐng)域，通過對(duì)每個(gè)人的信息進(jìn)行分類建模，進(jìn)行不同種類的營銷。比如搜索引擎中，你長期搜索一些新的樓盤信息，搜索引擎會(huì)根據(jù)你的搜索歷史判斷你極有可能是潛在的買房者，美國target百貨公司就曾因?yàn)楦鶕?jù)用戶的購物記錄判斷出一女孩懷孕并給其家里投送孕婦購物手冊(cè)而名聲大噪。在淘寶中搜索了旅行背包后，在新浪上都能看到相關(guān)旅游用品的廣告。

但實(shí)際上大數(shù)據(jù)公司為了提高競爭優(yōu)勢(shì)，已經(jīng)并不滿足于這種有直接聯(lián)系的數(shù)據(jù)，紛紛通過更多的途徑收集數(shù)據(jù)。 根據(jù)筆者這些年的見聞，在保護(hù)行業(yè)機(jī)密的前提下在這里分享一些讀者之前沒聽過的干貨。

1、路由器，之前只是上網(wǎng)的小盒子，在數(shù)據(jù)采購市場(chǎng)是極為炙手可熱的渠道。原因是近些年隨著手機(jī)硬件的發(fā)展(路由器和手機(jī)等移動(dòng)設(shè)備使用相似的芯片)，尤其是處理器計(jì)算能力的幾何式增長，小小的路由器里面已經(jīng)可以運(yùn)行很多程序，這些程序在用戶上網(wǎng)時(shí)默默的分析著各種各樣的數(shù)據(jù)，包括你常聯(lián)系的好友信息，上網(wǎng)記錄等。

2、網(wǎng)絡(luò)運(yùn)營商，運(yùn)營商喜歡在用戶瀏覽網(wǎng)頁時(shí)插入一些廣告，相信多數(shù)人都遇到過，和路由器的數(shù)據(jù)分析原理一樣，運(yùn)營商并不滿足于千篇一律的固定展示廣告，也在與時(shí)俱進(jìn)，利用大數(shù)據(jù)進(jìn)行精準(zhǔn)的個(gè)性化廣告營銷。

3、基礎(chǔ)軟件，如瀏覽器、輸入法。不僅是電腦還包括手機(jī)，你用輸入法在各個(gè)軟件里提交的查詢請(qǐng)求，在瀏覽器里鼠標(biāo)移到某個(gè)商品上卻沒有點(diǎn)擊等等， 這些大數(shù)據(jù)都會(huì)被儲(chǔ)存到了云上，供廠商進(jìn)行分析。

4、金融公司。

提到革命性的技術(shù)，就不得不提到金融行業(yè)。我們?cè)谖闹星懊嫣岬竭^的大數(shù)據(jù)成本問題在金融行業(yè)就不是問題了，因?yàn)樵谶@個(gè)行業(yè)新技術(shù)帶來的收益的提升都遠(yuǎn)高于成本，故我們可以看到每一項(xiàng)新技術(shù)往往都會(huì)第一時(shí)間在金融業(yè)應(yīng)用。大數(shù)據(jù)也不例外，其實(shí)在很多年前大數(shù)據(jù)的數(shù)據(jù)挖掘已經(jīng)廣泛應(yīng)用到了金融領(lǐng)域。這里我們要把博彩行業(yè)也歸為金融業(yè)。

直到今年美國才有零星應(yīng)用的"商場(chǎng)人流量大數(shù)據(jù)監(jiān)測(cè)系統(tǒng)"其實(shí)在許多年前就被應(yīng)用到了澳門和美國拉斯維加斯的賭場(chǎng)，一家賭場(chǎng)安裝有上千個(gè)攝像頭，從顧客進(jìn)門開始就通過面部識(shí)別技術(shù)開始追蹤，結(jié)合每個(gè)人的交易情況進(jìn)行數(shù)據(jù)挖掘，除了找出老千等不受歡迎的人外，還能挑選大客戶，鼓勵(lì)非理性的賭客加大賭注等方式獲取更多利潤。

股市是除了博彩行業(yè)外另一個(gè)大數(shù)據(jù)市場(chǎng)，幾十年前的股市就是一個(gè)利用信息不對(duì)稱獲利的市場(chǎng)，如今大數(shù)據(jù)分析成為了新一代有效的工具。股票市場(chǎng)每時(shí)每刻都有海量的交易信息，大數(shù)據(jù)分析技術(shù)一直伴隨著證券行業(yè)發(fā)展成長。

之前很多寫大數(shù)據(jù)的文章都會(huì)提到印第安納大學(xué)的研究人員研究發(fā)現(xiàn)通過分析twitter信息中人們的情緒可以準(zhǔn)確預(yù)測(cè)股市的漲跌，但在google搜索利用twitter數(shù)據(jù)進(jìn)行交易的對(duì)沖基金只能找到倫敦的DCM一家。原因正如上一段提到的，商業(yè)公司尤其是對(duì)沖基金都不會(huì)輕易暴露自己的運(yùn)算邏輯，這個(gè)道理和《三體》中的“黑暗森林”邏輯是相同的。

但實(shí)際上，我們可以通過種種蛛絲馬跡發(fā)現(xiàn)twitter信息已經(jīng)廣泛被市場(chǎng)中的對(duì)沖基金使用。比如只要好萊塢女星海瑟薇出現(xiàn)在頭條，"股神"沃倫-巴菲特的公司的A股股價(jià)就會(huì)上漲。原因很簡單，女星海瑟薇的名字是Anne Hathaway，巴菲特的公司叫伯克希爾-哈撒韋公司(Berkshire Hathaway)，兩者都包括Hathaway這個(gè)詞，說明不少對(duì)沖基金都使用了實(shí)時(shí)分析twitter和新聞大數(shù)據(jù)的技術(shù)。

另外一個(gè)例子：一則假消息在twitter發(fā)布：白宮發(fā)生了兩起爆炸事件，總統(tǒng)奧巴馬(Barack Obama)在事件中受傷，導(dǎo)致股市、歐元等相關(guān)全線在第一時(shí)間下挫，道指2分鐘下跌100多點(diǎn)，歐元也是強(qiáng)勢(shì)下行，美國股市市值短暫蒸發(fā)約1,400億美元。 一次偶然的黑客惡作劇，又導(dǎo)致許多使用twitter數(shù)據(jù)對(duì)沖基金被暴露出來。

再舉個(gè)發(fā)生在身邊的例子，大家知道到券商開戶為什么要填寫一張?jiān)敿?xì)的表格嗎?上面會(huì)要求你填寫你的收入、投資經(jīng)歷等，因?yàn)樵谌A爾街，有非常成熟的模型可以通過你填寫的表格預(yù)測(cè)你未來的收益，同時(shí)分析大量的交易記錄針對(duì)不同種類的用戶進(jìn)行相應(yīng)的營銷與服務(wù)，目標(biāo)同樣是提高利潤。

金融領(lǐng)域另一塊大的領(lǐng)域是信貸市場(chǎng)，國內(nèi)最近也異?；馃?，包括阿里巴巴等公司早已進(jìn)入。新的P2P產(chǎn)業(yè)除了在商業(yè)模式、效率、用戶來源等與傳統(tǒng)銀行不同外，最關(guān)鍵因素之一就是大數(shù)據(jù)。通過大數(shù)據(jù)可以解決信貸產(chǎn)業(yè)最核心的壞賬率問題。阿里巴巴通過其平臺(tái)上用戶的交易數(shù)據(jù)、好評(píng)率等完整的結(jié)構(gòu)化數(shù)據(jù)可以非常容易的對(duì)用戶進(jìn)行信用評(píng)估，但其他平臺(tái)沒有阿里巴巴的數(shù)據(jù)優(yōu)勢(shì)，就需要更多的數(shù)據(jù)挖掘才能降低壞賬率從而盈利，國外最大的P2P公司比如Lending Club是經(jīng)過了6年不斷完善才首次實(shí)現(xiàn)盈利，可見這個(gè)巨大的市場(chǎng)中我們面對(duì)的挑戰(zhàn)之大。

原文鏈接http://www.huxiu.com/article/21463/1.html