大數(shù)據(jù)行業(yè)圖譜(2)：前有堵截，后有追兵，通用技術(shù)類公司如何突圍
從2011年至今，大數(shù)據(jù)概念火了五年，勢頭依然不減。從人人都在講概念，到商業(yè)化應(yīng)用典型案例出現(xiàn)，可以清晰地看到大數(shù)據(jù)在逐步落地。以Hadoop為代表的底層架構(gòu)日趨成熟，處理數(shù)據(jù)的各項技術(shù)有了長足的進步，讓大數(shù)據(jù)開始在各個領(lǐng)域發(fā)揮價值。
我們認(rèn)為，大數(shù)據(jù)產(chǎn)業(yè)仍在初級階段，商用價值仍未完整展現(xiàn)，市場前景一片廣闊。一方面，國內(nèi)企業(yè)IT投入占比低于全球平均標(biāo)準(zhǔn)，隨著企業(yè)對信息化意識逐步提升，整個IT市場的蛋糕有望繼續(xù)做大。
另一方面，企業(yè)客戶將大量IT預(yù)算投入到云計算等基礎(chǔ)設(shè)施建設(shè)上，隨著基礎(chǔ)設(shè)施逐漸成熟，企業(yè)會將更多預(yù)算投入到大數(shù)據(jù)、人工智能上，屆時大數(shù)據(jù)企業(yè)將迎來新一波發(fā)展浪潮。
大數(shù)據(jù)技術(shù)逐步提升，對大數(shù)據(jù)產(chǎn)業(yè)劃分也越來越細致。從基礎(chǔ)設(shè)施到行業(yè)應(yīng)用，各個賽道都涌現(xiàn)出大量創(chuàng)新公司，有些代表著最新的技術(shù)和應(yīng)用，有些則是借助大數(shù)據(jù)概念炒作。
如何識別有前景的賽道、找出有價值的公司，成為市場新的關(guān)注點，這也是愛分析大數(shù)據(jù)行業(yè)圖譜系列報告的主旨所在。
在發(fā)掘有價值的賽道之前，首先應(yīng)該對行業(yè)進行劃分，從大到小逐步鎖定目標(biāo)。從整個產(chǎn)業(yè)生態(tài)角度，大數(shù)據(jù)產(chǎn)業(yè)可以分為三層：
在上篇大數(shù)據(jù)行業(yè)圖譜(一)中，愛分析介紹了大數(shù)據(jù)行業(yè)中的底層基礎(chǔ)平臺，本文是大數(shù)據(jù)系列第二篇——通用技術(shù)，主要是基于Hadoop等底層基礎(chǔ)平臺的處理數(shù)據(jù)技術(shù)，包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)可視化等。
從數(shù)據(jù)流轉(zhuǎn)過程來看，底層基礎(chǔ)平臺主要解決了數(shù)據(jù)存儲問題，而通用技術(shù)則解決了從數(shù)據(jù)采集到數(shù)據(jù)分析的問題，有些技術(shù)只解決其中某一環(huán)節(jié)，如數(shù)據(jù)采集、數(shù)據(jù)可視化，有些則同時覆蓋多個環(huán)節(jié)，如廣告監(jiān)測同時覆蓋數(shù)據(jù)采集、處理和分析。
從數(shù)據(jù)采集到數(shù)據(jù)分析，通用技術(shù)包羅萬象
通用技術(shù)涉及到數(shù)據(jù)處理各個流程，上圖中只是列出目前主要賽道。隨著業(yè)務(wù)發(fā)展，更加細分的領(lǐng)域也開始冒出創(chuàng)新公司，如Kyligence專注于OLAP層數(shù)據(jù)分析，但這些細分賽道目前相對較小，單個賽道里面只有一兩家成立時間很短的公司，因此尚未列入其中。
在通用技術(shù)這個賽道之下，細分領(lǐng)域主要分為兩類：一類是傳統(tǒng)領(lǐng)域借助大數(shù)據(jù)煥發(fā)新春，大數(shù)據(jù)技術(shù)發(fā)展推動這些業(yè)務(wù)進一步發(fā)展，提升處理效率; 另一類是隨著移動互聯(lián)網(wǎng)的興起，為互聯(lián)網(wǎng)企業(yè)客戶提供基于移動端數(shù)據(jù)服務(wù)。
文本挖掘主要應(yīng)用于輿情監(jiān)控方面，大數(shù)據(jù)公司收集互聯(lián)網(wǎng)的各類文本信息，幫助企業(yè)更好地進行競爭分析、公關(guān)、用戶調(diào)研等流程，如智慧星光、波森數(shù)據(jù)、清博大數(shù)據(jù)等。
網(wǎng)頁爬蟲技術(shù)很早就出現(xiàn)了，早期百度、Google等搜索引擎都在使用。隨著大數(shù)據(jù)概念深入人心，數(shù)據(jù)價值被企業(yè)所重視，爬蟲技術(shù)有了更加廣闊的市場，八爪魚這類提供爬蟲技術(shù)的公司發(fā)展起來。
廣告監(jiān)測類公司主要服務(wù)品牌企業(yè)客戶，為企業(yè)提供廣告營銷全流程的數(shù)據(jù)分析，讓品牌客戶了解其廣告投放效率，更好地進行廣告優(yōu)化，這一領(lǐng)域秒針系統(tǒng)、AdMaster、TalkingData是領(lǐng)跑者。
BI商業(yè)智能公司與數(shù)據(jù)可視化公司，將報表等數(shù)據(jù)以圖像等形式呈現(xiàn)，可視化更側(cè)重于數(shù)據(jù)呈現(xiàn)，給企業(yè)客戶更加清晰地展示，BI更側(cè)重于人機互動，讓業(yè)務(wù)人員可以更好地在圖像上進行業(yè)務(wù)分析。
BI領(lǐng)域的有永洪科技和帆軟，數(shù)據(jù)可視化領(lǐng)域的海智BDP、海云數(shù)據(jù)、數(shù)字冰雹相對領(lǐng)先。
日志分析在早期主要應(yīng)用在信息安全領(lǐng)域，隨著大數(shù)據(jù)技術(shù)發(fā)展，對日志數(shù)據(jù)處理更加迅速、精細，日志數(shù)據(jù)的價值被企業(yè)客戶認(rèn)可，其應(yīng)用領(lǐng)域也逐步延展到公司業(yè)務(wù)領(lǐng)域，如反欺詐等。這個領(lǐng)域有一些傳統(tǒng)安全公司在做，新公司主要有日志易和瀚思安信。
移動統(tǒng)計、用戶行為分析等領(lǐng)域是隨著移動互聯(lián)網(wǎng)的興起而得到快速發(fā)展的。移動互聯(lián)網(wǎng)時代，移動端軟件如雨后春筍般冒出，掘金者的出現(xiàn)，勢必會出現(xiàn)一些為掘金者送水的人。
移動統(tǒng)計和用戶行為分析均是為這些互聯(lián)網(wǎng)公司提供服務(wù)，解決這些企業(yè)關(guān)心的客戶數(shù)、轉(zhuǎn)化率等問題。TalkingData和友盟+是移動統(tǒng)計領(lǐng)域的佼佼者，用戶行為分析領(lǐng)域呈現(xiàn)出GrowingIO、神策數(shù)據(jù)和諸葛IO三足鼎立之勢。
盡管各細分賽道的公司業(yè)務(wù)相差很大，但通用技術(shù)領(lǐng)域還是存在很多行業(yè)共性和未來趨勢，這些現(xiàn)狀和趨勢有助于我們?nèi)ヅ袛嗤ㄓ眉夹g(shù)類公司未來發(fā)展方向。
行業(yè)現(xiàn)狀一：大數(shù)據(jù)概念逐漸落地，各領(lǐng)域在逐步細化
大數(shù)據(jù)概念興起時，企業(yè)客戶最先想到將數(shù)據(jù)收集存儲起來，因此企業(yè)客戶都在建立自己的數(shù)據(jù)中心等基礎(chǔ)設(shè)施。數(shù)據(jù)存儲之后，如何使用這些數(shù)據(jù)成為企業(yè)新的痛點。
數(shù)據(jù)可視化是讓企業(yè)客戶感受到數(shù)據(jù)價值的直接體現(xiàn)。但僅僅是可視化呈現(xiàn)是遠遠不夠的，企業(yè)客戶希望能夠挖掘數(shù)據(jù)內(nèi)在價值，于是數(shù)據(jù)分析領(lǐng)域逐步繁榮。
因此，伴隨著大數(shù)據(jù)概念的逐步落地，通用技術(shù)領(lǐng)域的公司得以快速發(fā)展。同時這一領(lǐng)域逐步細化，衍生出大量專注于某一細分領(lǐng)域的公司。
以數(shù)據(jù)分析為例，早期主要是網(wǎng)站流量分析，百度統(tǒng)計、CNZZ等。移動互聯(lián)網(wǎng)興起之后，TalkingData、友盟等基于移動平臺提供日活量等數(shù)據(jù)統(tǒng)計公司出現(xiàn)。
隨著業(yè)務(wù)的發(fā)展，僅僅是用戶數(shù)據(jù)統(tǒng)計已經(jīng)不能滿足企業(yè)的需要，企業(yè)開始關(guān)注用戶的行為分析，希望可以進行更加精細化地分析，這時候GrowingIO、神策數(shù)據(jù)等公司出現(xiàn)。
據(jù)不完全統(tǒng)計，國內(nèi)大數(shù)據(jù)公司有130多家，而國外大數(shù)據(jù)公司有7000多家。因此，盡管領(lǐng)域逐步細化，還是存在很多洼地，整個行業(yè)發(fā)展空間還很大。
行業(yè)現(xiàn)狀二：提供工具型服務(wù)，模式更偏向SaaS
底層基礎(chǔ)平臺公司，多以項目制服務(wù)客戶，人力依賴較重。通用技術(shù)類公司，更多是提供某一種工具類服務(wù)，更容易形成標(biāo)準(zhǔn)化產(chǎn)品，因此可復(fù)制性強，人力依賴相對較輕。
目前國內(nèi)大型企業(yè)一般都實行預(yù)算制，服務(wù)大型企業(yè)時，形式上仍然為項目制，但交付時間相對較短，大數(shù)據(jù)公司仍然可以看做是輸出產(chǎn)品而非人力。
因此，通用技術(shù)領(lǐng)域公司的業(yè)務(wù)模式更偏向SaaS，可以用SaaS類企業(yè)的核心指標(biāo)去分析其運營效率。
因為是工具類服務(wù)，客單價一般不高，集中在幾萬至幾十萬之間，上百萬的訂單鳳毛麟角。國外市場同樣如此，Tableau客單價平均在8000美金，Splunk的客單價在5萬美金左右。不過，國內(nèi)大數(shù)據(jù)公司目前紛紛涉足傳統(tǒng)企業(yè)級市場，客單價有望逐步提高。
行業(yè)現(xiàn)狀三：開源社區(qū)興起，互聯(lián)網(wǎng)巨頭入侵
近年，隨著開源文化興起，越來越多的技術(shù)開源，很多大數(shù)據(jù)相關(guān)技術(shù)的使用門檻逐步降低，如可視化領(lǐng)域的eCharts，日志分析領(lǐng)域的ElasticSearch，這些工具方便IT人員開發(fā)相應(yīng)的數(shù)據(jù)技術(shù)產(chǎn)品。
與此同時，BAT等互聯(lián)網(wǎng)巨頭不斷推出免費的大數(shù)據(jù)技術(shù)產(chǎn)品，如百度統(tǒng)計、友盟統(tǒng)計等，完全可以滿足企業(yè)一般需求。
以上這些因素，使得大數(shù)據(jù)公司的技術(shù)優(yōu)勢逐步降低，僅僅依靠大數(shù)據(jù)技術(shù)已經(jīng)很難建立起足夠堅實的護城河。
垂直技術(shù)面臨挑戰(zhàn)，通用技術(shù)平臺同樣面臨巨大沖擊。2016年，跟隨Google步伐，國內(nèi)互聯(lián)網(wǎng)巨頭紛紛開放自己的大數(shù)據(jù)平臺，阿里云開放“數(shù)加”平臺，百度云開放“天算”，BAT已經(jīng)形成中小企業(yè)的服務(wù)閉環(huán)。對大數(shù)據(jù)領(lǐng)域的創(chuàng)新公司而言，服務(wù)中小互聯(lián)網(wǎng)企業(yè)這條路幾乎被封死。
行業(yè)現(xiàn)狀四：客群轉(zhuǎn)向傳統(tǒng)企業(yè)，集成商成強勁對手
對企業(yè)而言，接受大數(shù)據(jù)技術(shù)需要一段時間?；ヂ?lián)網(wǎng)企業(yè)對新技術(shù)的接受速度，要遠遠快于傳統(tǒng)企業(yè)，因此大數(shù)據(jù)創(chuàng)新公司早期客戶多數(shù)為互聯(lián)網(wǎng)企業(yè)。但隨著業(yè)務(wù)不斷開展，大數(shù)據(jù)公司發(fā)現(xiàn)互聯(lián)網(wǎng)企業(yè)的付費意愿低于傳統(tǒng)企業(yè)。
一方面，習(xí)慣了互聯(lián)網(wǎng)免費紅利后，互聯(lián)網(wǎng)企業(yè)主更傾向于使用免費產(chǎn)品，相比之下，傳統(tǒng)企業(yè)用戶相對保守，對免費產(chǎn)品心存疑慮，付費購買產(chǎn)品的習(xí)慣從信息化時代延續(xù)至今。
另一方面，大型互聯(lián)網(wǎng)公司技術(shù)實力強，更傾向于內(nèi)部研發(fā)滿足業(yè)務(wù)需要，不愿意使用外界產(chǎn)品，而傳統(tǒng)企業(yè)更樂意接受外界產(chǎn)品。
基于以上兩點，大數(shù)據(jù)公司將客戶群體由線上互聯(lián)網(wǎng)企業(yè)逐步轉(zhuǎn)向傳統(tǒng)企業(yè)，如TalkingData早期服務(wù)移動端企業(yè)，后期轉(zhuǎn)向服務(wù)金融、地產(chǎn)等傳統(tǒng)領(lǐng)域客戶。
不過，傳統(tǒng)企業(yè)服務(wù)市場盤踞著各類集成商，這些公司與客戶關(guān)系非常密切，已形成了強大的行業(yè)壁壘，創(chuàng)新型大數(shù)據(jù)公司切入并不容易。
技術(shù)優(yōu)勢和原有客群逐步被蠶食，打開新市場又面臨很大競爭。面對這種前有堵截、后有追兵的局面，大數(shù)據(jù)公司如何突圍?
愛分析認(rèn)為，具備以下特點的大數(shù)據(jù)公司更容易突圍成功。
行業(yè)趨勢一：業(yè)務(wù)垂直化，聚焦細分領(lǐng)域
盡管企業(yè)客戶更希望得到一個整體解決方案，但對大數(shù)據(jù)公司而言，將業(yè)務(wù)聚焦在垂直領(lǐng)域更容易發(fā)展。
Tableau、Splunk早期都是聚焦可視化、日志分析細分領(lǐng)域，將產(chǎn)品打磨扎實，才向其他領(lǐng)域進行擴展，國內(nèi)大數(shù)據(jù)公司應(yīng)該更加專注一些，將某一領(lǐng)域做實。
專注單一領(lǐng)域，不盲目擴張，也有助于減少競爭，與更多企業(yè)合作。想切入傳統(tǒng)企業(yè)市場，僅憑大數(shù)據(jù)公司的商務(wù)拓展能力遠遠不夠，有些時候需要與集成商進行合作，借助集成商的渠道切入市場。
行業(yè)趨勢二：向上層應(yīng)用偏移，做厚利潤空間
不管是開源社區(qū)，還是互聯(lián)網(wǎng)巨頭開放平臺，輸出的更多是技術(shù)能力，并不能直接解決企業(yè)需求。以Hadoop為例，盡管Hadoop社區(qū)技術(shù)已經(jīng)相對成熟，但Cloudera這樣的公司仍然有很大市場。
通用技術(shù)領(lǐng)域同樣如此，對企業(yè)級客戶來說，他們不關(guān)心使用什么樣的技術(shù)，能夠解決業(yè)務(wù)問題才是關(guān)鍵。
對大數(shù)據(jù)公司而言，繼續(xù)向底層偏移，強化技術(shù)實力這條路會非常艱難，等同于以一己之力對抗整個社區(qū)。逐步偏向上層應(yīng)用，開發(fā)具備行業(yè)屬性的產(chǎn)品才是更好的選擇。
這樣做更貼近客戶需求，客戶付費意愿更強，同時客單價更高，利潤空間更大。
行業(yè)趨勢三：對接多方數(shù)據(jù)源，實現(xiàn)數(shù)據(jù)互聯(lián)
通用技術(shù)公司在服務(wù)客戶過程中，會積累大量數(shù)據(jù)，經(jīng)過脫敏處理后，這些數(shù)據(jù)可以用于服務(wù)其他客戶。
如TalkingData就在服務(wù)移動端中小企業(yè)過程中，積累了大量移動設(shè)備數(shù)據(jù)，將這些數(shù)據(jù)用于為線下金融類客戶提供包括精準(zhǔn)營銷在內(nèi)的多項服務(wù)。
目前大數(shù)據(jù)公司主要是以自身技術(shù)服務(wù)于客戶的第一方數(shù)據(jù)源，隨著業(yè)務(wù)發(fā)展，大數(shù)據(jù)公司慢慢會形成自己的第三方數(shù)據(jù)源，可以將第三方數(shù)據(jù)源與第一方數(shù)據(jù)源打通，實現(xiàn)數(shù)據(jù)互聯(lián)，將大大增強大數(shù)據(jù)公司的競爭力。
除TalkingData之外，廣告監(jiān)測領(lǐng)域的秒針系統(tǒng)和AdMaster，可視化領(lǐng)域的海云數(shù)據(jù)，都在積極建立自己的數(shù)據(jù)庫，將技術(shù)與數(shù)據(jù)結(jié)合，提供更貼近業(yè)務(wù)的服務(wù)。
廣告監(jiān)測領(lǐng)域機會最大，用戶行為分析需要打開更大市場
盡管通用技術(shù)領(lǐng)域整體前景廣闊，但各細分賽道情況或有不同，廣告監(jiān)測領(lǐng)域機會最大，網(wǎng)頁爬蟲、文本挖掘領(lǐng)域機會不大。日志分析、用戶行為分析領(lǐng)域的問題是發(fā)展空間有限，需要將業(yè)務(wù)開拓至新行業(yè)才有更大的機會。
廣告監(jiān)測領(lǐng)域機會最大，秒針系統(tǒng)、AdMaster占據(jù)前端廣告曝光市場95%份額，形成雙寡頭局面，兩家都在積極布局后端監(jiān)測市場。此外，移動端TalkingData將中小企業(yè)一網(wǎng)打盡，為中小APP軟件提供包括廣告監(jiān)測在內(nèi)的多項運營服務(wù)。
同時，這些廣告監(jiān)測公司已經(jīng)開始尋找數(shù)據(jù)變現(xiàn)路徑，幫助企業(yè)客戶建立第一方和第三方DMP，建立更緊密的合作關(guān)系。
BI商業(yè)智能與數(shù)據(jù)可視化領(lǐng)域，單純提供BI與可視化工具，競爭力并不凸顯。因為這類開源技術(shù)發(fā)展很好，開發(fā)成本較小，無法建立技術(shù)壁壘，需要向上層應(yīng)用偏移，將技術(shù)與行業(yè)應(yīng)用結(jié)合，形成業(yè)務(wù)壁壘。永洪科技、海云數(shù)據(jù)等公司都在積極對接業(yè)務(wù)，重點布局公安、電信等行業(yè)，加強客戶黏性。
日志分析領(lǐng)域同樣面臨開源技術(shù)沖擊，業(yè)內(nèi)一類公司采取ElasticSearch技術(shù)，基于開源技術(shù)開發(fā)相應(yīng)產(chǎn)品，競爭力有限。另一類公司自主研發(fā)底層技術(shù)，碰到的問題是如何在與開源社區(qū)競爭中保持技術(shù)領(lǐng)先性。
單純是日志分析市場，空間有限，但隨著物聯(lián)網(wǎng)的發(fā)展，這類公司可將日志數(shù)據(jù)延伸到機器數(shù)據(jù)，在物聯(lián)網(wǎng)領(lǐng)域發(fā)揮更大價值。
用戶行為分析領(lǐng)域市場仍處于早期階段，如果只服務(wù)于互聯(lián)網(wǎng)客戶，市場空間有限，競爭激烈，加上百度統(tǒng)計、友盟等分析平臺，如何讓企業(yè)付費是最大問題。這領(lǐng)域公司需要積極探索如何將業(yè)務(wù)轉(zhuǎn)到傳統(tǒng)企業(yè)級市場，拓寬發(fā)展空間。
網(wǎng)頁爬蟲、文本挖掘領(lǐng)域機會較小，一方面，百度、Google等搜索引擎公司技術(shù)積累遠超于新興企業(yè)，后者很難形成足夠的技術(shù)壁壘，另一方面，通過這類技術(shù)采集到的數(shù)據(jù)價值非常有限，很難利用這類數(shù)據(jù)為傳統(tǒng)企業(yè)提供價值。
