AdMaster,技術(shù)驅(qū)動發(fā)展的數(shù)據(jù)應(yīng)用領(lǐng)導(dǎo)者
BAT巨頭對數(shù)據(jù)擁有各具特點,首先說百度:百度擁有用戶搜索表征的需求數(shù)據(jù)、爬蟲和阿拉丁獲取的公共WEB數(shù)據(jù);阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù);騰訊則擁有用戶關(guān)系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù)。而且,BAT對于數(shù)據(jù)的應(yīng)用和變現(xiàn)形式也各不相同:百度的數(shù)據(jù)源于數(shù)據(jù)自產(chǎn)+第三方合作,采用研究和實用結(jié)合的使用方式;騰訊的數(shù)據(jù)自產(chǎn)自銷,主要為其產(chǎn)品所用;阿里巴巴看中的是數(shù)據(jù)的流通,做數(shù)據(jù)的集散地。
從數(shù)據(jù)產(chǎn)生的根源來看,BAT三大巨頭擁有的數(shù)據(jù)大部分主要都是基于B2C 的服務(wù)而產(chǎn)生的。然而,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和數(shù)字營銷的普及,隨之產(chǎn)生另一部分非常重要的大數(shù)據(jù)則是在B2B的服務(wù)模式下,挖掘采集而來的消費(fèi)者廣告行為、動態(tài)、品牌輿情等消費(fèi)者行為相關(guān)的數(shù)據(jù)。針對這些數(shù)據(jù)的采集、管理、分析和應(yīng)用,國內(nèi)出現(xiàn)了像AdMaster(精碩科技)這樣的數(shù)據(jù)應(yīng)用和管理解決方案的公司。AdMaster是一家成立于2006年的SaaS公司,專注于通過技術(shù)驅(qū)動來完成數(shù)據(jù)的挖掘、分析、管理和應(yīng)用,利用技術(shù)和數(shù)據(jù)為客戶創(chuàng)造商業(yè)價值。據(jù)了解,AdMaster的數(shù)據(jù)應(yīng)用是多源的。目前采集和分析得數(shù)據(jù)主要包括數(shù)字廣告效果評估和優(yōu)化數(shù)據(jù)、社交媒體營銷數(shù)據(jù)、移動廣告效果評估和優(yōu)化數(shù)據(jù)、跨多屏優(yōu)化和效果研究數(shù)據(jù)、品牌電商數(shù)據(jù)以及RTB領(lǐng)域DMP數(shù)據(jù)平臺和廣告主私有數(shù)據(jù)管理平臺等。同時,還包括第三方合作伙伴對接數(shù)據(jù)和來自廣告主提供的自有CRM系統(tǒng)數(shù)據(jù)。
面對如此海量且多源數(shù)據(jù)的分析和管理,主要推動AdMaster業(yè)務(wù)快速發(fā)展的就是其核心的數(shù)據(jù)應(yīng)用技術(shù)。AdMaster的技術(shù)實力雖然不能說堪比BAT巨頭,但是其技術(shù)優(yōu)勢在數(shù)字營銷領(lǐng)域內(nèi)也稱得上***。據(jù)AdMaster高級技術(shù)總監(jiān)盧億雷介紹:“目前,AdMaster的數(shù)據(jù)處理能夠?qū)崿F(xiàn)每秒接收超50萬次的并發(fā)請求,每天新增數(shù)據(jù)量超過4TB,對1000億條記錄進(jìn)行超過1000種維度的計算。”同時,為了保證數(shù)據(jù)質(zhì)量,提供高可靠、高可用、高擴(kuò)展、高性能系統(tǒng)服務(wù),AdMaster所有服務(wù)全部做到了無單點,數(shù)據(jù)多重備份,系統(tǒng)采取分布式集群,主要分為WEB集群,存儲集群,數(shù)據(jù)庫集群,計算集群四大分布式集群。根據(jù)海量數(shù)據(jù)處理需求,AdMaster自主研發(fā)了行業(yè)最領(lǐng)先的ADH(Advertising Distribution Hadoop)數(shù)據(jù)處理平臺。ADH平臺可以幫助AdMaster在完成數(shù)據(jù)采集后快速進(jìn)入計算流程,可以更快的為廣告主提供數(shù)據(jù)支持,數(shù)據(jù)處理速度對比同行業(yè)提高了1倍以上。與此同時,ADH平臺還具有以下幾個優(yōu)勢: 減少數(shù)據(jù)擴(kuò)充,優(yōu)化合并過程,使采集數(shù)據(jù)直接生成客戶所需格式,提高處理速度;內(nèi)置廣告行業(yè)算法,不需要編寫MapReduce就可以計算PV、UV等各種維度數(shù)據(jù);優(yōu)化HBase查詢,專為社會化數(shù)據(jù)定制,提高處理性能;集成數(shù)據(jù)任務(wù)調(diào)度系統(tǒng),可以根據(jù)業(yè)務(wù)需求自動調(diào)整計算資源;集成Storm,優(yōu)化Storm傳輸,減小數(shù)據(jù)延遲,實時提供數(shù)據(jù)計算;集成Spark,優(yōu)化迭代工作負(fù)載,提高系統(tǒng)可靠性。
“另外,AdMaster的技術(shù)應(yīng)用優(yōu)勢還體現(xiàn)在AdMaster對數(shù)據(jù)應(yīng)用有很深的理解,具有多源數(shù)據(jù)的挖掘、分析和處理能力。同時擁有超大集群實戰(zhàn)經(jīng)驗、及對推薦算法、分類、聚類、NLP等算法有很深的研究的各種人才。”盧億雷強(qiáng)調(diào)。
在數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)方面,盧億雷也很自信闡述了AdMaster在數(shù)據(jù)應(yīng)用和合作方面的開放態(tài)度。為了拓展AdMaster多源數(shù)據(jù)的范圍,AdMaster充分擁抱開源技術(shù),增加分布式存儲和計算(包括Hadoop,Spark,Storm等),以及算法優(yōu)化(包括有NLP,機(jī)器學(xué)習(xí)等)等方面的研發(fā)投入。目的是為行業(yè)提供高質(zhì)量服務(wù)、推動行業(yè)標(biāo)準(zhǔn)完善、全面提高數(shù)據(jù)可靠性和安全性。
再強(qiáng)大的技術(shù)都無法超越人才和團(tuán)隊的力量,據(jù)盧億雷介紹,AdMaster設(shè)有北京和上海兩個技術(shù)研發(fā)中心,技術(shù)人才占公司總?cè)藬?shù)的60%。他們主要來自百度、阿里、騰訊、新浪等互聯(lián)網(wǎng)巨頭公司,對大數(shù)據(jù)處理技術(shù)有著很深的見解,包括對Hadoop等離線,流式,實時等分布式計算有豐富的積累和經(jīng)驗。
未來,隨著數(shù)據(jù)價值潛能更大的被挖掘和重視,數(shù)據(jù)應(yīng)用技術(shù)和體系將在市場需求的刺激下持續(xù)、快速的發(fā)展。像AdMaster這樣的以技術(shù)為核心的公司一路走來不可避免的需要面臨行業(yè)發(fā)展帶來的各種挑戰(zhàn),當(dāng)然挑戰(zhàn)也是機(jī)遇,只有敢于迎接挑戰(zhàn)才能抓住機(jī)遇。相信,也只有這樣的***才能***整個行業(yè)的發(fā)展和繁榮。