Klout公司正在利用數(shù)據(jù)分析來了解人們在社交網(wǎng)絡(luò)的影響力，該公司首席技術(shù)官Virendra Vase表示：“我們基本上是位于社交網(wǎng)絡(luò)上面，收集所有信息，幫助人們理解以及認(rèn)識其影響力。”

這個工作每天需要處理來自超過4億用戶的120億數(shù)據(jù)信號，Klout的大數(shù)據(jù)環(huán)境包括開源平臺Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

[[90213]]

Virendra Vase

[[90214]]

Rachel Higham

Vase最近談到了Klout學(xué)到的一些大數(shù)據(jù)教訓(xùn)。保險公司ACE Group公司首席企業(yè)架構(gòu)師Rachel Higham，Tenet Healthcare公司消費類應(yīng)用程序副總裁Brian Barnes也分享了他們的大數(shù)據(jù)技巧、竅門以及遇到的問題，下面讓我們來看看他們分享的內(nèi)容：

數(shù)據(jù)量使測試、存儲和計算復(fù)雜化

龐大的數(shù)據(jù)量使測試成為一個挑戰(zhàn)。處理非結(jié)構(gòu)化數(shù)據(jù)格式和社交媒體導(dǎo)出的數(shù)據(jù)(例如140個字符的微薄)也不是簡單的事情。當(dāng)涉及存儲時，更多的數(shù)據(jù)并不總是更好。他提醒說：“我們必須要弄清楚：我們需要保存什么樣的數(shù)據(jù)?我們需要歸檔哪些數(shù)據(jù)。在最后，并不是關(guān)于數(shù)據(jù)，而是關(guān)于我們?nèi)绾畏治鰯?shù)據(jù)。”

技術(shù)成熟度是一個挑戰(zhàn)

Vase警告說，很多大數(shù)據(jù)技術(shù)仍然在開發(fā)中。雖然這些基礎(chǔ)技術(shù)正在日趨完善，但用于管理和配置的工具仍然處于起步階段，這讓IT專業(yè)人士不得不應(yīng)對這種差距。他表示：“我們需要從管理的角度、從工作流程的角度、從配置的角度來開發(fā)攻擊。”

模塊化

對于Klout來說，模塊化的基礎(chǔ)設(shè)施很重要，因為這允許IT團隊處理業(yè)務(wù)優(yōu)先級變化，并提供業(yè)務(wù)透明度。他重申，企業(yè)需要投資于管理和生產(chǎn)力工具。“這正是我們的20%和25%工程資源側(cè)重的地方--生產(chǎn)力工具和工作流程管理。”

努力發(fā)現(xiàn)人才

大數(shù)據(jù)工具正在快速發(fā)展，而供應(yīng)商支持并沒有完全到位，這使得尋找大數(shù)據(jù)人才成為挑戰(zhàn)。“我們很難找到人才，我們只能聘請優(yōu)秀的工程師，并對他們進行培訓(xùn)。”

大數(shù)據(jù)專家與業(yè)務(wù)專家合作

我們經(jīng)常談到讓大數(shù)據(jù)專家與產(chǎn)品專家以及業(yè)務(wù)專家緊密合作，但這說起來比做起來容易，這件事情仍然難以貫徹，但雙方都需要了解另一方。

ACE集團已經(jīng)很善于利用大數(shù)據(jù)分析來發(fā)現(xiàn)風(fēng)險和欺詐模式，識別新的商業(yè)機會，以及了解客戶情緒。Higham表示：“我認(rèn)為我們學(xué)到的最大經(jīng)驗是：在企業(yè)內(nèi)傳達我們的意圖、愿景以及成功案例”。

定義一個愿景，教育領(lǐng)導(dǎo)班子

“我們花了很多時間來發(fā)現(xiàn)大數(shù)據(jù)可運用的領(lǐng)域，例如在我們的承保和理賠流程中，并向業(yè)務(wù)部門進行解釋，”Higham表示，“這為我們確定了兩個概念證明，現(xiàn)在我們已經(jīng)運用到更多領(lǐng)域，并且進一步運用一些大數(shù)據(jù)工具和技術(shù)。”

建立督導(dǎo)組

ACE集團的督導(dǎo)委員會負(fù)責(zé)領(lǐng)導(dǎo)該公司的大數(shù)據(jù)項目，令人驚訝的是，其中并不完全是技術(shù)人員。“其中包含4名技術(shù)人員以及大約20名企業(yè)領(lǐng)導(dǎo)。”

在開始項目前，配備數(shù)據(jù)和人才

Higham表示：“我們投資的關(guān)鍵事情之一就是在開始項目之前，準(zhǔn)備技能和資源，如果沒有這些，我們將無法為業(yè)務(wù)提供價值。”

散布企業(yè)內(nèi)的人才

ACE集團的大數(shù)據(jù)專家分散在整個企業(yè)，“我們在整個企業(yè)都建立了核心競爭力，在企業(yè)中配備了新的技能人才，包括統(tǒng)計人員、數(shù)據(jù)篩選人員、數(shù)據(jù)分析師、流程專家等。這種協(xié)作能夠幫助我們收集資源、分享技能，以及不斷發(fā)展和創(chuàng)新。”

不要低估供應(yīng)商管理或者系統(tǒng)集成

對于Vanguard Health Systems而言，大數(shù)據(jù)分析的最好方法是利用8個供應(yīng)商的方法，“我們使用8家供應(yīng)商的解決方案，因為沒有供應(yīng)商提供即用的解決方案。”供應(yīng)商管理是一個挑戰(zhàn)，集成所有不同系統(tǒng)也是挑戰(zhàn)。

單獨評估投資回報率

美國第二大醫(yī)療保健網(wǎng)絡(luò)Tenet Healthcare利用大數(shù)據(jù)分析來改進和驗證營銷活動的有效性。當(dāng)大數(shù)據(jù)取得成功時，每個人都希望成為其中的一部分。“當(dāng)你部署大數(shù)據(jù)項目后，你會開始給企業(yè)帶來新的收入，然后企業(yè)其他團隊也會跳出來說這是他們帶來的收入。”對于其團隊而言，首席財務(wù)官能夠幫助解決這個問題，他們能夠單獨提供大數(shù)據(jù)項目的投資回報率。