數(shù)據(jù)準(zhǔn)備是大數(shù)據(jù)分析的無名英雄
隨著企業(yè)花越來越多的時間來分析數(shù)據(jù),清理和準(zhǔn)備數(shù)據(jù)的解決方案將會變得更有價值。
現(xiàn)在大數(shù)據(jù)是熱門話題,你在任何地方與任何人交談很難不提到大數(shù)據(jù)。事實(shí)上,大數(shù)據(jù)的術(shù)語有點(diǎn)被過度使用,它對不同的人意味著不同的東西,但所有這些定義都有一個共同點(diǎn),那就是數(shù)據(jù)!
上面我們說大數(shù)據(jù)依賴于數(shù)據(jù),這似乎很明顯,但大數(shù)據(jù)分析的成功需要的不僅僅是原始數(shù)據(jù),還需要好的高質(zhì)量數(shù)據(jù)。所以,更準(zhǔn)確的說法應(yīng)該是,大數(shù)據(jù)的成功需要準(zhǔn)備好的數(shù)據(jù)。對于分析,有句古老的格言,“進(jìn)來是垃圾,出去也是垃圾”,這意味著如果你把大量參差不齊的數(shù)據(jù)放到分析解決方案,你將會得到不好的結(jié)果。
數(shù)據(jù)的清理和準(zhǔn)備歷來都是漫長的艱巨的耗時的過程。當(dāng)筆者還在Yankee Group公司時,他們遷移CRM系統(tǒng),在遷移工作之前,該公司花了一年時間來清理現(xiàn)有系統(tǒng)中的記錄數(shù)據(jù),以確保不會遷移不好的數(shù)據(jù)。雖然他們做了這么多工作,仍然有很多不良信息被遷移過去。
最近,筆者看到一家被稱為Paxata的公司,該公司提供的解決方案可以進(jìn)行所謂的“自助服務(wù)自適應(yīng)數(shù)據(jù)準(zhǔn)備”。在分析或運(yùn)營報(bào)告工作之前,該技術(shù)可以整合、清理和形成數(shù)據(jù)。市面上很多現(xiàn)有的商業(yè)智能產(chǎn)品聲稱可以簡化分析過程,但事實(shí)是,大多數(shù)數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師花費(fèi)大量時間來為分析準(zhǔn)備數(shù)據(jù)。鑒于此,筆者認(rèn)為,大多數(shù)企業(yè)寧愿聘請高薪人才找出數(shù)據(jù)的含義(+微信關(guān)注網(wǎng)絡(luò)世界),而不是清理數(shù)據(jù)。
Paxata提供數(shù)據(jù)整個生命周期的準(zhǔn)備,包括探索、清理、更換、形成和發(fā)布數(shù)據(jù)以進(jìn)行分析。該產(chǎn)品還允許不同的數(shù)據(jù)團(tuán)隊(duì)共享相同的數(shù)據(jù)集,讓不同的團(tuán)隊(duì)可以同時編輯和訪問多個設(shè)備的信息。該產(chǎn)品還是一個管理解決方案,它會追蹤項(xiàng)目內(nèi)的每個步驟,并有完全的重放功能來審查已經(jīng)完成的更改。
Paxata的用戶可以提高對大型數(shù)據(jù)集的分析生產(chǎn)率,同時最小化數(shù)據(jù)蔓延的危險(xiǎn)。該產(chǎn)品既可作為云服務(wù)—確保數(shù)據(jù)準(zhǔn)備的靈活性,也可以作為內(nèi)部部署的解決方案,它可以整合到Hadoop以更快獲取價值。
正如上文所述,大數(shù)據(jù)現(xiàn)在是一個熱門話題,但企業(yè)和IT***需要明白,分析糟糕的數(shù)據(jù)意味著糟糕的分析結(jié)果,可能會造成錯誤的商業(yè)決策。正因?yàn)槿绱?,筆者希望看到數(shù)據(jù)準(zhǔn)備技術(shù)會開始像大數(shù)據(jù)一樣熱門。