【51CTO.com原創(chuàng)稿件】近十年前，隨著技術(shù)的不斷更新迭代，大數(shù)據(jù)逐漸走向成熟，而如今，大數(shù)據(jù)已經(jīng)漸地淡出人們的談資。從2015年開始，大數(shù)據(jù)已經(jīng)在Gartner新興技術(shù)成熟度曲線中消失，Gartner對(duì)此的解釋是，大數(shù)據(jù)不再是“新興的”，而是正在慢慢融入我們的生活中。

這一說法，也得到了永洪科技高級(jí)副總裁邵文龍的認(rèn)同。他表示，雖然新興技術(shù)成熟度曲線中已經(jīng)沒有了大數(shù)據(jù)，但是很多其他技術(shù)都是基于大數(shù)據(jù)的，大數(shù)據(jù)已經(jīng)成為這些技術(shù)的基礎(chǔ)。

[[265968]]

永洪科技高級(jí)副總裁邵文龍

根據(jù)福布斯的報(bào)道，89%的行業(yè)高管認(rèn)為大數(shù)據(jù)將像互聯(lián)網(wǎng)一樣改變傳統(tǒng)的商業(yè)運(yùn)作模式。的確，隨著新興技術(shù)的不斷演進(jìn)，大數(shù)據(jù)逐漸成為了企業(yè)中重要的資產(chǎn)。如何從數(shù)據(jù)中挖掘出有價(jià)值的信息，輔助企業(yè)甚至是直接進(jìn)行決策，成為了眾多企業(yè)的必行之路。

大數(shù)據(jù)已經(jīng)走向成熟？

得益于互聯(lián)網(wǎng)的飛速發(fā)展，企業(yè)中的數(shù)據(jù)越來越多，過去，企業(yè)的關(guān)注點(diǎn)在于大量的多樣的數(shù)據(jù)如何存儲(chǔ)，而如今，更多的企業(yè)則希望從這些數(shù)據(jù)中挖掘價(jià)值，為企業(yè)的業(yè)務(wù)發(fā)展做出決策。

大數(shù)據(jù)發(fā)展了很多年后，是否已經(jīng)走向了成熟呢？邵文龍告訴筆者，從企業(yè)的數(shù)據(jù)架構(gòu)方面來看，技術(shù)還在不斷地演進(jìn)，還有很多創(chuàng)新的技術(shù)在不斷推出來，比如Spark、Flink等等；如果從企業(yè)應(yīng)用的角度來判斷，大數(shù)據(jù)是已經(jīng)走向成熟了，因?yàn)楦嗟钠髽I(yè)開始行動(dòng)，將大數(shù)據(jù)作為企業(yè)的基礎(chǔ)設(shè)施。

在當(dāng)前階段，大數(shù)據(jù)的熱點(diǎn)更多集中在大數(shù)據(jù)的應(yīng)用以及分析方面，怎樣從數(shù)據(jù)中挖掘價(jià)值，是很多企業(yè)的關(guān)注點(diǎn)。此外，企業(yè)希望服務(wù)提供商可以提供大數(shù)據(jù)一站式的解決方案，從大數(shù)據(jù)的基礎(chǔ)架構(gòu)、數(shù)據(jù)倉(cāng)庫(kù)，到數(shù)據(jù)分析平臺(tái)、商業(yè)智能的展現(xiàn)能力，甚至是數(shù)據(jù)挖掘能力、人工智能的能力全部包含，一攬子的解決方案受到了更多企業(yè)的青睞。

數(shù)據(jù)爆炸式增長(zhǎng)帶來多方變化

過去數(shù)據(jù)大多都是由業(yè)務(wù)系統(tǒng)所產(chǎn)生，靜靜的存儲(chǔ)在企業(yè)的數(shù)據(jù)庫(kù)中，而如今產(chǎn)生數(shù)據(jù)的來源也是多種多樣的，有來自新媒體、社交數(shù)據(jù)，也有來自物聯(lián)網(wǎng)等傳感器的數(shù)據(jù)，并且這些數(shù)據(jù)的形態(tài)也是多樣的、雜亂的。而這些不同來源的數(shù)據(jù)給企業(yè)的大數(shù)據(jù)處理、分析帶來了更大的挑戰(zhàn)。此外，數(shù)據(jù)的類型，例如視頻、音頻、圖片等不同格式的數(shù)據(jù)也增加了企業(yè)的存儲(chǔ)、清洗、甚至是分析挖掘的難度。

在數(shù)據(jù)爆炸的時(shí)代，帶來的變化不僅是數(shù)據(jù)處理分析難度的變化，更多的是用戶以及技術(shù)上的變化。邵文龍表示，大數(shù)據(jù)分析和數(shù)據(jù)挖掘已經(jīng)逐漸變成企業(yè)領(lǐng)導(dǎo)人的共識(shí)，他們需要從數(shù)據(jù)中挖掘價(jià)值從而指導(dǎo)自己企業(yè)的運(yùn)營(yíng)以及決策，因此企業(yè)需要利用好歷史數(shù)據(jù)以及外部數(shù)據(jù)，從而更好的做出規(guī)劃以及決策。此外，企業(yè)對(duì)于大數(shù)據(jù)處理的需求也更為清晰。過去很多用戶只是看到大數(shù)據(jù)很熱就開始做大數(shù)據(jù)，但是并不知道用大數(shù)據(jù)來具體做什么事情。而現(xiàn)在這樣的小白用戶越來越少，大部分企業(yè)還都是需求明確的。這說明企業(yè)對(duì)于大數(shù)據(jù)是有一定的認(rèn)可度的，大數(shù)據(jù)已經(jīng)成為企業(yè)的必備品。

第二個(gè)變化是技術(shù)方面的變化。從Gartner的新興技術(shù)成熟度曲線中可以看到，雖然大數(shù)據(jù)在Gartner的新興技術(shù)成熟度曲線2015年的報(bào)告中消失，但是很多新興的技術(shù)背后都是由大數(shù)據(jù)作為支撐，大數(shù)據(jù)已經(jīng)變成其他技術(shù)的基礎(chǔ)。比如，像人工智能，數(shù)據(jù)就是其重要的因素，如果沒有數(shù)據(jù)，那么算法模型都只是空殼，并不能產(chǎn)生真正的價(jià)值。

雖然，現(xiàn)在像視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)很多，但是企業(yè)中大部分?jǐn)?shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)居多。邵文龍表示，結(jié)構(gòu)化數(shù)據(jù)更加容易挖掘出價(jià)值，規(guī)律性和特征比較容易總結(jié)，因此價(jià)值密度相對(duì)較高。

永洪科技的PASO應(yīng)對(duì)之法

數(shù)據(jù)來源多樣化、數(shù)據(jù)量級(jí)增加、數(shù)據(jù)來源復(fù)雜等多種原因，擾亂了數(shù)據(jù)之間的關(guān)系，增加了用戶對(duì)數(shù)據(jù)治理、分析挖掘的難度，同時(shí)，對(duì)數(shù)據(jù)安全、隱私保護(hù)也帶來了更高的挑戰(zhàn)。

為此，永洪科技提出了PASO（Platform，Application，Service，Operation）平臺(tái)，通過技術(shù)手段和非技術(shù)手段兩方面解決這些挑戰(zhàn)問題。技術(shù)方面主要通過Platform和Application的方式，能夠有效的涵蓋用戶所面臨的挑戰(zhàn)，比如數(shù)據(jù)清洗、數(shù)據(jù)治理等難題，并且可以通過可視化拖拽這樣簡(jiǎn)單易操作的方式實(shí)現(xiàn)，同時(shí)可以通過相關(guān)的血緣分析，找到數(shù)據(jù)的原始存在位置以及對(duì)數(shù)據(jù)進(jìn)行過的操作，從而對(duì)數(shù)據(jù)了如指掌。

在非技術(shù)手段方面則是通過Service和Operation兩方面著手。永洪科技設(shè)有售前、售后、客戶成功實(shí)施等不同的團(tuán)隊(duì)，都有完整的服務(wù)體系，提供從前端到后端完整的服務(wù)，隨時(shí)幫助用戶解決遇到的問題和挑戰(zhàn)。而Operation則是永洪科技已經(jīng)根據(jù)以往的經(jīng)驗(yàn)，將利用數(shù)據(jù)的方法、遇到的問題和解決方案制作成實(shí)踐方法，將這些實(shí)踐方法毫無保留的告訴用戶，讓用戶可以避免很多問題的發(fā)生。當(dāng)然，如果用戶出現(xiàn)其他解決不了的問題時(shí)，永洪科技的技術(shù)人員還是會(huì)幫助其進(jìn)行解決。邵文龍表示，通過技術(shù)和非技術(shù)相結(jié)合的方式，能夠解決用戶在數(shù)據(jù)量很大時(shí)遇到的挑戰(zhàn)，讓用戶能夠真正的使用起來。

而對(duì)于數(shù)據(jù)安全，永洪科技通過數(shù)據(jù)權(quán)限控制以及產(chǎn)品安全雙重保障的。在權(quán)限控制系統(tǒng)中，數(shù)據(jù)的權(quán)限是分層的，可以定義數(shù)據(jù)的查看權(quán)限，例如根據(jù)部門或是根據(jù)人員級(jí)別查看，這樣保證不同層級(jí)的用戶可以看到授權(quán)的數(shù)據(jù)。第二，永洪科技的產(chǎn)品是可以抵抗第三方攻擊的。若用戶使用手機(jī)或者公共環(huán)境登入系統(tǒng)查看數(shù)據(jù)，可能會(huì)被中間人攻擊將個(gè)人信息劫走，進(jìn)而查看到公司相關(guān)數(shù)據(jù)，造成損失。邵文龍表示，永洪科技每發(fā)布一個(gè)版本都要通過第三方的嚴(yán)格的安全檢測(cè)和掃描，并且在發(fā)布前都要進(jìn)行數(shù)周的穩(wěn)定性測(cè)試和漏洞掃描，在壓力集中的情況下保持運(yùn)行數(shù)周不出問題，才會(huì)正式發(fā)布，以便保證產(chǎn)品的高可靠性、穩(wěn)定性。

為客戶多想一步：標(biāo)準(zhǔn)化產(chǎn)品+定制化開發(fā)+行業(yè)解決方案

商業(yè)智能是從九十年代提出的，將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確地提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。早期的商業(yè)智能有兩個(gè)特點(diǎn)，一是構(gòu)建在關(guān)系型數(shù)據(jù)庫(kù)上，因此分析就是非實(shí)時(shí)的；二是數(shù)據(jù)量并不是很大。因此，早期商業(yè)智能所做出來的數(shù)據(jù)挖掘和呈現(xiàn)，往往都需要很長(zhǎng)的時(shí)間。而當(dāng)大數(shù)據(jù)出現(xiàn)以后，商業(yè)智能進(jìn)入到第二階段，從原有的IT人員逐步轉(zhuǎn)向了業(yè)務(wù)人員，業(yè)務(wù)人員可以根據(jù)自己的需求自己操作，馬上就可以呈現(xiàn)結(jié)果內(nèi)容。

但是在分析需求變更時(shí)，業(yè)務(wù)人員不會(huì)直接調(diào)整報(bào)表，需要IT人員重新建?；蛐薷囊延蟹治瞿Ｐ?，耗時(shí)較長(zhǎng)，響應(yīng)速度較慢。因此，永洪科技提供了自主研發(fā)的大數(shù)據(jù)高性能計(jì)算引擎軟件MPP數(shù)據(jù)集市，采用了列存儲(chǔ)、內(nèi)存計(jì)算、分布式計(jì)算、分布式通信，高性能多層緩存等技術(shù)，當(dāng)用戶將數(shù)據(jù)從數(shù)據(jù)庫(kù)導(dǎo)入到分析平臺(tái)時(shí)，可以及時(shí)響應(yīng)。

邵文龍表示，客戶在商業(yè)智能方面的需求比較發(fā)散，很難有一款商業(yè)智能的產(chǎn)品能夠完全滿足用戶，因此，永洪科技采用標(biāo)準(zhǔn)化的產(chǎn)品+定制化的開發(fā)+行業(yè)解決方案，來滿足不同行業(yè)不同用戶的需求。

標(biāo)準(zhǔn)化的產(chǎn)品提供通用型的技術(shù)能力，比如Z-Suite一站式大數(shù)據(jù)分析平臺(tái)，覆蓋了數(shù)據(jù)分析過程的各個(gè)環(huán)節(jié)，包括數(shù)據(jù)采集、清洗、整合、存儲(chǔ)、計(jì)算、建模、訓(xùn)練、展現(xiàn)、協(xié)作等，讓用戶可以在一個(gè)統(tǒng)一的平臺(tái)上完成全流程數(shù)據(jù)分析任務(wù)，降低了實(shí)施、集成、培訓(xùn)的成本。對(duì)于某些特殊的功能，則是可以通過定制化或插件的形式提供，目前永洪科技也開放了產(chǎn)品接口，感興趣的人員可以自己開發(fā)后放到應(yīng)用市場(chǎng)中，如果用戶沒有找到合適的插件，永洪科技的技術(shù)人員也是可以開發(fā)的。

Z-Suite 技術(shù)架構(gòu)

對(duì)于行業(yè)用戶，永洪科技也是有不同行業(yè)的解決方案，通過永洪科技的行業(yè)專家數(shù)十年的行業(yè)理解，總結(jié)出不同行業(yè)的業(yè)務(wù)需求和挑戰(zhàn)，從而制定通用型的行業(yè)解決方案。目前，永洪科技已經(jīng)針對(duì)制造、零售、金融、電商、交通、電力、醫(yī)療、電信、互聯(lián)網(wǎng)、高教、政府等不同行業(yè)做出了解決方案，覆蓋了主流行業(yè)的數(shù)據(jù)分析和挖掘的需求。

雖然很多企業(yè)都意識(shí)到大數(shù)據(jù)可以為企業(yè)帶來價(jià)值，但是往往想的還不夠透徹。邵文龍舉例說，以零售行業(yè)為例，如果客戶數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)準(zhǔn)備好，永洪科技會(huì)與客戶的業(yè)務(wù)人員以及IT人員溝通，了解清楚客戶做大數(shù)據(jù)分析的目的，客戶一般是想要做數(shù)據(jù)銷售情況的展示效果，但是永洪科技還可以幫助用戶做銷量預(yù)測(cè)、庫(kù)存優(yōu)化等等，幫助客戶多想一步，將數(shù)據(jù)分析挖掘做的更加透徹。

AI+BI：讓數(shù)據(jù)價(jià)值可衡量

人工智能技術(shù)的出現(xiàn)，讓機(jī)器可以模仿人類的思考方式變得更加智能。人工智能和商業(yè)智能該如何結(jié)合呢？邵文龍表示，很多用戶不太關(guān)心后端的技術(shù)是使用的哪些以及如何實(shí)現(xiàn)的，只是關(guān)心提出的需求是否能滿足。但是，永洪科技會(huì)根據(jù)用戶的需求來選擇合適的AI模型以及匹配的BI展示形式。

在數(shù)據(jù)清洗后會(huì)分成訓(xùn)練集和測(cè)試集，根據(jù)訓(xùn)練集進(jìn)行訓(xùn)練模型，調(diào)整模型參數(shù)，驗(yàn)證模型，然后將模型部署到測(cè)試環(huán)境中進(jìn)行測(cè)試，測(cè)試沒問題后部署到生產(chǎn)環(huán)境中，結(jié)果將在商業(yè)智能上進(jìn)行展現(xiàn)，讓用戶在無感知的的情況下體驗(yàn)到AI與BI的結(jié)合。

邵文龍認(rèn)為，現(xiàn)在用戶對(duì)于AI的需求會(huì)越來越多，未來會(huì)逐漸變成一種典型的場(chǎng)景。因?yàn)橛脩粼谛Ч鲜悄軌蚋兄摹⒂^察的、可衡量的。通過AI技術(shù)的結(jié)合，將復(fù)雜的模型高度抽象，幫助用戶發(fā)現(xiàn)通過肉眼觀察分析看不到的內(nèi)容，并且可以預(yù)測(cè)判斷未來的內(nèi)容，讓價(jià)值變得可衡量。

不過，人工智能的模型訓(xùn)練是需要大量投入的，找到合適的算法模型才能分析預(yù)測(cè)出更精準(zhǔn)的結(jié)果。從訓(xùn)練模型、調(diào)整參數(shù)、驗(yàn)證模型、部署模型等一系列的流程，都是需要大量的人力、計(jì)算力，以及時(shí)間等成本。永洪科技也正在研發(fā)AI相關(guān)的標(biāo)準(zhǔn)化產(chǎn)品，將復(fù)制性比較強(qiáng)的項(xiàng)目進(jìn)行總結(jié)，從而做出標(biāo)準(zhǔn)化的模型和功能，減少多方面的投入成本。

未來的三步發(fā)展

從商業(yè)智能到大數(shù)據(jù)分析，再到現(xiàn)在人工智能技術(shù)的結(jié)合，未來大數(shù)據(jù)的發(fā)展會(huì)集中在哪些方向呢？邵文龍表示主要在智能分析能力、提升產(chǎn)品性能、產(chǎn)品對(duì)數(shù)據(jù)挖掘洞察力的支持三個(gè)方面，而這三方面也將是永洪科技的研發(fā)方向。

首先，智能分析的能力也就是Gartner今年預(yù)測(cè)的十大戰(zhàn)略技術(shù)之一的增強(qiáng)分析技術(shù)。為了獲得更好的數(shù)據(jù)洞察能力，增強(qiáng)分析將把大數(shù)據(jù)重塑為智能數(shù)據(jù)。作為一種先進(jìn)的數(shù)據(jù)處理工具，增強(qiáng)分析能夠從大數(shù)據(jù)中獲得洞察力的真正本質(zhì)。因此，當(dāng)用戶打開報(bào)告后可以直接看到數(shù)據(jù)異常點(diǎn)以及產(chǎn)生的原因，而不再需要手工的鉆取與分析。此外，用戶的交互方面也是智能的，業(yè)務(wù)人員可以通過自然語(yǔ)言的方式來進(jìn)行查詢，直接獲取數(shù)據(jù)洞察力。

第二是提升產(chǎn)品的性能。由于數(shù)據(jù)量越來越大，企業(yè)后臺(tái)的計(jì)算能力也是成指數(shù)級(jí)增加，因此無論是基礎(chǔ)架構(gòu)還是軟件系統(tǒng)，都需要更強(qiáng)的性能來做支撐，以保障數(shù)據(jù)的分析挖掘的能力。永洪科技的MPP數(shù)據(jù)集市是大數(shù)據(jù)計(jì)算引擎，在永洪MPP的基礎(chǔ)上，正在通過技術(shù)革新來進(jìn)一步提升產(chǎn)品的性能，保證用戶在使用時(shí)的使用體驗(yàn)。

第三是產(chǎn)品對(duì)用戶需求的支持要有保障。由于人工智能技術(shù)的加速發(fā)展，企業(yè)對(duì)數(shù)據(jù)挖掘的洞察力要求也會(huì)越來越多，數(shù)據(jù)訓(xùn)練的模型，驗(yàn)證模型，評(píng)估模型，部署實(shí)施等一系列流程都要清晰。服務(wù)提供商的產(chǎn)品要能夠支持不同的數(shù)據(jù)模型，并且可以與現(xiàn)有的數(shù)據(jù)分析進(jìn)行無縫結(jié)合，統(tǒng)一展現(xiàn)出數(shù)據(jù)分析以及預(yù)測(cè)的結(jié)果。

結(jié)語(yǔ)

永洪科技于2012年成立，致力于為企業(yè)提供高效可靠又簡(jiǎn)單易用的數(shù)據(jù)分析解決方案。七年多的發(fā)展中，雖然有很多技術(shù)推陳出新，但是永洪科技始終保持初心，扎根于數(shù)據(jù)分析領(lǐng)域，幫助企業(yè)將數(shù)據(jù)轉(zhuǎn)換成有價(jià)值的信息。除了提供標(biāo)準(zhǔn)化產(chǎn)品，個(gè)性化服務(wù)以外，永洪科技利用技術(shù)能力降低數(shù)據(jù)分析的門檻，將數(shù)據(jù)分析變得更加簡(jiǎn)單易用，讓用戶真正的使用起來。而永洪科技的堅(jiān)持以及理念也得到了資本市場(chǎng)的認(rèn)可，從2013年到2016年四年時(shí)間里，永洪科技先后完成了四輪融資，獲得了包括騰訊創(chuàng)投、元生資本、經(jīng)緯創(chuàng)投等投資機(jī)構(gòu)的青睞。隨著智能時(shí)代的來臨，在技術(shù)不斷演進(jìn)的過程中，相信永洪科技會(huì)幫助企業(yè)挖掘出更大的數(shù)據(jù)價(jià)值。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】