如今，大數(shù)據(jù)分析市場(chǎng)與幾年前相比已經(jīng)截然不同。而在未來(lái)十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。 

[[222755]]

在日前發(fā)布的2017年度市場(chǎng)研究報(bào)告中，SiliconAngle Media公司的Wikibon分析團(tuán)隊(duì)發(fā)現(xiàn)，2017年的全球大數(shù)據(jù)分析市場(chǎng)規(guī)模比前一年增長(zhǎng)了24.5%.這比前一年的報(bào)告中預(yù)測(cè)的增長(zhǎng)得更快，這主要是由于公共云的部署和利用好于人們的預(yù)期，以及云計(jì)算的平臺(tái)、工具和其他解決方案都在加速融合。此外，企業(yè)正在通過(guò)大數(shù)據(jù)分析更快速地脫離實(shí)驗(yàn)和驗(yàn)證階段，并從部署中獲得更高的業(yè)務(wù)價(jià)值。

展望未來(lái)，Wikibon團(tuán)隊(duì)預(yù)測(cè)，2027年全球大數(shù)據(jù)分析市場(chǎng)的年增長(zhǎng)率將以11%的速度增長(zhǎng)，將達(dá)到1030億美元。通過(guò)在物聯(lián)網(wǎng)(IoT)、移動(dòng)性和其他邊緣計(jì)算用例中采用大數(shù)據(jù)分析技術(shù)，大部分市場(chǎng)可以保持未來(lái)幾年的增長(zhǎng)。

未來(lái)十年大數(shù)據(jù)分析發(fā)展的主要趨勢(shì)

正如Wikibon團(tuán)隊(duì)的研究證實(shí)的那樣，未來(lái)十年將推動(dòng)大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢(shì)如下：

公共云提供商正在擴(kuò)大其影響力。大數(shù)據(jù)行業(yè)正圍繞全球三大主要公共云提供商亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺(tái)提供相應(yīng)的產(chǎn)品和服務(wù)，而大多數(shù)軟件供應(yīng)商也在構(gòu)建解決方案。這些和其他大數(shù)據(jù)公共云提供商(包括像IBM和Oracle這樣已進(jìn)入行業(yè)的大數(shù)據(jù)供應(yīng)商)正在提供托管的IaaS和PaaS數(shù)據(jù)湖，鼓勵(lì)客戶和合作伙伴開(kāi)發(fā)新的應(yīng)用程序，并幫助客戶遷移遺留應(yīng)用程序。其結(jié)果是，純粹的數(shù)據(jù)平臺(tái)和NoSQL供應(yīng)商似乎發(fā)展比較平淡，日益被多元化的公共云提供商統(tǒng)治的大型數(shù)據(jù)領(lǐng)域所邊緣化。

與私有云相比，公共云的優(yōu)勢(shì)繼續(xù)擴(kuò)大。公共云正在成為每個(gè)客戶細(xì)分領(lǐng)域首選的大數(shù)據(jù)分析平臺(tái)。這是因?yàn)楣苍平鉀Q方案比內(nèi)部部署堆棧更為成熟，增加了更豐富的功能，而且擁有成本日益增加。公共云正在開(kāi)發(fā)其應(yīng)用程序編程接口生態(tài)系統(tǒng)，并加快他們的管理工具的速度，超過(guò)了為內(nèi)部部署而設(shè)計(jì)的大數(shù)據(jù)分析解決方案。

混合云正在成為企業(yè)大數(shù)據(jù)的過(guò)渡站點(diǎn)，以便在公共云中實(shí)現(xiàn)更全面的部署。混合云是大多數(shù)大型企業(yè)的大數(shù)據(jù)計(jì)劃，但主要是作為一種過(guò)渡戰(zhàn)略。這是因?yàn)樘炱秸谙蚱髽I(yè)傾斜，將更多的大數(shù)據(jù)資產(chǎn)放在公共云上。認(rèn)識(shí)到這一趨勢(shì)，傳統(tǒng)大數(shù)據(jù)供應(yīng)商正在針對(duì)混合使用案例優(yōu)化其產(chǎn)品。出于同樣的原因，基于內(nèi)部部署數(shù)據(jù)中心的大數(shù)據(jù)平臺(tái)正在重建架構(gòu)，希望部署在公共云中。

基于云計(jì)算的大數(shù)據(jù)孤島融合正在加快企業(yè)實(shí)現(xiàn)價(jià)值的速度。用戶開(kāi)始加快將孤立的大數(shù)據(jù)資產(chǎn)整合到公共云中的速度。公共云提供商的主導(dǎo)地位正在瓦解困擾企業(yè)私有大數(shù)據(jù)架構(gòu)的跨業(yè)務(wù)孤島。同樣重要的是，基于云計(jì)算和基于內(nèi)部部署的大數(shù)據(jù)解決方案正融合到集成產(chǎn)品中，旨在降低復(fù)雜性，并加快實(shí)現(xiàn)價(jià)值的速度。更多解決方案提供商正在提供標(biāo)準(zhǔn)化的API，以簡(jiǎn)化訪問(wèn)，加速開(kāi)發(fā)，并在整個(gè)大數(shù)據(jù)解決方案堆棧中實(shí)現(xiàn)更全面的管理。

創(chuàng)新型大數(shù)據(jù)初創(chuàng)公司將越來(lái)越復(fù)雜的人工智能應(yīng)用推向市場(chǎng)。創(chuàng)新的應(yīng)用程序提供商開(kāi)始通過(guò)基于人工智能的解決方案顛覆大數(shù)據(jù)的競(jìng)爭(zhēng)格局。來(lái)自新的市場(chǎng)進(jìn)入者的威脅在各個(gè)大數(shù)據(jù)領(lǐng)域都在加速增長(zhǎng)，其中大部分創(chuàng)新都是為公共云或混合云部署而設(shè)計(jì)的。過(guò)去幾年來(lái)，許多新的數(shù)據(jù)庫(kù)、流處理和數(shù)據(jù)科學(xué)初創(chuàng)公司已經(jīng)進(jìn)入市場(chǎng)。

顛覆性大數(shù)據(jù)方法正在成為已建立平臺(tái)的可行替代方案。不久之后，新一代的“獨(dú)角獸”大數(shù)據(jù)平臺(tái)提供商將推出融合了物聯(lián)網(wǎng)、區(qū)塊鏈和流計(jì)算的下一代方法。以上的這些新一代的大數(shù)據(jù)平臺(tái)將管理端到端的DevOps管道機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的優(yōu)化。同時(shí)，大數(shù)據(jù)平臺(tái)正在為邊緣設(shè)備設(shè)計(jì)人工智能微服務(wù)。

Hadoop正在成為大數(shù)據(jù)難題中的一部分。有跡象表明，人們將Hadoop視為一種傳統(tǒng)的大數(shù)據(jù)技術(shù)，而不是顛覆性業(yè)務(wù)應(yīng)用程序的戰(zhàn)略平臺(tái)。盡管如此，Hadoop是一種成熟技術(shù)，廣泛用于許多用戶的IT組織中的關(guān)鍵用例(如非結(jié)構(gòu)化信息提煉)，并且在許多組織中仍然具有很長(zhǎng)的使用壽命?？紤]到這一長(zhǎng)期前景，供應(yīng)商通過(guò)在獨(dú)立開(kāi)發(fā)的硬件和軟件組件之間實(shí)現(xiàn)更平滑的互操作性，不斷提高產(chǎn)品性能。

用戶越來(lái)越多地在開(kāi)放的生態(tài)系統(tǒng)中混合和匹配多供應(yīng)商的大數(shù)據(jù)部署。一些大數(shù)據(jù)供應(yīng)商正在提供包含專有、非標(biāo)準(zhǔn)或非開(kāi)源組件的解決方案?？蛻粽诶卯?dāng)今競(jìng)爭(zhēng)激烈的市場(chǎng)，從大數(shù)據(jù)分析廠商處獲取持續(xù)的增強(qiáng)功能。反過(guò)來(lái)，供應(yīng)商則將他們的工具解耦為模塊化架構(gòu)，客戶可以在各種功能級(jí)別交換組件。對(duì)于希望通過(guò)完整的供應(yīng)商鎖定在過(guò)去的市場(chǎng)中獲得可持續(xù)份額的供應(yīng)商而言，這是最好的方法。

數(shù)據(jù)庫(kù)正在通過(guò)創(chuàng)新方法進(jìn)行解構(gòu)和重組。從架構(gòu)角度來(lái)看，人們以前熟悉的數(shù)據(jù)庫(kù)正在減少。人們正在采用流媒體、內(nèi)存和無(wú)服務(wù)器大數(shù)據(jù)分析基礎(chǔ)架構(gòu)。供應(yīng)商正在探索重新構(gòu)建核心數(shù)據(jù)庫(kù)功能以滿足新興需求的新方法，例如自動(dòng)化機(jī)器學(xué)習(xí)管道和面向邊緣的認(rèn)知物聯(lián)網(wǎng)分析。在這一演變過(guò)程中，隨著更多高性能事務(wù)分析功能集成到各種數(shù)據(jù)平臺(tái)中，分析和應(yīng)用程序數(shù)據(jù)庫(kù)正在融合。此外，數(shù)據(jù)庫(kù)存儲(chǔ)引擎正在成為主要用于機(jī)器數(shù)據(jù)的存儲(chǔ)庫(kù)，可通過(guò)替代結(jié)構(gòu)(例如鍵值索引和對(duì)象模式)進(jìn)行尋址。

數(shù)據(jù)科學(xué)工具鏈的端到端的DevOps管道越來(lái)越自動(dòng)化。大數(shù)據(jù)增強(qiáng)的編程將繼續(xù)增長(zhǎng)。開(kāi)發(fā)人員可以使用越來(lái)越多的DevOps工具來(lái)自動(dòng)化機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和其他人工智能資產(chǎn)的開(kāi)發(fā)、部署和管理中的各種任務(wù)。這些解決方案的范圍越來(lái)越廣泛，甚至利用專門的機(jī)器學(xué)習(xí)算法來(lái)推動(dòng)超參數(shù)調(diào)整等機(jī)器學(xué)習(xí)開(kāi)發(fā)功能的發(fā)展。

打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來(lái)越普及。未來(lái)十年，更多用戶將以預(yù)構(gòu)建、預(yù)培訓(xùn)和模板化云服務(wù)的方式獲得大數(shù)據(jù)分析解決方案。更多的這些服務(wù)將自動(dòng)調(diào)整其嵌入式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能模型，以持續(xù)提供最佳業(yè)務(wù)成果。更多的這些服務(wù)將納入預(yù)先訓(xùn)練的模型，客戶可以調(diào)整和擴(kuò)展到自己的特定需求。

[[222756]]

大數(shù)據(jù)分析的演變和部署障礙

盡管大數(shù)據(jù)分析采用的預(yù)測(cè)看起來(lái)很樂(lè)觀，但仍存在許多持續(xù)性的問(wèn)題，使用戶試圖最大限度地利用這些技術(shù)的投資價(jià)值受到挫折。其中最主要的是：

過(guò)于復(fù)雜。大數(shù)據(jù)分析環(huán)境和應(yīng)用程序仍然過(guò)于復(fù)雜。供應(yīng)商需要繼續(xù)簡(jiǎn)化這些環(huán)境的接口、體系結(jié)構(gòu)、功能和工具。這樣做會(huì)將復(fù)雜的大數(shù)據(jù)分析功能應(yīng)用于主流用戶和開(kāi)發(fā)人員，其中許多人都是缺乏具備必要專業(yè)技能的內(nèi)部IT人員。

繁瑣的開(kāi)銷。對(duì)于一些IT專業(yè)人員來(lái)說(shuō)，大數(shù)據(jù)分析管理和治理流程仍然過(guò)于孤立，成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的工作流程，幫助大型專業(yè)人員團(tuán)隊(duì)更有效、快速和準(zhǔn)確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務(wù)定義。

加強(qiáng)管道的自動(dòng)化處理。大數(shù)據(jù)分析應(yīng)用程序開(kāi)發(fā)和運(yùn)營(yíng)管道仍然過(guò)于耗時(shí)，并耗費(fèi)人力。供應(yīng)商需要加強(qiáng)其工具的自動(dòng)化功能，以確保提高用戶技術(shù)人員的生產(chǎn)力，同時(shí)確保即使是技能較低的人員也能處理復(fù)雜的任務(wù)。

自定義應(yīng)用程序。大數(shù)據(jù)分析專業(yè)服務(wù)對(duì)于開(kāi)發(fā)、部署和管理許多自定義應(yīng)用程序仍然至關(guān)重要。這對(duì)于跨越混合云的數(shù)據(jù)驅(qū)動(dòng)型應(yīng)用程序，涉及不同的平臺(tái)和工具，以及納入難以理解的復(fù)雜數(shù)據(jù)流程尤其如此。供應(yīng)商需要為常用的大數(shù)據(jù)分析應(yīng)用程序加強(qiáng)預(yù)先打包的應(yīng)用程序內(nèi)容，同時(shí)為用戶提供自助服務(wù)的可視化工具，用于指定復(fù)雜的業(yè)務(wù)邏輯，而無(wú)需外部幫助。

對(duì)于企業(yè)IT團(tuán)隊(duì)來(lái)說(shuō)，Wikibon團(tuán)隊(duì)的主要建議是開(kāi)始將更多的大數(shù)據(jù)分析開(kāi)發(fā)工作遷移到公共云環(huán)境中。這將加速企業(yè)利用AWS、微軟、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉產(chǎn)品的能力。企業(yè)應(yīng)該考慮構(gòu)建自己的混合云，以確保在未來(lái)幾年內(nèi)將其業(yè)務(wù)順利過(guò)渡到公共云。