如今，以人工智能、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)為代表的智能化技術(shù)，正逐漸成為各行各業(yè)發(fā)展的新驅(qū)動力。值得強(qiáng)調(diào)的是，在企業(yè)組織中，越來越多機(jī)構(gòu)對大數(shù)據(jù)的重要性越發(fā)受到重視。據(jù)相關(guān)部門統(tǒng)計，大數(shù)據(jù)以及相關(guān)領(lǐng)域在2023年將達(dá)到103億美元以上，顯然我們已經(jīng)成為數(shù)字世界中活躍的分子。

那么，大數(shù)據(jù)究竟如何持續(xù)的影響組織和機(jī)構(gòu)，以及它給這個世界帶來了何種影響，本文特別整理出2021年大數(shù)據(jù)技術(shù)相關(guān)趨勢與關(guān)鍵點，以便大家能夠在快速發(fā)展的數(shù)字化時代抓住機(jī)遇，快人一步。

趨勢一：數(shù)據(jù)融合與數(shù)據(jù)價值挖掘

數(shù)據(jù)融合對于數(shù)據(jù)價值挖掘來說，具有重要的意義。數(shù)據(jù)融合的利用需要標(biāo)準(zhǔn)規(guī)范先行，實現(xiàn)數(shù)據(jù)可見性、數(shù)據(jù)易理解性、數(shù)據(jù)可鏈接性、數(shù)據(jù)可信性、數(shù)據(jù)互操作性、數(shù)據(jù)安全性。數(shù)據(jù)挖掘和AI分析需要面對海量處理能力、云邊端協(xié)同、建模、人與數(shù)據(jù)融合、數(shù)據(jù)自身安全、隱私與商密保護(hù)等挑戰(zhàn)，需要從基礎(chǔ)理論與工程實踐多方面研究數(shù)據(jù)要素價值挖掘的問題，開發(fā)出更多的大數(shù)據(jù)和AI分析技術(shù)。

趨勢二：知識圖譜與決策智能

隨著大數(shù)據(jù)的發(fā)展，企業(yè)和公共機(jī)構(gòu)越來越需要將不同的數(shù)據(jù)進(jìn)行有效鏈接，從而形成新的動態(tài)知識，以輔助企業(yè)和公共機(jī)構(gòu)的決策。這就需要運用圖數(shù)據(jù)庫、圖計算引擎和知識圖譜，而知識圖譜是圖數(shù)據(jù)庫和圖計算引擎的重要應(yīng)用場景。根據(jù)DB-Engines排名分析，圖數(shù)據(jù)庫關(guān)注熱度在2013年到2020年間增長了10倍，遠(yuǎn)遠(yuǎn)高于其它數(shù)據(jù)庫或數(shù)據(jù)引擎。其中，用戶畫像和信用檔案則是知識圖譜的新應(yīng)用場景。

目前，國內(nèi)眾多大型云廠商以及一些初創(chuàng)企業(yè)都在布局圖數(shù)據(jù)庫、圖計算引擎和知識圖譜，特別是知識圖譜已經(jīng)開始深入應(yīng)用到金融、工業(yè)、能源等多個行業(yè)和領(lǐng)域，成為企業(yè)決策的重要技術(shù)平臺與工具。

趨勢三：數(shù)據(jù)處理實現(xiàn)“自治與自我進(jìn)化”

隨著云計算的發(fā)展、數(shù)據(jù)規(guī)模持續(xù)指數(shù)級增長，傳統(tǒng)數(shù)據(jù)處理面臨存儲成本高、集群管理復(fù)雜、計算任務(wù)多樣性等巨大挑戰(zhàn)；面對海量暴增的數(shù)據(jù)規(guī)模以及復(fù)雜多元的處理場景，人工管理和系統(tǒng)調(diào)優(yōu)捉襟見肘。因此，通過智能化方法實現(xiàn)數(shù)據(jù)管理系統(tǒng)的自動優(yōu)化成為未來數(shù)據(jù)處理發(fā)展的必然選擇。人工智能和機(jī)器學(xué)習(xí)手段逐漸被廣泛應(yīng)用于智能化的冷熱數(shù)據(jù)分層、異常檢測、智能建模、資源調(diào)動、參數(shù)調(diào)優(yōu)、壓測生成、索引推薦等領(lǐng)域，有效降低數(shù)據(jù)計算、處理、存儲、運維的管理成本，實現(xiàn)數(shù)據(jù)管理系統(tǒng)的“自治與自我進(jìn)化”。

[[376617]]

數(shù)據(jù)管理系統(tǒng)一直以來是企業(yè)IT架構(gòu)的重要組成部分，隨著物聯(lián)網(wǎng)、云計算技術(shù)的深入發(fā)展和開源生態(tài)的不斷完善，傳統(tǒng)數(shù)據(jù)管理的局限性日益凸顯，存儲容量有限導(dǎo)致公司無法長時間存儲和管理海量數(shù)據(jù)集，元數(shù)據(jù)來源廣泛、種類繁多，具有多源、異構(gòu)的特點，這使其在管理上面臨數(shù)據(jù)匯聚、集成、存儲和檢索成本高的問題；另一方面計算資源匱乏，缺乏統(tǒng)一管理接口和大數(shù)據(jù)處理環(huán)境所需的可伸縮、可拓展的靈活性和高效性。數(shù)據(jù)管理系統(tǒng)需要承擔(dān)更加復(fù)雜的多租戶、多任務(wù)下的執(zhí)行工作，人工手動管理和運維再也無法有效應(yīng)對海量多源異構(gòu)的數(shù)據(jù)規(guī)模和豐富復(fù)雜的數(shù)據(jù)處理場景帶來的問題和挑戰(zhàn)。

傳統(tǒng)模式下，系統(tǒng)超載、資源消耗過剩不僅要影響到其他正常運行的系統(tǒng)作業(yè)，而且需要大量的人力資源進(jìn)行系統(tǒng)排查和糾正，難以確保系統(tǒng)有效率的運行狀態(tài)。因此通過智能化方式實現(xiàn)數(shù)據(jù)管理系統(tǒng)的升級優(yōu)化將成為未來數(shù)據(jù)計算與處理的必然趨勢。將系統(tǒng)技術(shù)與人工智能技術(shù)相結(jié)合，利用機(jī)器學(xué)習(xí)算法在數(shù)據(jù)倉庫與數(shù)據(jù)庫系統(tǒng)管理、資源調(diào)度、引擎優(yōu)化、壓測生成等各個方面進(jìn)行數(shù)據(jù)系統(tǒng)的自我管理，人工智能將充分嵌入到數(shù)據(jù)處理的整個生命周期，幫助提高數(shù)據(jù)查詢的效率，提升整體資源調(diào)度的優(yōu)化性。

同時，系統(tǒng)技術(shù)也將更多地輔助人工智能的深度發(fā)展，在大規(guī)模多樣化數(shù)據(jù)集上進(jìn)行高效的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)優(yōu)化分析的模型選擇、元參數(shù)搜索、自動化的元數(shù)據(jù)學(xué)習(xí)、非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)融合處理等工作，從而幫助系統(tǒng)變得更加智能、安全和可靠。

趨勢四：數(shù)據(jù)中臺成未來發(fā)展熱點

2020年，納斯達(dá)克漲幅較大的企業(yè)，多集中在“Big Five”中谷歌、Facebook、蘋果等5大數(shù)字化企業(yè)，其他企業(yè)基本沒有變化。可見，在今天所有巨大的不確定中，只有數(shù)字化是確定的。而利用好大數(shù)據(jù)技術(shù)，掌握以數(shù)據(jù)為驅(qū)動的理念，則成為企業(yè)走上數(shù)字化道路的必然選擇，因為高效的商業(yè)模式必將取代低效的商業(yè)模式。

企業(yè)想要通過數(shù)字化運營制定出更好的競爭與運營策略，幫助其在激烈的競爭中取得優(yōu)勢，并在此過程中為企業(yè)創(chuàng)造出真正的價值。數(shù)據(jù)中臺則能夠幫助企業(yè)提升運營模式和實現(xiàn)數(shù)據(jù)驅(qū)動IT構(gòu)架，即時洞察經(jīng)營過程，快速反應(yīng)市場變化，實現(xiàn)精準(zhǔn)營銷，快速推出適應(yīng)市場需求的產(chǎn)品，從而實現(xiàn)數(shù)字化順利且快速的轉(zhuǎn)型。

趨勢五：云原生重塑IT技術(shù)體系

在傳統(tǒng)開發(fā)環(huán)境里，漫長的產(chǎn)品開發(fā)、測試和上線周期，不穩(wěn)定的產(chǎn)品研發(fā)效能是企業(yè)IT領(lǐng)導(dǎo)者和開發(fā)人士面臨的核心問題和挑戰(zhàn)，同時在應(yīng)用程序的部署過程中，軟、硬件環(huán)境等基礎(chǔ)設(shè)施的技術(shù)復(fù)雜性很大程度束縛開發(fā)人員對于業(yè)務(wù)實現(xiàn)的生產(chǎn)力，受制于數(shù)據(jù)庫、數(shù)據(jù)中心、操作系統(tǒng)等傳統(tǒng)架構(gòu)的局限性，制定的業(yè)務(wù)解決方案需要不斷妥協(xié)與折中，效能也可能大打折扣。

[[376618]]

以容器、k8s、ServiceMesh、Severless為代表的云原生技術(shù)將充分沿用云計算的設(shè)計理念，全面利用分布式、可拓展、靈活性的云計算架構(gòu)，達(dá)到毫秒級別的極致彈性能力，從而應(yīng)對業(yè)務(wù)突發(fā)場景；同時基于云原生平臺系統(tǒng)高度自動化的資源編排調(diào)度機(jī)制，實現(xiàn)應(yīng)用的可拓展和易維護(hù)，通過微服務(wù)助力應(yīng)用敏捷開發(fā)，進(jìn)而大幅降低業(yè)務(wù)的試錯成本，提升業(yè)務(wù)應(yīng)用的部署和迭代速度。另一方面，云原生將網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、業(yè)務(wù)流程等基礎(chǔ)架構(gòu)層高度抽象化，更高效地應(yīng)用和管理異構(gòu)硬件和異構(gòu)環(huán)境下的各類云計算資源，向上支撐多種負(fù)載，包括大數(shù)據(jù)計算、區(qū)塊鏈、人工智能等創(chuàng)新性的服務(wù)，高效解決部署一致性問題，并極大地降低云服務(wù)的使用門檻，讓開發(fā)者只需關(guān)注業(yè)務(wù)邏輯本身并最大程度回歸到應(yīng)用程序的開發(fā)環(huán)節(jié)，專注于用戶服務(wù)和商業(yè)價值的創(chuàng)造過程，從而幫助企業(yè)實現(xiàn)快速創(chuàng)新。

云原生將重塑IT技術(shù)的全鏈路體系，在開發(fā)、測試、上線、運維、監(jiān)控和升級等環(huán)節(jié)中形成新的技術(shù)標(biāo)準(zhǔn)，通過技術(shù)生態(tài)推動整個云計算的標(biāo)準(zhǔn)化，使大規(guī)模、可復(fù)制的跨區(qū)域、跨平臺和跨集群的部署能力成為可能，將更多敏捷、分布式、可擴(kuò)展的技術(shù)紅利帶給企業(yè)和開發(fā)者。

趨勢六：大數(shù)據(jù)推動健康革命

新冠肺炎的流行作為導(dǎo)火索，需要更多的技術(shù)手段來解決健康這一課題。一場由大數(shù)據(jù)推動的健康革命即將到來，在新的一年里，我們將看到它開始發(fā)揮更多實際價值。

[[376619]]

由此，大數(shù)據(jù)逐漸成為解決健康相關(guān)問題的切實方法，人們欣喜的看到這些努力正在變成積極的成果。

最近，Google的深度學(xué)習(xí)項目Deepmind的重大技術(shù)飛躍，預(yù)計它將對醫(yī)療健康行業(yè)進(jìn)行徹底變革。通過Deepminnd的AlphaFold項目，它能夠解決生物學(xué)的最大挑戰(zhàn)：它成功地從蛋白質(zhì)氨基酸序列中，確定了蛋白質(zhì)的三維形狀，解決了一個50余年的生物學(xué)難題，比科學(xué)家預(yù)想的解決方案提早了幾十年，而且超過了其它一百多個研發(fā)小組。

此項突破意味著醫(yī)學(xué)的突破性進(jìn)展，可能會給藥物制造帶來突破性解決方案，包括對人類疾病比如癌癥、癡呆、傳染病等。

趨勢七：增強(qiáng)數(shù)據(jù)分析已經(jīng)成為主流

數(shù)字化與增強(qiáng)數(shù)據(jù)分析的趨勢越發(fā)明顯，一個主流挑戰(zhàn)是大數(shù)據(jù)市場正在不斷增長，數(shù)據(jù)集合變得如此之大，處理和解釋它是現(xiàn)在的一項重大挑戰(zhàn)。

[[376620]]

增強(qiáng)分析通過使用機(jī)器學(xué)習(xí)與人工智能技術(shù)，對數(shù)據(jù)進(jìn)行自動化準(zhǔn)備、清洗、共享以及分析數(shù)據(jù)，并解決問題。做過數(shù)據(jù)分析的開發(fā)者應(yīng)該知道，這本質(zhì)是將海量數(shù)據(jù)轉(zhuǎn)換拆分為小顆粒度并可分析的數(shù)據(jù)集合。

增強(qiáng)分析將在2021年正式成為主流技術(shù)趨勢，到2025年，增強(qiáng)數(shù)據(jù)分析市場的復(fù)合年增長率將會達(dá)31.2%。Gartner數(shù)據(jù)表示，在2021年，增強(qiáng)分析將成為商業(yè)智能（BI）的主流驅(qū)動力量。

趨勢八：增加對圖表的關(guān)注

據(jù)Gartner表示，知識圖譜作為五大新興技術(shù)趨勢之一，它可以彌合人與機(jī)器之間的鴻溝。根據(jù)Dataversity對的知識圖譜定義，即幫助捕獲很多不同概念的數(shù)據(jù)資產(chǎn)；協(xié)調(diào)捕獲數(shù)據(jù)并標(biāo)準(zhǔn)化數(shù)據(jù)分類；通過統(tǒng)一捕獲數(shù)據(jù)來顯示關(guān)系。

隨著數(shù)據(jù)集的不斷擴(kuò)大，數(shù)據(jù)也變得越來越難以分析和理解，知識圖譜因此顯示出其價值所在。知識圖譜是將對象、概念和事件彼此關(guān)聯(lián)描述的集合，這些描述通過鏈接和語義元數(shù)據(jù)方法，為創(chuàng)建數(shù)據(jù)提供更良好的上下文體系，這樣可以更方便的分析、集成、共享和統(tǒng)一數(shù)據(jù)。在資源描述框架中，知識圖譜提供了一個框架，可以方便地表示各種類型的數(shù)據(jù)，并具有互操作性和標(biāo)準(zhǔn)化。

趨勢九：數(shù)據(jù)安全熱度持續(xù)上升

大數(shù)據(jù)、數(shù)字經(jīng)濟(jì)要通過相應(yīng)的法律制度以及相關(guān)措施來保障健康發(fā)展。

一是改變計算方式，邊計算邊保護(hù)；

二是構(gòu)建免疫系統(tǒng)，改變安全體系結(jié)構(gòu)；

三是網(wǎng)絡(luò)系統(tǒng)安全要構(gòu)建“安全辦公室”“警衛(wèi)室”“安全快遞”這“三重”防護(hù)框架；

四是對人的操作訪問策略四要素(主體、客體、操作、環(huán)境)進(jìn)行動態(tài)可信度量、識別和控制；

五是對“風(fēng)險分析、準(zhǔn)確定級”“評審備案、規(guī)范建設(shè)”“感知預(yù)警、應(yīng)急反制”“嚴(yán)格測評、整頓完善”等環(huán)節(jié)進(jìn)行全程管控，技管并重；

六是達(dá)到非授權(quán)者重要信息拿不到、系統(tǒng)和信息改不了、攻擊行為賴不掉、攻擊者進(jìn)不去、竊取保密信息看不懂、系統(tǒng)工作癱不成等“六不”防護(hù)效果。

趨勢十：數(shù)據(jù)控制備受關(guān)注

現(xiàn)在企業(yè)生成、存儲和移動的數(shù)據(jù)比以往任何時候都要多。AI和ML等相關(guān)技術(shù)需要大量數(shù)據(jù)進(jìn)行分析和關(guān)聯(lián)，以開發(fā)業(yè)務(wù)和IT智能。但是，企業(yè)必須謹(jǐn)慎管理這些不斷增長的海量數(shù)據(jù)，以限制容量，確保及時性、防止更改或刪除，以及最大程度地減少跨網(wǎng)絡(luò)的移動。專家預(yù)計，到2022年70%的數(shù)據(jù)將源自數(shù)據(jù)中心外，這是艱巨的挑戰(zhàn)。這里的問題不在于數(shù)據(jù)量，真正的問題在于數(shù)據(jù)管理、數(shù)據(jù)保護(hù)（需要遵循業(yè)務(wù)和法規(guī)要求）以及數(shù)據(jù)移動，從數(shù)據(jù)源到應(yīng)用程序，可處理數(shù)據(jù)以為業(yè)務(wù)獲得有意義的結(jié)果。

目前有兩種主要方法可以解決數(shù)據(jù)管理問題。第一，企業(yè)必須投資于更大更快的網(wǎng)絡(luò)連接，以便根據(jù)需要在主數(shù)據(jù)中心之間來回移動遠(yuǎn)程數(shù)據(jù)。第二，IT團(tuán)隊?wèi)?yīng)部署數(shù)據(jù)精簡工作流，并在邊緣執(zhí)行更多的數(shù)據(jù)分析和處理，并且僅將經(jīng)過預(yù)處理或分析的數(shù)據(jù)集返回給主數(shù)據(jù)中心。