2021大數(shù)據(jù)5大趨勢(shì),值得關(guān)注!
自2014年“大數(shù)據(jù)”首次進(jìn)入政府工作報(bào)告,中國(guó)市場(chǎng)就開始了一場(chǎng)大數(shù)據(jù)的“淘數(shù)”熱。2015年開始的中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)(簡(jiǎn)稱:數(shù)博會(huì))到2020年新冠疫情期間的“永不落幕的數(shù)博會(huì)”,經(jīng)過(guò)歷時(shí)5年6屆數(shù)博會(huì)的洗禮,已經(jīng)把“大數(shù)據(jù)”的觀念推廣到街頭巷尾。而在過(guò)去的5年間,中國(guó)的大數(shù)據(jù)技術(shù)產(chǎn)業(yè)也已經(jīng)蓬勃而起,形成了強(qiáng)有力的技術(shù)支撐體系——根據(jù)中國(guó)信通院,截止2020年10月我國(guó)活躍大數(shù)據(jù)企業(yè)超過(guò)3000余家。
經(jīng)過(guò)5年的發(fā)展,如今“大數(shù)據(jù)”已經(jīng)走單純的技術(shù)架構(gòu)和技術(shù)體系,走向了社會(huì)基礎(chǔ)設(shè)施。2020年“新基建”就將“大數(shù)據(jù)中心”定義為數(shù)字新基礎(chǔ)設(shè)施的重要建設(shè)內(nèi)容。2020年底,上海市發(fā)布了《關(guān)于全面推進(jìn)上海城市數(shù)字化轉(zhuǎn)型的意見》,鮮明提出要“再造數(shù)字時(shí)代的社會(huì)運(yùn)轉(zhuǎn)流程”,特別是引導(dǎo)企業(yè)實(shí)現(xiàn)基于數(shù)據(jù)的“決策革命”,引導(dǎo)市場(chǎng)重塑數(shù)字時(shí)代的認(rèn)知能力與思維模式,推動(dòng)政府以數(shù)據(jù)驅(qū)動(dòng)流程再造。
然而,根據(jù)中國(guó)信通院的《大數(shù)據(jù)白皮書(2020)》:企業(yè)運(yùn)營(yíng)中的數(shù)據(jù)只有56%能夠被及時(shí)捕獲,而這其中僅有57%的數(shù)據(jù)得到了利用、43%的采集數(shù)據(jù)并沒(méi)有被激活,也就是說(shuō)僅有32%的企業(yè)數(shù)據(jù)價(jià)值能夠被激活。雖然未來(lái)兩年,企業(yè)數(shù)據(jù)將以42.2%的速度保持高速增長(zhǎng),但如何激活數(shù)據(jù)價(jià)值、真正從大數(shù)據(jù)中“淘金”,成為2021年大數(shù)據(jù)的重中之重。
數(shù)據(jù)融合與數(shù)據(jù)價(jià)值挖掘
數(shù)據(jù)融合對(duì)于數(shù)據(jù)價(jià)值挖掘來(lái)說(shuō),具有重要的意義。中國(guó)工程院院士鄔賀銓在“永不落幕的數(shù)博會(huì)”2020系列活動(dòng)——“大數(shù)據(jù)產(chǎn)業(yè)生態(tài)創(chuàng)新發(fā)展高峰會(huì)”上表示,數(shù)據(jù)融合利用需要標(biāo)準(zhǔn)規(guī)范先行,實(shí)現(xiàn)數(shù)據(jù)可見性、數(shù)據(jù)易理解性、數(shù)據(jù)可鏈接性、數(shù)據(jù)可信性、數(shù)據(jù)互操作性、數(shù)據(jù)安全性。同時(shí),數(shù)據(jù)的融合利用面臨著建立數(shù)學(xué)模型的挑戰(zhàn),大數(shù)據(jù)挖掘面臨算力與算法、數(shù)據(jù)樣本準(zhǔn)確性、小數(shù)據(jù)、人與數(shù)據(jù)融合的挑戰(zhàn)。
鄔賀銓認(rèn)為,在智慧城市管理與工業(yè)互聯(lián)網(wǎng)中有很多需要數(shù)據(jù)融合應(yīng)用的場(chǎng)景,多元異構(gòu)的數(shù)據(jù)融合將盤活數(shù)據(jù),通過(guò)數(shù)據(jù)挖掘開發(fā)數(shù)據(jù)價(jià)值,發(fā)揮數(shù)據(jù)作為生產(chǎn)要素的作用。數(shù)據(jù)挖掘和AI分析需要面對(duì)海量處理能力、云邊端協(xié)同、建模、小數(shù)據(jù)、人與數(shù)據(jù)融合、數(shù)據(jù)自身安全、隱私與商密保護(hù)等的挑戰(zhàn),需要從基礎(chǔ)理論與工程實(shí)踐多方面研究數(shù)據(jù)要素價(jià)值挖掘的問(wèn)題,開發(fā)出更多的大數(shù)據(jù)和AI分析技術(shù)。
在跨企業(yè)數(shù)據(jù)融合時(shí),還要保證數(shù)據(jù)能共享但敏感數(shù)據(jù)不外泄,需要建立新的數(shù)據(jù)隔空分析機(jī)制,以虛擬的黑箱使得數(shù)據(jù)既不脫離所在單位的管理又能被授權(quán)的其他單位調(diào)用,現(xiàn)有基于黑盒子的可信計(jì)算環(huán)境方式,但仍需證明第三方的可靠性。
在創(chuàng)新數(shù)據(jù)流通技術(shù)手段方面,聯(lián)邦學(xué)習(xí)是一種重要的機(jī)器學(xué)習(xí)框架。聯(lián)邦學(xué)習(xí)是針對(duì)“數(shù)據(jù)孤島”和數(shù)據(jù)共享中的隱私安全問(wèn)題而提出的機(jī)器學(xué)習(xí)框架,傳統(tǒng)的方式是需要將數(shù)據(jù)硬拷貝移動(dòng)到授信的第三方,而聯(lián)邦學(xué)習(xí)則希望達(dá)到各個(gè)企業(yè)和機(jī)構(gòu)的自有數(shù)據(jù)不出本地,通過(guò)加密機(jī)制下的參數(shù)交換方式,建立一個(gè)虛擬的共有模型,數(shù)據(jù)本身不移動(dòng)也不泄露隱私或影響數(shù)據(jù)合規(guī)。
數(shù)據(jù)敏捷型經(jīng)濟(jì)體
世界各國(guó)都在加強(qiáng)發(fā)展大數(shù)據(jù),推出國(guó)家級(jí)數(shù)據(jù)戰(zhàn)略,探索數(shù)據(jù)發(fā)展之路。其中,歐盟的數(shù)據(jù)戰(zhàn)略極具體代表性。由于歐盟是由20余個(gè)國(guó)家所組成的經(jīng)濟(jì)聯(lián)合體,歐盟所制訂的各類政策對(duì)于其它單一國(guó)家或經(jīng)濟(jì)體來(lái)說(shuō),更前瞻性考慮到不同市場(chǎng)、國(guó)家和區(qū)域之間的協(xié)同、平衡和包容性,也更具有代表意義。
根據(jù)中國(guó)信通院《大數(shù)據(jù)白皮書(2020)》,歐盟為了應(yīng)對(duì)未來(lái)發(fā)展而致力于平衡數(shù)據(jù)流動(dòng)與廣泛使用,希望通過(guò)建立單一的數(shù)據(jù)市場(chǎng),確保歐洲在未來(lái)的數(shù)據(jù)經(jīng)濟(jì)中占據(jù)領(lǐng)先地位。2020年2月,歐盟委員會(huì)公布了《歐盟數(shù)據(jù)戰(zhàn)略》,對(duì)歐盟數(shù)據(jù)發(fā)展提出了明確的愿景目標(biāo)——2030年歐洲將成為世界上最具吸引力、最安全、最具活力的數(shù)據(jù)敏捷型經(jīng)濟(jì)體。即在保持高度的隱私、安全和道德標(biāo)準(zhǔn)的前提下,充分發(fā)掘數(shù)據(jù)利用的價(jià)值造福經(jīng)濟(jì)社會(huì),并確保每個(gè)人能從數(shù)據(jù)紅利中受益。
2020年5月,赫爾辛基歐盟辦公室成員組織(Helsinki EU Office members)聯(lián)合發(fā)布了《數(shù)據(jù)敏捷型經(jīng)濟(jì):從被動(dòng)到主動(dòng)式,更好的服務(wù)社會(huì)》白皮書2.0版本,建議了從被動(dòng)利用數(shù)據(jù)向主動(dòng)利用數(shù)據(jù)而轉(zhuǎn)型的立法框架:創(chuàng)新型跨部門利用數(shù)據(jù),從而在更高效、主動(dòng)和個(gè)性化公共服務(wù)中起到主要作用;不同生態(tài)伙伴之間的緊密合作,包括公共機(jī)構(gòu)、RDI組織、私營(yíng)企業(yè)和NGO非營(yíng)利性機(jī)構(gòu),對(duì)釋放數(shù)字化轉(zhuǎn)型潛力起到關(guān)鍵作用;讓每個(gè)人都可以按自己的方式使用和利用個(gè)人數(shù)據(jù),從而為個(gè)人帶來(lái)收益以及為社會(huì)貢獻(xiàn);通過(guò)更好的數(shù)據(jù)管理和更高水平的數(shù)據(jù)文化及數(shù)字技能,實(shí)現(xiàn)數(shù)據(jù)信任和民眾的賦能。
知識(shí)圖譜與決策智能
隨著大數(shù)據(jù)的發(fā)展,企業(yè)和公共機(jī)構(gòu)越來(lái)越需要將不同的數(shù)據(jù)進(jìn)行有效鏈接,從而形成新的動(dòng)態(tài)知識(shí),以輔助企業(yè)和公共機(jī)構(gòu)的決策。這就需要運(yùn)用圖數(shù)據(jù)庫(kù)、圖計(jì)算引擎和知識(shí)圖譜,其中知識(shí)圖譜是圖數(shù)據(jù)庫(kù)和圖計(jì)算引擎的重要應(yīng)用場(chǎng)景。根據(jù)DB-Engines排名分析,圖數(shù)據(jù)庫(kù)關(guān)注熱度在2013年到2020年間增長(zhǎng)了10倍,關(guān)注度增長(zhǎng)排名第一,遠(yuǎn)遠(yuǎn)高于其它數(shù)據(jù)庫(kù)或數(shù)據(jù)引擎。用戶畫像和信用檔案等,是知識(shí)圖譜的新應(yīng)用場(chǎng)景。
滿幫集團(tuán)是一家崛起于貴州的大數(shù)據(jù)獨(dú)角獸企業(yè)。滿幫是一家公路物流領(lǐng)域的智能運(yùn)力平臺(tái),連接貨車司機(jī)及貨主雙端用戶,通過(guò)大數(shù)據(jù)的智能推薦幫助雙方快速完成運(yùn)輸交易,提高運(yùn)輸效率,減少交易成本,降低貨車空駛率。2020年11月底,繼2018年19億美元融資后,滿幫宣布完成約17億美元新一輪融資。截至2020年11月,滿幫平臺(tái)認(rèn)證司機(jī)超過(guò)1000萬(wàn),認(rèn)證貨主超過(guò)500萬(wàn)。
物流行業(yè)是一個(gè)信用體系并不很健全的行業(yè),此前每成交四個(gè)交易就會(huì)發(fā)生一起糾紛,糾紛成本非常高。滿幫建立了一個(gè)梵高系統(tǒng),為每一個(gè)用戶、司機(jī)、貨主都建立了信用檔案畫像,囊括了200多個(gè)維度的指標(biāo),同時(shí)建立失信黑名單,與國(guó)家發(fā)改委和國(guó)家信息中心“信用中國(guó)”系統(tǒng)聯(lián)通,實(shí)施聯(lián)合懲戒,還被納入央行征信系統(tǒng),為卡車司機(jī)打造“第二張身份證”,將行業(yè)糾紛率由25%下降到3%。
目前,國(guó)內(nèi)的阿里云、華為、騰訊、百度等大型云廠商以及一些初創(chuàng)企業(yè)都在布局圖數(shù)據(jù)庫(kù)、圖計(jì)算引擎和知識(shí)圖譜,特別是知識(shí)圖譜已經(jīng)開始深入應(yīng)用到金融、工業(yè)、能源等多個(gè)行業(yè)和領(lǐng)域。知識(shí)圖譜正在成為企業(yè)決策的重要技術(shù)平臺(tái)與工具。
產(chǎn)業(yè)物聯(lián)網(wǎng)提速
物聯(lián)網(wǎng)是大數(shù)據(jù)的一個(gè)重要來(lái)源。傳統(tǒng)觀念認(rèn)為消費(fèi)物聯(lián)網(wǎng)是物聯(lián)網(wǎng)大數(shù)據(jù)的主要來(lái)源,但隨著產(chǎn)業(yè)物聯(lián)網(wǎng)的飛速發(fā)展,產(chǎn)業(yè)物聯(lián)網(wǎng)正在超越消費(fèi)物聯(lián)網(wǎng)而成為物聯(lián)網(wǎng)大數(shù)據(jù)的主要來(lái)源。根據(jù)中國(guó)信通院《物聯(lián)網(wǎng)白皮書(2020)》,隨著物聯(lián)網(wǎng)加速向各行業(yè)滲透,行業(yè)的信息化和聯(lián)網(wǎng)水平不斷提升,產(chǎn)業(yè)物聯(lián)網(wǎng)連接數(shù)占比將提速。
據(jù)GSMA Intelligence預(yù)測(cè),產(chǎn)業(yè)物聯(lián)網(wǎng)設(shè)備的聯(lián)網(wǎng)數(shù)將在2024年超過(guò)消費(fèi)物聯(lián)網(wǎng)的設(shè)備數(shù)。在中國(guó),2019年中國(guó)物聯(lián)網(wǎng)連接數(shù)中,產(chǎn)業(yè)物聯(lián)網(wǎng)與消費(fèi)者市場(chǎng)各占一半,預(yù)計(jì)到2025年中國(guó)物聯(lián)網(wǎng)連接數(shù)的大部分增長(zhǎng)來(lái)自產(chǎn)業(yè)市場(chǎng),產(chǎn)業(yè)物聯(lián)網(wǎng)的連接數(shù)將占到總體的61.2%。智慧工業(yè)、智慧交通、智慧健康、智慧能源等領(lǐng)域,將最有可能成為產(chǎn)業(yè)物聯(lián)網(wǎng)連接數(shù)增長(zhǎng)最快的領(lǐng)域。
產(chǎn)業(yè)物聯(lián)網(wǎng)的大數(shù)據(jù)處理涉及到邊緣計(jì)算。市場(chǎng)調(diào)研機(jī)構(gòu)IDC預(yù)測(cè),未來(lái)超過(guò)50%的數(shù)據(jù)需要在邊緣側(cè)進(jìn)行存儲(chǔ)、分析、計(jì)算,到2024年全球邊緣計(jì)算市場(chǎng)將達(dá)到2506億美元。在中國(guó)市場(chǎng),2020新基建中的5G、AI、智慧交通、新能源汽車充電樁、工業(yè)互聯(lián)網(wǎng)等都是與邊緣計(jì)算相關(guān)的技術(shù)或場(chǎng)景。
根據(jù)2020年12月由邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟(ECC)與工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟(AII)聯(lián)合發(fā)布的《邊緣計(jì)算與云計(jì)算協(xié)同白皮書2.0》,運(yùn)用AI技術(shù)進(jìn)行邊緣數(shù)據(jù)處理正在面臨挑戰(zhàn):AR、VR、互動(dòng)直播、視頻監(jiān)控等場(chǎng)景下非結(jié)構(gòu)化數(shù)據(jù)為主,挑戰(zhàn)在于數(shù)據(jù)量大、資源用量大、實(shí)時(shí)要求高、數(shù)據(jù)標(biāo)注困難等;工業(yè)場(chǎng)景下IoT結(jié)構(gòu)化數(shù)據(jù)為主,挑戰(zhàn)在于樣本少、冷啟動(dòng)和要求模型可解釋和可靠性。邊云協(xié)同AI框架的關(guān)鍵技術(shù)包括:增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、聯(lián)合推理等。
數(shù)據(jù)安全熱度持續(xù)上升
數(shù)據(jù)共享與流通是釋放數(shù)據(jù)價(jià)值的重要方向。中國(guó)工程院院士沈昌祥在“永不落幕的數(shù)博會(huì)”2020系列活動(dòng)——“大數(shù)據(jù)產(chǎn)業(yè)生態(tài)創(chuàng)新發(fā)展高峰會(huì)”上作了《用主動(dòng)免疫可信計(jì)算保障數(shù)字經(jīng)濟(jì)高質(zhì)健康發(fā)展》主題演講。他表示,數(shù)據(jù)“科學(xué)”發(fā)展經(jīng)歷了數(shù)值計(jì)算、數(shù)據(jù)工程、數(shù)字社會(huì)的過(guò)程。網(wǎng)絡(luò)空間已經(jīng)成為繼陸、海、空、天之后的第五大主權(quán)領(lǐng)域空間,沒(méi)有網(wǎng)絡(luò)安全就沒(méi)有國(guó)家安全。
大數(shù)據(jù)、數(shù)字經(jīng)濟(jì)要通過(guò)相應(yīng)的法律制度以及相關(guān)措施來(lái)保障健康發(fā)展。一是改變計(jì)算方式,邊計(jì)算邊保護(hù);二是構(gòu)建免疫系統(tǒng),改變安全體系結(jié)構(gòu);三是網(wǎng)絡(luò)系統(tǒng)安全要構(gòu)建“安全辦公室”“警衛(wèi)室”“安全快遞”這“三重”防護(hù)框架;四是對(duì)人的操作訪問(wèn)策略四要素(主體、客體、操作、環(huán)境)進(jìn)行動(dòng)態(tài)可信度量、識(shí)別和控制;五是對(duì)“風(fēng)險(xiǎn)分析、準(zhǔn)確定級(jí)”“評(píng)審備案、規(guī)范建設(shè)”“感知預(yù)警、應(yīng)急反制”“嚴(yán)格測(cè)評(píng)、整頓完善”等環(huán)節(jié)進(jìn)行全程管控,技管并重;六是達(dá)到非授權(quán)者重要信息拿不到、系統(tǒng)和信息改不了、攻擊行為賴不掉、攻擊者進(jìn)不去、竊取保密信息看不懂、系統(tǒng)工作癱不成等“六不”防護(hù)效果。
中國(guó)信通院《大數(shù)據(jù)白皮書(2020)》還指出:基于隱私計(jì)算的數(shù)據(jù)流通技術(shù)成為實(shí)現(xiàn)數(shù)據(jù)聯(lián)合計(jì)算的主要思路。在數(shù)據(jù)合規(guī)流通需求旺盛的環(huán)境下,隱私計(jì)算技術(shù)發(fā)展火熱。隱私計(jì)算在保護(hù)數(shù)據(jù)本身不對(duì)外泄露的前提下,實(shí)現(xiàn)了數(shù)據(jù)融合,為安全合規(guī)的數(shù)據(jù)流通帶來(lái)了可能。
總結(jié)而言:
進(jìn)入2021年,大數(shù)據(jù)已經(jīng)從單純的技術(shù)體系,向著與實(shí)體經(jīng)濟(jì)結(jié)合、真正挖掘和發(fā)揮數(shù)據(jù)價(jià)值的方向發(fā)展。特別是新冠疫情和新基建,加速了大數(shù)據(jù)與實(shí)體社會(huì)基礎(chǔ)設(shè)施的快速融合,而5G與物聯(lián)網(wǎng)等的快速發(fā)展也進(jìn)一步加大了大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)的深度融合。隨著數(shù)博會(huì)即將進(jìn)入第6個(gè)年頭,大數(shù)據(jù)將真正深入到社會(huì)經(jīng)濟(jì)的方方面面,推進(jìn)下一輪經(jīng)濟(jì)長(zhǎng)周期。