大數(shù)據(jù)正在遭遇成長(zhǎng)的煩惱
為期兩天的“2018大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)”在北京國(guó)家會(huì)議中心召開。本次會(huì)議由中國(guó)信息通信研究院主辦,旨在進(jìn)一步落實(shí)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》和《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》,支撐大數(shù)據(jù)國(guó)家戰(zhàn)略落地,展示大數(shù)據(jù)產(chǎn)業(yè)發(fā)展成果,探討發(fā)展面臨重大問(wèn)題,推動(dòng)產(chǎn)業(yè)交流與合作。
中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)何寶宏在首日會(huì)議上作了題為“預(yù)見大數(shù)據(jù)的2018”主題報(bào)告,以下為演講實(shí)錄:
大數(shù)據(jù)遭遇成長(zhǎng)的煩惱
從2011年至今約7年的時(shí)間,大數(shù)據(jù)正在遭遇成長(zhǎng)的煩惱。歐盟5月份實(shí)施GDPR通用數(shù)據(jù)保護(hù)規(guī)則,核心是個(gè)人隱私數(shù)據(jù)保護(hù),要求用戶明確同意授予數(shù)據(jù)的流動(dòng)權(quán)。最近的大數(shù)據(jù)在殺熟,F(xiàn)acebook遭遇的窘境,包括今日頭條也正遭遇窘境。7年了,大數(shù)據(jù)必須進(jìn)行方向性的調(diào)整。
這是又一個(gè)三角困境,技術(shù)上追求很多目標(biāo)時(shí),目標(biāo)之間容易出現(xiàn)沖突。尤其數(shù)據(jù)方面,個(gè)人隱私、國(guó)家安全、便利性三者不可兼得,只能選擇兩個(gè)。2013年奧巴馬講到,不可能既享有100%的安全,又享有100%的隱私,同時(shí)沒有絲毫的不便,我們不得不做出選擇。大數(shù)據(jù)也需要做出選擇,二選一時(shí)會(huì)發(fā)生一些調(diào)整。
這些事件意味著什么?短期看,說(shuō)明一些大數(shù)據(jù)應(yīng)用真正落地。如果大數(shù)據(jù)在用戶畫像及營(yíng)銷沒有落地,這些事情不會(huì)發(fā)生。這也反向證明大數(shù)據(jù)真的已經(jīng)成功應(yīng)用,所以才能出現(xiàn)問(wèn)題。幾年前搞云計(jì)算時(shí)說(shuō)可靠性不行,我說(shuō)恰恰說(shuō)明是人們開始廣泛使用云計(jì)算,要不然不會(huì)關(guān)心這些問(wèn)題。中期看,保護(hù)個(gè)人隱私必然是未來(lái)3年或更長(zhǎng)時(shí)間內(nèi)的重中之重,全行業(yè)必須團(tuán)結(jié)起來(lái),為保護(hù)用戶隱私制定規(guī)則,這也需要恰當(dāng)?shù)丶夹g(shù)手段提供支持。長(zhǎng)期看,最近一系列事件的爆發(fā)是不是意味著已經(jīng)使用20多年的互聯(lián)網(wǎng)免費(fèi)模式宣告終結(jié)??峙逻@是更大的議題,免費(fèi)模式都是以用戶數(shù)據(jù)換取用戶服務(wù)的便利性。
大數(shù)據(jù)行業(yè)正在回歸理性
個(gè)人判斷,行業(yè)發(fā)展需要調(diào)整變化。從過(guò)去7年時(shí)間強(qiáng)調(diào)技術(shù)、發(fā)展,下一步更多的關(guān)注合規(guī)、隱私保護(hù)、安全。任何產(chǎn)業(yè)發(fā)展到第二階段必須要強(qiáng)調(diào)關(guān)注合規(guī)性、安全及隱私問(wèn)題,早期會(huì)重點(diǎn)關(guān)心技術(shù)與發(fā)展?,F(xiàn)在,正在從幾年來(lái)高估大數(shù)據(jù)的影響開始轉(zhuǎn)變?yōu)榈凸来髷?shù)據(jù)的影響,因?yàn)槿丝偸菚?huì)高估技術(shù)短期影響,而低估技術(shù)的長(zhǎng)期影響。我們即將迎來(lái)開始低估大數(shù)據(jù)長(zhǎng)期影響的階段,現(xiàn)在進(jìn)入回歸理性階段,行業(yè)正在回歸理性。對(duì)大數(shù)據(jù)以前高估的價(jià)值更加理性,以前不太關(guān)注的隱私必須補(bǔ)課,這需要3年左右的時(shí)間。2021年前后大數(shù)據(jù)會(huì)迎來(lái)新一輪的黃金發(fā)展期。
從市場(chǎng)看,我們還將繼續(xù)維持規(guī)模小、增速快的態(tài)勢(shì)。過(guò)去的幾年大數(shù)據(jù)的主要應(yīng)用場(chǎng)景是互聯(lián)網(wǎng),未來(lái)幾年的核心是大數(shù)據(jù)與傳統(tǒng)行業(yè)、實(shí)體經(jīng)濟(jì)的深度融合。十九大報(bào)告講的很清楚,我們必將迎來(lái)的是傳統(tǒng)行業(yè)如何更好使用大數(shù)據(jù)的過(guò)程,因?yàn)閭鹘y(tǒng)行業(yè)更容易賺錢。
從技術(shù)看,開源正在影響各行各業(yè),大數(shù)據(jù)也不例外。今天上午報(bào)告也講到實(shí)現(xiàn)在線分析的分布式,下一步需要實(shí)現(xiàn)在線處理事物的分布式。OLAP/OLTP的融合是新的趨勢(shì)。隨著產(chǎn)業(yè)的發(fā)展完善,意味著產(chǎn)業(yè)的分工越來(lái)越細(xì),相互之間的協(xié)作會(huì)越來(lái)越麻煩。反推的結(jié)果是我們所做的大數(shù)據(jù)產(chǎn)品與技術(shù)需要標(biāo)準(zhǔn)化、模塊化。因?yàn)椴豢赡荦嫶篌w量堆在一起,運(yùn)維需要自動(dòng)化比較好理解,系統(tǒng)越來(lái)越龐大,機(jī)器產(chǎn)生的事情只能用機(jī)器解決,大數(shù)據(jù)產(chǎn)生的運(yùn)維問(wèn)題只能靠大數(shù)據(jù)產(chǎn)生的自動(dòng)化運(yùn)維解決。
容器化,今天的大數(shù)據(jù)也需要借助容器的思想封裝交付。幾年前發(fā)現(xiàn)軟件開發(fā)交付等跟環(huán)境關(guān)系過(guò)于密切,今天看到大數(shù)據(jù)也是這個(gè)問(wèn)題。大數(shù)據(jù)遷移時(shí)與環(huán)境配置的關(guān)系過(guò)于密切,我們應(yīng)該發(fā)展類似于容器的技術(shù)。專用硬件,隨著摩爾定律的減速,越來(lái)越多地需要靠一些專用的而不是通用的硬件解決問(wèn)題。面向特定場(chǎng)景數(shù)據(jù)處理的專用硬件或軟硬件結(jié)合會(huì)是重要的發(fā)展方向。
從算法看,算法的透明度會(huì)成為需要關(guān)心的議題。隨著數(shù)據(jù)越來(lái)越多,數(shù)據(jù)越來(lái)越開放,要打破算法黑箱,解決算法的歧視問(wèn)題、算法殺熟問(wèn)題和算法疫情。如果算法一樣,尤其金融市場(chǎng)會(huì)引發(fā)算法共振或算法疫情問(wèn)題。開放算法是必須要考慮的議題,剛剛討論過(guò)網(wǎng)絡(luò)中立問(wèn)題,算法該不該中立?算法該不該透明?算法該不該監(jiān)管?我想需要。
從資產(chǎn)看,過(guò)去幾年知道數(shù)據(jù)是資產(chǎn),市場(chǎng)教育已完成。但如何把數(shù)據(jù)變成資產(chǎn)還在迷茫中,前幾年想是否通過(guò)財(cái)務(wù)手段把數(shù)據(jù)變?yōu)橘Y產(chǎn),現(xiàn)在看是不夠的,需要更多的技術(shù)支撐。未來(lái)3年要學(xué)習(xí)如何把數(shù)據(jù)變成資產(chǎn),不僅通過(guò)資本與管理的手段,還需要新的技術(shù),需要?jiǎng)?chuàng)新算法、創(chuàng)新技術(shù)、創(chuàng)新模式。
從流通看,我們還處于男耕女織的時(shí)代,據(jù)調(diào)查50%的大數(shù)據(jù)企業(yè)使用的數(shù)據(jù)還是自己生產(chǎn)的或隔壁家生產(chǎn)的。大數(shù)據(jù)說(shuō)是資產(chǎn),但它沒有變成資產(chǎn)。我們說(shuō)大數(shù)據(jù)是商品,但大數(shù)據(jù)沒有變成商品。我們只知道大數(shù)據(jù)很有價(jià)值,但如何流通還處于早期的階段,需要很多技術(shù)創(chuàng)新、理論創(chuàng)新。30年后得諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)的人一定會(huì)有是干這個(gè)活的,因?yàn)樾枰獢?shù)字經(jīng)濟(jì)時(shí)代的數(shù)字經(jīng)濟(jì)學(xué)家。今天的經(jīng)濟(jì)學(xué)更多的建立在工業(yè)經(jīng)濟(jì)的假設(shè)之上,上來(lái)就討論工廠、工人與產(chǎn)品,用貨幣衡量?jī)r(jià)值,這些都是工業(yè)時(shí)代的思維。數(shù)字時(shí)代需要數(shù)字時(shí)代的經(jīng)濟(jì)學(xué)家解決數(shù)據(jù)流通存在的理論問(wèn)題、方法問(wèn)題。處于從農(nóng)耕產(chǎn)品的貿(mào)易到數(shù)字產(chǎn)品貿(mào)易的轉(zhuǎn)折,現(xiàn)在不太清楚數(shù)據(jù)如何做貿(mào)易,我們正在探索之中。需要實(shí)現(xiàn)工業(yè)經(jīng)濟(jì)學(xué)到數(shù)字經(jīng)濟(jì)學(xué)的躍遷。
從價(jià)值看,需要新的用戶,新的價(jià)值。數(shù)據(jù)保護(hù)問(wèn)題更像隱私危機(jī),我們說(shuō)大數(shù)據(jù)是石油,石油也經(jīng)歷過(guò)危機(jī),愛迪生危機(jī)。煤油的主要用途是照明,愛迪生發(fā)明了電燈后是不是石油面臨危機(jī)?石油的用途只是照明,可是電燈來(lái)了。后來(lái)改善石油的冶煉技術(shù),煉出汽油,更加廣泛地用于動(dòng)力。今天大數(shù)據(jù)主要面向人,面向人的大數(shù)據(jù)分析處理應(yīng)用必然會(huì)帶來(lái)隱私危機(jī)。只要知道的都是隱私,不知道的就不是隱私。凡是能夠發(fā)現(xiàn)處理的最終都會(huì)被歸于用戶隱私范圍內(nèi),必然會(huì)導(dǎo)致隱私危機(jī)。我們需要新的模式與新的創(chuàng)新,將大數(shù)據(jù)的使用范圍擴(kuò)展,使用價(jià)值擴(kuò)展。不僅僅面向人,可能要面向物聯(lián)網(wǎng)、工業(yè)等各行各業(yè)。而過(guò)去幾年更多處理人產(chǎn)生的數(shù)據(jù)。
從風(fēng)險(xiǎn)看,必然會(huì)出現(xiàn)風(fēng)險(xiǎn),數(shù)據(jù)是資產(chǎn),資產(chǎn)是數(shù)據(jù)。人類的財(cái)富正在虛擬化,正在數(shù)據(jù)化,意味著風(fēng)險(xiǎn)正在由物理世界、現(xiàn)實(shí)世界遷移到虛擬世界、數(shù)據(jù)世界。哪里有風(fēng)險(xiǎn),哪里就有保險(xiǎn)。中國(guó)信通院聯(lián)合中國(guó)人保推出云計(jì)算保險(xiǎn)已經(jīng)有四年的時(shí)間,希望與業(yè)界一起研究如何為數(shù)據(jù)買保險(xiǎn),如何通過(guò)金融手段解決數(shù)據(jù)面臨風(fēng)險(xiǎn)問(wèn)題。
從理想看,萬(wàn)物皆數(shù)據(jù),數(shù)據(jù)皆兄弟,我們需要連接。單個(gè)的孤島數(shù)據(jù)價(jià)值不大,我們必須搞流通。我們是連接的時(shí)代,流通產(chǎn)生新的價(jià)值?,F(xiàn)在不是單體重要,而是單體與別人之間的連接更加重要。數(shù)據(jù)的價(jià)值不取決于數(shù)據(jù)本身是什么,而取決于數(shù)據(jù)跟其它數(shù)據(jù)之間的關(guān)系是什么,位置是什么,在數(shù)據(jù)世界處于什么位置。連接比數(shù)據(jù)本身更重要,我們一定會(huì)連接起來(lái)。我們搞開放、共享的核心目的只有一個(gè),讓數(shù)據(jù)連接流通是長(zhǎng)期的目標(biāo),需要與在座的諸位共同努力。
以后,數(shù)據(jù)會(huì)去往何方?
我們正在迎來(lái)摩爾定律老去的時(shí)代,摩爾定律減速的時(shí)候會(huì)對(duì)整個(gè)行業(yè)帶來(lái)翻天覆地的變化,我們需要改變傳統(tǒng)思維方式。以前覺得計(jì)算資源很便宜,浪費(fèi)點(diǎn)沒什么,今天的計(jì)算資源越來(lái)越貴,因?yàn)槟柖蓽p速。以前行業(yè)的增速非常穩(wěn)定,有節(jié)奏感,因?yàn)橛心柖墒裁匆膊桓梢材芊€(wěn)定的讓你增長(zhǎng)。今天當(dāng)摩爾定律減速甚至停緩的時(shí)候,行業(yè)當(dāng)然會(huì)往前走,但不能僅僅依靠摩爾定律,我們要依靠軟件。我們需要更新軟件的結(jié)構(gòu),最近看到很多新的軟件架構(gòu)出現(xiàn)的原因之一是,底層計(jì)算資源不再符合摩爾定律增長(zhǎng)速度,所以要?jiǎng)?chuàng)新軟件與架構(gòu)的設(shè)計(jì)。
改進(jìn)算法。以前不太關(guān)心算法的改進(jìn),因?yàn)樗惴ǜ倪M(jìn)付出的成本可能比摩爾定律芯片買一個(gè)更高。與其改進(jìn)算法,不如再買芯片。今天必須改進(jìn)算法,因?yàn)榈紫碌挠?jì)算資源越來(lái)越貴。算法優(yōu)化成為未來(lái)幾年非常重要的發(fā)展方向,包括大數(shù)據(jù)處理。因?yàn)榈讓淤Y源再浪費(fèi)不起。
硬件。以前通用硬件非常廣泛,越通用價(jià)格越低,缺點(diǎn)是越通用的性能越差。硬件性能上不去只好優(yōu)化硬件,而不再是通用的硬件。面向數(shù)據(jù)的軟硬件結(jié)合是重要的發(fā)展方向。
當(dāng)大數(shù)據(jù)遇到區(qū)塊鏈,兩者都是用來(lái)處理數(shù)據(jù),一個(gè)是希望擴(kuò)展數(shù)據(jù)的內(nèi)心,結(jié)構(gòu)化擴(kuò)展到更多的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)以前做信息,現(xiàn)在做價(jià)值,海量數(shù)據(jù)提高計(jì)算性能。區(qū)塊鏈說(shuō)針對(duì)關(guān)鍵數(shù)據(jù),主要核心目的是為了防篡改,也有計(jì)算模式。把一件事分給多個(gè)人做,區(qū)塊鏈希望多個(gè)人重復(fù)做一件事情,有利于防篡改。一個(gè)用服務(wù)器積存,一個(gè)是用P2P網(wǎng)絡(luò),一個(gè)數(shù)據(jù)是信息,一個(gè)數(shù)據(jù)是價(jià)值。大數(shù)據(jù)處理需要給做大數(shù)據(jù)的人發(fā)工資,因?yàn)榧?lì)是外部的。區(qū)塊鏈發(fā)幣的時(shí)候可以內(nèi)置,而不是通過(guò)外部的數(shù)據(jù)。大數(shù)據(jù)宣傳的口號(hào)是相信數(shù)據(jù),區(qū)塊鏈的口號(hào)是相信數(shù)學(xué)。
大數(shù)據(jù)遇到人工智能。大數(shù)據(jù)做數(shù)據(jù)的可視化,是因?yàn)橛?jì)算機(jī)把數(shù)據(jù)看明白了,可是人看不明白。計(jì)算機(jī)視覺,是因?yàn)槿丝疵靼琢耍珯C(jī)器看不明白。一個(gè)往左一個(gè)往右,前幾年宣揚(yáng)大數(shù)據(jù)主張關(guān)聯(lián)關(guān)系而不是因果關(guān)系,要回到愚昧的原始社會(huì)。機(jī)器學(xué)習(xí)能證明數(shù)據(jù)之間有關(guān)聯(lián),但機(jī)器學(xué)習(xí)為什么出現(xiàn)這樣的結(jié)果無(wú)法解釋。證明存在關(guān)聯(lián)關(guān)系,但無(wú)法解釋為什么有因果關(guān)系。
當(dāng)忘記成為例外,被機(jī)器忘記也是一種幸福。發(fā)明很多技術(shù),核心目的就是記住,因?yàn)槿说挠浶蕴?。你忘了黑客沒有忘記,數(shù)據(jù)很久遠(yuǎn),一上永流傳。以前發(fā)表文章需要交版面稅,今天刪貼子試一試,遺忘權(quán)成為新問(wèn)題。以前只關(guān)注如何記住問(wèn)題,現(xiàn)在關(guān)注如何消滅數(shù)據(jù)是工程師新的發(fā)展機(jī)會(huì)。
我們做很多數(shù)據(jù),只關(guān)心數(shù)據(jù)從哪里來(lái)的,用完了以后數(shù)據(jù)去了哪里?大數(shù)據(jù)基本“進(jìn)冷宮”,用完了就完了,80%的數(shù)據(jù)3個(gè)月以后無(wú)人理睬。GDPR隱私數(shù)據(jù)“要滅絕”,區(qū)塊鏈數(shù)據(jù)價(jià)值“得永生”,因?yàn)槭菫榱朔来鄹?,?shù)據(jù)世界的價(jià)值越高壽命越長(zhǎng)。有的數(shù)據(jù)會(huì)莫名其妙地消失,不知道去哪里,因?yàn)榻橘|(zhì)的壽命很短。我們的磁盤長(zhǎng)點(diǎn)就是幾十年的壽命,今天存儲(chǔ)的數(shù)據(jù)千年以后的人怎么找到,如何打開word文檔。他們?nèi)ツ睦锟脊胚@代人所謂的大數(shù)據(jù),到哪里發(fā)現(xiàn)?