Hadoop將死,圖數(shù)據(jù)庫成為新趨勢(shì)?看數(shù)據(jù)庫業(yè)內(nèi)大佬如何回顧2017展望2018
科技行業(yè)向來是以技術(shù)發(fā)展速度快著稱,時(shí)值歲末,我們和多位數(shù)據(jù)庫領(lǐng)域的業(yè)內(nèi)大佬進(jìn)行了深度交流,分享了他們眼中2017年的小驚喜和2018年的大展望。
Endpoint Systems創(chuàng)始人Lucas Vogel
2017年: 最大的驚喜應(yīng)該是Oracle Autonomous Database Cloud,其次,是Google Cloud Spanner,Google全球可用分布式關(guān)系數(shù)據(jù)庫平臺(tái),第三是Microsoft CosmosDB,全球可用的JSON數(shù)據(jù)庫平臺(tái)。
2018年: 數(shù)據(jù)庫的未來是會(huì)變得更加小。隨著微服務(wù)和容器的發(fā)展和穩(wěn)定,開發(fā)人員將意識(shí)到,他們可以在Docker化的微服務(wù)中運(yùn)行嵌入式數(shù)據(jù)庫,而不是使用Docker式數(shù)據(jù)庫服務(wù)器來運(yùn)行。Oracle Berkeley DB系列產(chǎn)品提供了一些優(yōu)秀的嵌入式和自我復(fù)制的數(shù)據(jù)庫解決方案,為云以及物聯(lián)網(wǎng)解決方案架構(gòu)提供了很好的案例。
我認(rèn)為關(guān)系數(shù)據(jù)庫服務(wù)器定價(jià)會(huì)變得糟糕,因?yàn)槿匀挥写罅繎?yīng)用程序和平臺(tái)被鎖定到一個(gè)或兩個(gè)數(shù)據(jù)庫供應(yīng)商的應(yīng)用程序中。我們希望看到廠商能夠利用云中可用的更便宜的數(shù)據(jù)庫產(chǎn)品。
CYBRIC首席技術(shù)官M(fèi)ike Kail
2017年:從單一數(shù)據(jù)庫向擴(kuò)展的數(shù)據(jù)庫即服務(wù)(DBaaS)解決方案的轉(zhuǎn)變?nèi)匀痪徛?,但是這些解決方案提供了一些額外的功能,例如運(yùn)行Hadoop等大數(shù)據(jù)stack的Docker容器環(huán)境,或者需要裸機(jī)硬件來保證性能。
2018年:DBaaS供應(yīng)商將繼續(xù)為客戶提供更多的定制解決方案,包括支持深度學(xué)習(xí)和GPU加速。其他架構(gòu)趨勢(shì)方面,單片解決方案將轉(zhuǎn)變?yōu)槲⒎?wù)模式。
Datical聯(lián)合創(chuàng)始人兼首席技術(shù)官Robert Reeves
RDBMS將會(huì)繼續(xù)增長(zhǎng),NoSQL無法取代RDBMS。目前,頂級(jí)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)供應(yīng)商是Oracle,Mircrosoft,IBM,SAP和Amazon。根據(jù)Gartner的數(shù)據(jù)顯示,Amazon的2016年年增長(zhǎng)率為107.9%,遠(yuǎn)遠(yuǎn)超過其它RDBMS廠商。排在第二位的是阿里巴巴,增長(zhǎng)率為99%,420萬美元上升到840萬美元。當(dāng)然這和云RDBMS有很大關(guān)系。
在過去的幾年里,我們常聽到NoSQL會(huì)取代RDBMS,因?yàn)樗m合云計(jì)算。但到了現(xiàn)在,這種情況也沒有發(fā)生,因?yàn)镽DBMS解決了真正的業(yè)務(wù)問題,所以所有NoSQL應(yīng)用范圍之外的預(yù)測(cè)都不會(huì)實(shí)現(xiàn)。
簡(jiǎn)而言之,SQL是程序員使用的第一語言。
YugaByte首席執(zhí)行官兼聯(lián)合創(chuàng)始人KannanMuthukkarupan
2017年:Kubernetes作為一種手段讓企業(yè)應(yīng)用程序在本地,混合和共有云中的移動(dòng)性獲得了突飛猛進(jìn)的進(jìn)展,其在2017年迸發(fā)出的超乎想象的增長(zhǎng)空間令人震驚。在快速發(fā)展的云環(huán)境中,任何可以自動(dòng)化部署,擴(kuò)展和管理Docker應(yīng)用程序的系統(tǒng),都會(huì)獲得持續(xù)進(jìn)展。
2018年:盡管2017年基于云的技術(shù)取得了諸多令人矚目的進(jìn)步,但是數(shù)據(jù)層仍然是一個(gè)挑戰(zhàn)。想要推動(dòng)這一領(lǐng)域發(fā)展,首先要解決的問題就是——一個(gè)基于意圖的,跨云可移植的數(shù)據(jù)層,零停機(jī)時(shí)間配置。2017年11月2日,業(yè)界第一次看到Y(jié)ugaByte,YugaByte是關(guān)鍵任務(wù)應(yīng)用的開源云本地?cái)?shù)據(jù)庫,可滿足這一需求。
到2018年,數(shù)據(jù)層將成為值得關(guān)注的空間。
Neo4j產(chǎn)品副總裁Philip Rathle
2017年: 采用圖數(shù)據(jù)庫技術(shù)的企業(yè)數(shù)量激增,甚至超出了分析師的預(yù)期。根據(jù)最近Forrester Research的報(bào)告,全球51%的數(shù)據(jù)和分析技術(shù)決策者已經(jīng)實(shí)施或者正在實(shí)施、升級(jí)或擴(kuò)展企業(yè)中的圖形數(shù)據(jù)庫。另外,以圖數(shù)據(jù)庫為重點(diǎn)的會(huì)議、活動(dòng)等等也有了明顯的增加。例如,十月份的Neo4j GraphConnectNew York City就有各行各業(yè)超過1000人參與其中。另外,紐約市就有超過一千名參與者,代表著各種各樣的行業(yè)。另外, Cypher現(xiàn)在已經(jīng)成為圖數(shù)據(jù)庫的首選SQL。其它圖數(shù)據(jù)庫廠商也在積極加入到這個(gè)行業(yè)中,這個(gè)領(lǐng)域正在不斷成熟。
2018年: 圖技術(shù)最令人興奮的新用例是知識(shí)圖與機(jī)器學(xué)習(xí)和人工智能的配對(duì)。機(jī)器學(xué)習(xí)將有助于推動(dòng)公司的下一波競(jìng)爭(zhēng)優(yōu)勢(shì),但擺在我們面前的難題是,它如何落到實(shí)處,哪些公司可以成功地使用圖,機(jī)器學(xué)習(xí)和AI。無論是與客戶聯(lián)系,降低欺詐風(fēng)險(xiǎn),提高員工工作效率,還是做出更好的投資決策,企業(yè)對(duì)于如何選擇使用圖數(shù)據(jù)庫技術(shù)的探索都是無止境的,同樣這也是企業(yè)在未來取得差異化競(jìng)爭(zhēng)先機(jī)的關(guān)鍵。
SAP全球副總裁,產(chǎn)品營(yíng)銷云平臺(tái)和數(shù)據(jù)管理主管Ken Tsai
2017年7月下旬 ,Gartner發(fā)布了“Hype Cycle for Data Management 2017”,其中Hadoop發(fā)行版被標(biāo)記為“obsolete before plateau”。Gartner正在呼吁大型全棧Hadoop發(fā)現(xiàn)的到來,以及與之相關(guān)的新功能更新,更簡(jiǎn)單的基于SQL的數(shù)據(jù)平臺(tái)技術(shù)和托管云服務(wù),從而更加經(jīng)濟(jì)高效地處理大數(shù)據(jù)。
2018年:2018年,數(shù)據(jù)平臺(tái)技術(shù)將在日益增的全球勞動(dòng)力中發(fā)揮作用。為了遵守明年實(shí)施的新合規(guī)措施,公司將需要超越數(shù)據(jù)屏蔽并實(shí)施創(chuàng)新的數(shù)據(jù)匿名策略,以保護(hù)隱私。同時(shí),我們還可以預(yù)見下一代HTAP的使用和增長(zhǎng)將會(huì)擴(kuò)大,換一種說法,其在交易中超越OLAP的分析處理(即運(yùn)行OLAP)來運(yùn)行各種實(shí)時(shí)分析工作負(fù)載,例如,機(jī)器學(xué)習(xí),空間,時(shí)間序列,圖表,同時(shí)不會(huì)犧牲事務(wù)完整性,性能,規(guī)模,并為每個(gè)分析引擎提供需要的單獨(dú)SQL框架。
數(shù)據(jù)庫即服務(wù)(DBaaS)將繼續(xù)擴(kuò)展到多云支持之外,還將擴(kuò)展到內(nèi)部部署的私有云,以實(shí)現(xiàn)以前不可用的新型增值數(shù)據(jù)處理方案。數(shù)據(jù)集成和轉(zhuǎn)換工具也將煥然一新,因?yàn)槠髽I(yè)正在尋找超越ETL和數(shù)據(jù)爭(zhēng)奪的解決方案,以在不同的數(shù)據(jù)系統(tǒng)環(huán)境中創(chuàng)建邏輯集中的數(shù)據(jù)治理和數(shù)據(jù)流水線管理功能。因此,我看到企業(yè)數(shù)據(jù)操作(DataOps)的興起成為數(shù)據(jù)庫分析師,數(shù)據(jù)工程師,數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家們更重要的學(xué)科。
另外,區(qū)塊鏈仍然是一個(gè)沒有獨(dú)特用例的熱門話題(除了加密貨幣之外)。我預(yù)計(jì),到2018年,除了更多集成的區(qū)塊鏈和DBMS平臺(tái)技術(shù)外,我們還將開始看到加密貨幣以外的用例。
我預(yù)計(jì),未來數(shù)據(jù)隱私將被視為一個(gè)全球性問題,并且不能通過數(shù)據(jù)安全(AKA消除數(shù)據(jù)使用或數(shù)據(jù)訪問)來充分解決。未來的數(shù)據(jù)庫平臺(tái)需要整合新的技術(shù)和算法來保護(hù)數(shù)據(jù)隱私,同時(shí)仍然能夠共享數(shù)據(jù)而不違反隱私合規(guī)性。
Instaclustr首席技術(shù)官Ben Bromhead
2017:2017年,我比較期待AWS re:Invent,因?yàn)锳mazon總是有一些很酷的東西,在趨勢(shì)方面,我認(rèn)為行業(yè)正在向數(shù)據(jù)庫即服務(wù)快速發(fā)展,很多云供應(yīng)商也證實(shí)了這一點(diǎn)。我認(rèn)為過去的一年中,最棒的事件就是Kafka 1.0和在Kafka Stream上引入KSQL。
2018年:隨著數(shù)據(jù)庫與云融的合更好,未來在動(dòng)態(tài)可擴(kuò)展性方面將會(huì)有更多探索。企業(yè)開始期待從數(shù)據(jù)層進(jìn)行即時(shí)縮放。最重要的是,NoSQL數(shù)據(jù)庫正在不斷成熟,流處理成為了數(shù)據(jù)庫的重要組成部分。隨著數(shù)據(jù)庫項(xiàng)目的成熟,我們將看到Apache Cassandra的一系列新功能,其對(duì)底層存儲(chǔ)機(jī)制有一系列的改變,能夠提供顯著的性能改進(jìn)。
TigerGraph首席執(zhí)行官兼創(chuàng)始人Yu Xu
2017年:10月份MongoDB IPO是數(shù)據(jù)庫的大事件,同時(shí)也進(jìn)一步驗(yàn)證了一種尺寸不能適合所有的數(shù)據(jù)管理,今天的數(shù)據(jù)更加復(fù)雜,并以驚人的速度增長(zhǎng),這意味著企業(yè)需要超越傳統(tǒng)的關(guān)系數(shù)據(jù)庫來管理數(shù)據(jù)。
2018年:作為新一代數(shù)據(jù)庫的下一個(gè)階段,我們正在快速地將實(shí)時(shí)圖形分析技術(shù)發(fā)展起來。圖數(shù)據(jù)庫技術(shù)非常適合為企業(yè)AI,機(jī)器學(xué)習(xí),網(wǎng)絡(luò)安全和物聯(lián)網(wǎng)應(yīng)用提供支持,未來圖數(shù)據(jù)庫必將得到廣泛采用。
IDERA產(chǎn)品管理副總裁Robert Anderson
2017年: 數(shù)據(jù)庫蔓延已經(jīng)司空見慣,數(shù)據(jù)庫管理員(DBA)常常要根據(jù)需要來輪換數(shù)據(jù)庫。最近,我們已經(jīng)看到了一些企業(yè)已經(jīng)在長(zhǎng)期規(guī)劃并承諾增加數(shù)據(jù)庫性能工具許可證的數(shù)量,以便在未來的兩到三年內(nèi)支持他們的數(shù)據(jù)庫需求。
2018年: 數(shù)據(jù)庫環(huán)境將變得更加多樣化,DBA越來越多的擔(dān)當(dāng)數(shù)據(jù)專業(yè)人員的角色,所以對(duì)于他們?cè)跀?shù)據(jù)開發(fā)和數(shù)據(jù)科學(xué)方面的技能也提出了更高的要求。由于GDPR調(diào)控的出現(xiàn),數(shù)據(jù)治理將上升到top 5,同時(shí)在線存儲(chǔ)的繼續(xù)增長(zhǎng),會(huì)導(dǎo)致越來越多的數(shù)據(jù)安全漏洞。Docker支持將解鎖Microsoft SQL Server支持到更多的應(yīng)用程序團(tuán)隊(duì)。隨著MySQL使用量的減少,SQL Server的市場(chǎng)份額將會(huì)增加。最后,人工智能(AI),機(jī)器學(xué)習(xí)甚至深度學(xué)習(xí)將在數(shù)據(jù)庫管理中成為主要推動(dòng)力。
VoltDB總裁兼首席執(zhí)行官David Flower
2017年:我們看到了數(shù)據(jù)庫市場(chǎng)的持續(xù)發(fā)展。雖然發(fā)生了一些轉(zhuǎn)變,但是真正能夠推動(dòng)市場(chǎng)變化的可能會(huì)發(fā)生在2018年:Hadoop死亡:當(dāng)然這個(gè)說法有點(diǎn)夸張,Hadoop之所以能夠在企業(yè)中占有一席之地,主要是因?yàn)榇鎯?chǔ)靜態(tài)數(shù)據(jù),但接下來圍繞這一技術(shù)的炒作將會(huì)明顯減少。
Strata數(shù)據(jù)會(huì)議現(xiàn)在更側(cè)重于數(shù)據(jù)科學(xué)和人工智能,而 Hadoop峰會(huì)已經(jīng)發(fā)展成為DataWorks峰會(huì)。另外,Hadoop的先驅(qū)Cloudera,Hortonworks和MapR已經(jīng)在縮減Hadoop中心消息。
開源的真正成本:雖然開源技術(shù)仍然是測(cè)試,開發(fā)和預(yù)生產(chǎn)環(huán)境中最流行的選擇,但企業(yè)現(xiàn)在已經(jīng)更密切地在關(guān)注開源技術(shù)的真正成本。畢竟,MongoDB在2017年上市,其理由是收入接近1億美元,收入必須來自某個(gè)地方。
(實(shí)時(shí))時(shí)間機(jī)器已經(jīng)到達(dá)。時(shí)間是資產(chǎn)。現(xiàn)在技術(shù)的實(shí)時(shí)性仍然很差,對(duì)于很多應(yīng)用程序來說,批處理和接近實(shí)時(shí)是不可被接受的,而且分析也正從后端(事件后)開始轉(zhuǎn)移到前端(事件中或正在處理中),尤其是5G,ML和AI更加強(qiáng)調(diào)這一點(diǎn)。對(duì)于我們來說,現(xiàn)在的時(shí)間價(jià)值不再是一天之內(nèi)、在一個(gè)小時(shí)內(nèi),甚至是一分鐘之內(nèi)。而是現(xiàn)在,此刻!
Red Hat JBoss Middleware產(chǎn)品經(jīng)理Kim Palko
2018年: 受歐盟“通用數(shù)據(jù)保護(hù)條例”(GDPR)的推動(dòng),將重新關(guān)注數(shù)據(jù)安全性,尤其是公有云。隨著物聯(lián)網(wǎng)(IoT)產(chǎn)生的數(shù)據(jù)量不斷增加,企業(yè)將繼續(xù)將更多的數(shù)據(jù)遷移到云中,以獲得可擴(kuò)展性,災(zāi)難恢復(fù),靈活性等方面的優(yōu)勢(shì)。2018年我們將需要更嚴(yán)格的安全保證。
RealmCMO Paul Kopacki
2018年:經(jīng)過多年對(duì)關(guān)注大數(shù)據(jù)集中式存儲(chǔ)庫的關(guān)注,2018年的重點(diǎn)將朝著網(wǎng)絡(luò)邊緣、移動(dòng)設(shè)備、物聯(lián)網(wǎng)數(shù)據(jù)庫和數(shù)據(jù)處理技術(shù)的新類別轉(zhuǎn)移。每個(gè)設(shè)備和每個(gè)人都在捕獲,處理和同步越來越多的數(shù)據(jù),而舊的數(shù)據(jù)技術(shù)無法應(yīng)對(duì)這一挑戰(zhàn)。
Datos IO營(yíng)銷與業(yè)務(wù)開發(fā)副總裁Peter Smails
MongoDB IPO 是2017年最大的事件。云已經(jīng)顛覆了傳統(tǒng)的數(shù)據(jù)庫市場(chǎng)?,F(xiàn)代數(shù)據(jù)庫(包括MongoDB,Apache Cassandra,Redis和DynamoDB)的新一代正迅速成為云本地應(yīng)用程序部署的標(biāo)準(zhǔn)平臺(tái)。MongoDB的估值和IPO證明了這些新數(shù)據(jù)庫在整個(gè)企業(yè)IT中正在激增。
Couchbase工程和CTO高級(jí)副總裁Ravi Mayuram
2018年的預(yù)測(cè):以對(duì)數(shù)據(jù)基礎(chǔ)設(shè)施的重新思考為基礎(chǔ),數(shù)字化轉(zhuǎn)型將加速。企業(yè)已經(jīng)開始了解客戶參與和數(shù)字化轉(zhuǎn)型之間的聯(lián)系,他們已經(jīng)意識(shí)到,使用舊的基礎(chǔ)設(shè)施將無法幫助他們實(shí)現(xiàn)這一轉(zhuǎn)變。因此,越來越多的企業(yè)將從根本上重新考慮數(shù)據(jù)來演變業(yè)務(wù)模式,例如如何管理數(shù)據(jù),如何移動(dòng)數(shù)據(jù),以及如何向客戶呈現(xiàn)數(shù)據(jù)。這種基本的重新思考始于數(shù)據(jù)基礎(chǔ)設(shè)施層面,實(shí)現(xiàn)了企業(yè)最終數(shù)字化轉(zhuǎn)型目標(biāo)的靈活性。企業(yè)數(shù)據(jù)庫基礎(chǔ)設(shè)施向現(xiàn)代數(shù)據(jù)平臺(tái)的重新平臺(tái)化,數(shù)據(jù)移動(dòng)的流暢性和從邊緣到云端的安全管理平臺(tái)將以前所未有的速度加速。
包含數(shù)據(jù)庫蔓延將是一項(xiàng)任務(wù)。解決單一客戶問題的一招技術(shù)解決方案將開始剝離。為了保持持久的商業(yè)戰(zhàn)略,企業(yè)需要成為持續(xù)創(chuàng)新的真正合作伙伴,而不是指向能夠解決問題的解決方案。將眾多解決方案整合到一個(gè)平臺(tái)上的做法將會(huì)摒棄,而提供滿足多個(gè)客戶需求的一個(gè)平臺(tái)的業(yè)務(wù)將會(huì)蓬勃發(fā)展。企業(yè)需要適應(yīng)客戶的期望,對(duì)技術(shù)采取敏捷的方法將是關(guān)鍵的區(qū)分因素。