新一代大數(shù)據(jù)與人工智能基礎(chǔ)架構(gòu)技術(shù)的發(fā)展與趨勢(shì)
2018年是開(kāi)源軟件歷史上最精彩的一年,2個(gè)IPO加上5個(gè)并購(gòu),開(kāi)源技術(shù)到達(dá)新的高度。回溯過(guò)去大數(shù)據(jù)時(shí)代的15年,開(kāi)源技術(shù)的創(chuàng)新潮流,包括集群技術(shù),流計(jì)算,數(shù)據(jù)庫(kù),容器技術(shù)和機(jī)器學(xué)習(xí),可謂一波接著一波。
2003-2004年Google發(fā)布的GFS和MapReduce論文,對(duì)業(yè)界的影響可謂意義深遠(yuǎn),它全面揭開(kāi)了大數(shù)據(jù)的時(shí)代序幕。2006年,Doug Cutting加入Yahoo并發(fā)布Hadoop 0.1版本,同年Google發(fā)布BigTable論文。2008年,MySQL 10億美元被Sun收購(gòu)。2009年,Spark從Berkeley大學(xué)的AMPLab實(shí)驗(yàn)室誕生,程序員Johan Oskarsson舉辦***個(gè)NoSQL數(shù)據(jù)庫(kù)活動(dòng)。2010年,RackSpace與NASA聯(lián)合發(fā)起OpenStack云計(jì)算項(xiàng)目。2011年,451 Research分析師Matthew Aslett***提出NewSQL概念。2012年,Red Hat***達(dá)到10億美元的年收入。2013年,Docker的崛起意味容器時(shí)代的開(kāi)始。2014年, 隨著Hadoop三駕馬車之一的Hortonworks IPO,Hadoop到達(dá)高峰時(shí)期,但在同年Hadoop保持的記錄被Spark打破。2015年,Google開(kāi)源Tensorflow,Kubernetes 1.0發(fā)布并捐給CNCF組織。2017年, Hadoop 3.0正式發(fā)布。2018年,Cloudera和Hortonworks兩大巨頭合并,Elastic IPO,市值49億美元。
這一幕幕精彩的故事背后隱藏著技術(shù)一次又一次的改革和創(chuàng)新,到底是上層業(yè)務(wù)應(yīng)用的發(fā)展驅(qū)動(dòng)底層基礎(chǔ)架構(gòu)技術(shù)的發(fā)展,還是基礎(chǔ)架構(gòu)的創(chuàng)新顛覆業(yè)務(wù)應(yīng)用模式?下面我們一起回顧和預(yù)測(cè)這些關(guān)鍵技術(shù)的演變發(fā)展和未來(lái)趨勢(shì)。