今年，打算將分析 Data Eng 的歸檔內(nèi)容(這些歸檔可追溯到 2013 年 1 月)作為其個(gè)人項(xiàng)目，來(lái)析過(guò)去 6 年中的大數(shù)據(jù)的趨勢(shì)和變化。

為此，作者抓取并清理了 290 多期內(nèi)容(使用了 Python 爬蟲)，保留了與技術(shù)、新聞和發(fā)布公告相關(guān)的文章片段。接下來(lái)，他對(duì)文章片段進(jìn)行了一些基本的自然語(yǔ)言處理并應(yīng)用了一些基本的過(guò)濾，***生成關(guān)鍵字和下下列表。

[[258162]]

過(guò)去六年的主要趨勢(shì)

作者繪制了特定關(guān)鍵詞被提及次數(shù)的月滾動(dòng)平均值，并將它們繪制在同一個(gè)圖表上。下面的圖表說(shuō)明了這些技術(shù)大約在什么時(shí)間點(diǎn)變得越來(lái)越流行。

Hadoop 與 Spark

從 2013 年 Spark 開始接管 Hadoop 的那一刻起，Hadoop 就開始穩(wěn)步下滑。

Hadoop 與 Kafka

Kafka 成為所有大數(shù)據(jù)技術(shù)棧的主要構(gòu)建塊。

Hadoop 與 Kubernetes

Kubernestes 的崛起，盡管 Data Eng Weekly 并不十分關(guān)注 DevOps，但卻也見證了從 2017 年開始圍繞 Kubernetes 在各個(gè)領(lǐng)域的全面炒作。

年度熱門關(guān)鍵詞

我只是簡(jiǎn)單地畫出在給定年份中被提及次數(shù)最多的 10 個(gè)關(guān)鍵詞。

2013 年：Hadoop 的黃金時(shí)期!

所有原始的 Hadoop 項(xiàng)目都在這里：HDFS、YARN、MR、PIG……以及兩大主流發(fā)行版 CDH 和 HDP，除此之外別無(wú)其他!

2014 年：Spark 的崛起!

Hadoop 總體上延續(xù)了它的統(tǒng)治地位，但 Spark 在這一年推出的***個(gè)版本成為 2014 年最熱門的話題!

2015 年：Kafka 來(lái)了!

Spark 取代 Hadoop 的一名位的置，Kafka 進(jìn)入前三。大多數(shù)舊項(xiàng)目(HDFS、YARN、MR、PIG……)都沒有進(jìn)入前十。

2016 年：流式處理火熱!

2016 年是流式處理年，Kafka 取代了 Hadoop 第二名的位置，Spark(流式處理)繼續(xù)占據(jù)主導(dǎo)地位。

2017：一切向流式處理看齊!

與 2016 年的陣容相同，只是加入了 Flink。

2018 年：回到基礎(chǔ)!

Kubernetes ***亮相，我們回到了基礎(chǔ)，試圖找出如何管理(K8S)、調(diào)度(airflow)和運(yùn)行(Spark、Kafka、存儲(chǔ)……)我們的流。

2019 年：......

現(xiàn)在對(duì) 2019 年給出任何結(jié)論還為時(shí)過(guò)早，但看起來(lái) K8s 將在 2019 年成為主流!