[[178228]]

Spark是一個Apache項目，它被標榜為“快如閃電的集群計算”。它擁有一個繁榮的開源社區(qū)，并且是目前最活躍的Apache項目。Spark提供了一個更快、更通用的數(shù)據(jù)處理平臺。和Hadoop相比，Spark可以讓你的程序在內(nèi)存中運行時速度提升100倍，或者在磁盤上運行時速度提升10倍。同時spark也讓傳統(tǒng)的map reduce job開發(fā)變得更加簡單快捷。本文將簡單介紹幾個經(jīng)典hadoop的mr按理用spark實現(xiàn)，來讓大家熟悉spark的開發(fā)。

***值最小值

求***值最小值一直是Hadoop的經(jīng)典案例，我們用Spark來實現(xiàn)一下，借此感受一下spark中mr的思想和實現(xiàn)方式。話不多說直接上code：

預(yù)期結(jié)果：

max: 1001min: 2

思路和hadoop中的mr類似，設(shè)定一個key，value為需要求***與最小值的集合，然后再groupBykey聚合在一起處理。第二個方法就更簡單，性能也更好。

平均值問題

求每個key對應(yīng)的平均值是常見的案例，在spark中處理類似問題常常會用到combineByKey這個函數(shù)，詳細介紹請google一下用法，下面看代碼：

我們讓每個partiton先求出單個partition內(nèi)各個key對應(yīng)的所有整數(shù)的和 sum以及個數(shù)count，然后返回一個pair(sum, count)在shuffle后累加各個key對應(yīng)的所有sum和count,再相除得到均值.

TopN問題

Top n問題同樣也是hadoop種體現(xiàn)mr思想的經(jīng)典案例,那么在spark中如何方便快捷的解決呢：

思路很簡單，把數(shù)據(jù)groupBykey以后按key形成分組然后取每個分組***的2個。預(yù)期結(jié)果：

以上簡單介紹了一下hadoop中常見的3個案例在spark中的實現(xiàn)。如果讀者們已經(jīng)接觸過或者寫過一些hadoop的mapreduce job，那么會不會覺得在spark中寫起來方便快捷很多呢。