在Hackbright做導(dǎo)師期間，我被要求向技術(shù)背景有限的學(xué)生解釋MapReduce算法，于是我想出了一個有趣的例子，用以闡釋它是如何工作的。

MapReduce算法例子

你想數(shù)出一摞牌中有多少張黑桃。直觀方式是一張一張檢查并且數(shù)出有多少張是黑桃。

MapReduce方法則是：

1.給在座的所有玩家中分配這摞牌

2.讓每個玩家數(shù)自己手中的牌有幾張是黑桃，然后把這個數(shù)目匯報給你

3.你把所有玩家告訴你的數(shù)字加起來，得到***的結(jié)論

MapReduce算法背景

谷歌在2004年發(fā)表了可以分析大量數(shù)據(jù)的MapReduce算法。每當(dāng)你聽到“大數(shù)據(jù)”這個詞時，它指的是因為太大而讓僅僅一臺機(jī)器難以有效存儲或分析的問題。MapReduce通過把計算量分配給不同的計算機(jī)群，能夠解決大部分和大數(shù)據(jù)有關(guān)的分析問題。Hadoop提供了***的利用MapReduce算法來管理大數(shù)據(jù)的開源方式。現(xiàn)今MapReduce是主流。

所以通常來說，每當(dāng)你聽到“大數(shù)據(jù)”，那也許意味著Hadoop被用來存儲數(shù)據(jù)，也通常意味著數(shù)據(jù)的抽取和檢索是用的MapReduce。

拆分MapReduce算法

MapReduce合并了兩種經(jīng)典函數(shù)：

映射（Mapping）對集合里的每個目標(biāo)應(yīng)用同一個操作。即，如果你想把表單里每個單元格乘以二，那么把這個函數(shù)單獨地應(yīng)用在每個單元格上的操作就屬于mapping。

化簡（Reducing ）遍歷集合中的元素來返回一個綜合的結(jié)果。即，輸出表單里一列數(shù)字的和這個任務(wù)屬于reducing。

重新審視上面的MapReduce算法例子

重新審視我們原來那個分散紙牌的例子，我們有MapReduce數(shù)據(jù)分析的基本方法。友情提示：這不是個嚴(yán)謹(jǐn)?shù)睦?。在這個例子里，人代表計算機(jī)，因為他們同時工作，所以他們是個集群。在大多數(shù)實際應(yīng)用中，我們假設(shè)數(shù)據(jù)已經(jīng)在每臺計算機(jī)上了 – 也就是說把牌分發(fā)出去并不是MapReduce的一步。（事實上，在計算機(jī)集群中如何存儲文件是Hadoop的真正核心。）

通過把牌分給多個玩家并且讓他們各自數(shù)數(shù)，你就在并行執(zhí)行運算，因為每個玩家都在同時計數(shù)。這同時把這項工作變成了分布式的，因為多個不同的人在解決同一個問題的過程中并不需要知道他們的鄰居在干什么。

通過告訴每個人去數(shù)數(shù)，你對一項檢查每張牌的任務(wù)進(jìn)行了映射。 你不會讓他們把黑桃牌遞給你，而是讓他們把你想要的東西化簡為一個數(shù)字。

另外一個有意思的情況是牌分配得有多均勻。MapReduce假設(shè)數(shù)據(jù)是洗過的（shuffled）- 如果所有黑桃都分到了一個人手上，那他數(shù)牌的過程可能比其他人要慢很多。

如果有足夠的人的話，問一些更有趣的問題就相當(dāng)簡單了 - 比如“一摞牌的平均值（二十一點算法）是什么”。你可以通過合并“所有牌的值的和是什么”及“我們有多少張牌”這兩個問題來得到答案。用這個和除以牌的張數(shù)就得到了平均值。

對MapReduce算法的結(jié)論

MapReduce算法的機(jī)制要遠(yuǎn)比這復(fù)雜得多，但是主體思想是一致的 – 通過分散計算來分析大量數(shù)據(jù)。無論是Facebook、NASA，還是小創(chuàng)業(yè)公司，MapReduce都是目前分析互聯(lián)網(wǎng)級別數(shù)據(jù)的主流方法。有趣的是，MapReduce在多于10PB數(shù)據(jù)時趨向于變慢，所以谷歌在他們今年的IO大會上報告稱MapReduce已經(jīng)不夠他們用了。