自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<pre id="w7cb2"><cite id="w7cb2"></cite></pre>

<tfoot id="w7cb2"><form id="w7cb2"></form></tfoot>

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Hadoop

839內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點、技術(shù)難點與應(yīng)用場景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 839 條

大數(shù)據(jù)分析：學(xué)習(xí)工具Hadoop，基本安裝指導(dǎo)

Hadoop版本主要分為原生Apache Hadoop版和Hadoop商業(yè)發(fā)行版兩種，而其中商業(yè)發(fā)行版Hadoop多為原生Apache Hadoop的集群模式下的優(yōu)化版，除少數(shù)社區(qū)版外，商業(yè)發(fā)行版大多需要付費使用，且對于初學(xué)者而言使用難度較大，因此本教程主要采用Apache Hadoop進行安裝與使用方面教學(xué)。

2020-05-26 16:25:33

Hadoop 下載安裝

HBase工作原理：Hadoop體系結(jié)構(gòu)的一部分

HBase是一種高可靠性，高性能，面向列的可擴展分布式存儲系統(tǒng)，它使用HBase技術(shù)在廉價的PC服務(wù)器上構(gòu)建大規(guī)模結(jié)構(gòu)化存儲集群。 HBase的目標(biāo)是存儲和處理大量數(shù)據(jù)，特別是僅使用標(biāo)準(zhǔn)硬件配置即可處理包含數(shù)千行和列的大量數(shù)據(jù)。

2020-05-07 15:10:23

HBase Hadoop 數(shù)據(jù)平臺

大數(shù)據(jù)新人應(yīng)該了解的Hadoop中的各種文件格式

幾周前，我寫了一篇有關(guān)Hadoop的文章，并談到了它的不同部分。以及它如何在數(shù)據(jù)工程中扮演重要角色。在本文中，我將總結(jié)Hadoop中不同的文件格式。本主題將是一個簡短而快速的主題。

2020-04-26 10:49:37

大數(shù)據(jù)Hadoop 文件格式

大數(shù)據(jù)系列之Hadoop的資源管理模塊YARN

在之前文章中介紹過hadoop1與hadoop2架構(gòu)的區(qū)別是hadoop2將資源管理功能從MapReduce框架中獨立出來，也就是現(xiàn)在的YARN模塊。

2020-04-22 14:34:42

大數(shù)據(jù)Hadoop 技術(shù)

讀了十本書丨Hadoop大數(shù)據(jù)分析及數(shù)據(jù)挖掘讀書筆記，一文總結(jié)

個人看完這一章，對于數(shù)據(jù)挖掘的落地有了一個大概得了解，我們選擇、使用、學(xué)習(xí)這些大數(shù)據(jù)的技術(shù)應(yīng)該是結(jié)果導(dǎo)向的，這里會讓人更清晰去選擇技術(shù)，使用技術(shù)。

2020-04-17 15:23:21

Hadoop 數(shù)據(jù)挖掘數(shù)據(jù)分析

大數(shù)據(jù)分析系統(tǒng)Hadoop的13個開源工具，你知道幾個？

本次為大家分享Hadoop生態(tài)系統(tǒng)中最常用的13個開源工具，其中包括資源調(diào)度、流計算及各種業(yè)務(wù)針對應(yīng)用場景。首先，我們看資源管理相關(guān)。

2020-04-08 16:41:18

大數(shù)據(jù)Hadoop 工具

如何在Hadoop上建立數(shù)據(jù)倉庫

大數(shù)據(jù)平臺上的數(shù)據(jù)倉庫是許多組織正在探索的標(biāo)準(zhǔn)用例。采用這種方法的原因可能是大數(shù)據(jù)平臺提供的許多靈活性之一。

2020-04-06 13:52:45

數(shù)據(jù)倉庫大數(shù)據(jù)平臺 Hadoop

三分鐘讀懂Hadoop、HBase、Hive、Spark分布式系統(tǒng)架構(gòu)

我們來分別部署一套hadoop、hbase、hive、spark，在講解部署方法過程中會特殊說明一些重要配置，以及一些架構(gòu)圖以幫我們理解，目的是為后面講解系統(tǒng)架構(gòu)和關(guān)系打基礎(chǔ)。

2020-04-03 15:35:53

Hadoop HBase Spark

探索Hadoop與數(shù)據(jù)倉庫之間的關(guān)系

在大數(shù)據(jù)世界中用于BI和分析的新平臺的需求，并描述了三種常用的基本數(shù)據(jù)架構(gòu)：數(shù)據(jù)倉庫，大規(guī)模并行處理系統(tǒng)(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop 數(shù)據(jù)倉庫數(shù)據(jù)庫

帶你快速搭建Hadoop運行環(huán)境

Hadoop 是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，在大數(shù)據(jù)領(lǐng)域被廣泛的使用，它將大數(shù)據(jù)處理引擎盡可能的靠近存儲，Hadoop 最核心的設(shè)計就是 HDFS 和 MapReduce，HDFS 為海量的數(shù)據(jù)提供了存儲，MapReduce 為海量的數(shù)據(jù)提供了計算。這篇文章主要就是介紹一下如何搭建一個 Hadoop 運行環(huán)境。

2020-04-01 11:11:35

Hadoop 運行環(huán)境分布式

你還在用這種方法搭建Hadoop嗎？

戴爾易安信Isilon是一個成熟的數(shù)據(jù)湖解決方案，它的OneFs操作系統(tǒng)支持豐富數(shù)據(jù)訪問協(xié)議，當(dāng)一種協(xié)議寫入數(shù)據(jù)湖的文件，可以馬上通過其他協(xié)議被訪問。

2020-03-04 14:05:35

Apache Hadoop代碼質(zhì)量：生產(chǎn)VS測試

讓我們看一下PVS-Studio靜態(tài)分析器警告，以查看測試錯誤并不比生產(chǎn)錯誤更嚴(yán)重這一事實的重要性。當(dāng)今的焦點：Apache Hadoop。

2020-01-13 15:38:33

Hadoop 代碼項目

Hadoop 3的主要優(yōu)缺點

本文的目的是討論Hadoop 3.0的優(yōu)缺點。隨著Hadoop 3.0中引入了許多更改，它已成為更好的產(chǎn)品。

2020-01-09 10:44:47

Hadoop 3 缺點優(yōu)點

從Hadoop到Spark和Flink，大數(shù)據(jù)處理框架十年激蕩發(fā)展史

本文將從大數(shù)據(jù)的基礎(chǔ)特性開始，進而解釋分而治之的處理思想，最后介紹一些流行的大數(shù)據(jù)技術(shù)和組件，讀者能夠通過本文了解大數(shù)據(jù)的概念、處理方法和流行技術(shù)。

2019-11-29 15:47:42

Hadoop Spark Flink

合理建立Hadoop數(shù)據(jù)庫的7個步驟

數(shù)據(jù)湖的概念起源于大數(shù)據(jù)的出現(xiàn)——且數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)，Hadoop則是作為存儲和管理數(shù)據(jù)的平臺而出現(xiàn)。但是，盲目地投入Hadoop數(shù)據(jù)湖建設(shè)并不一定會使您的企業(yè)進入大數(shù)據(jù)時代——至少不是以一種成功的方式。

2019-11-18 21:11:37

Hadoop 數(shù)據(jù)湖數(shù)據(jù)科學(xué)

HDFS架構(gòu)詳解！會了這個，Hadoop還難理解嗎？

Hadoop是目前大數(shù)據(jù)領(lǐng)域最主流的一套技術(shù)體系，包含了多種技術(shù)。包括HDFS(分布式文件系統(tǒng))，YARN(分布式資源調(diào)度系統(tǒng))，MapReduce(分布式計算系統(tǒng))，等等。

2019-11-06 08:54:21

HDFS Hadoop MapReduce

兄弟，這種思路講解HDFS你肯定沒見過，快速入門Hadoop必備

大數(shù)據(jù)技術(shù)主要要解決的問題的是大規(guī)模數(shù)據(jù)的計算處理問題，那么首先要解決的就是大規(guī)模數(shù)據(jù)的存儲問題。

2019-11-05 09:35:26

HDFS Hadoop RAID

Hadoop 生態(tài)之 MapReduce 及 Hive 簡介

Hadoop 是一個計算框架，目前大型數(shù)據(jù)計算框架常用的大致有五種：僅批處理框架：Apache hadoop；僅流處理框架：Apache Storm、Apache Samza；混合框架：Apache Spark、Apache Flink.

2019-10-31 09:52:02

Hadoop Java 大數(shù)據(jù)

大數(shù)據(jù)干貨：Hadoop 面試中 7 個必問問題及答案

Hadoop是一個開源軟件框架，用于存儲大量數(shù)據(jù)，并發(fā)處理/查詢在具有多個商用硬件(即低成本硬件)節(jié)點的集群上的那些數(shù)據(jù)。

2019-10-30 15:08:09

大數(shù)據(jù)Hadoop 數(shù)據(jù)中心

10分鐘零基礎(chǔ)就可搞懂的Hadoop架構(gòu)原理，阿里架構(gòu)師詳解

我今天花了大半個下午的時間，寫了這篇hadoop的架構(gòu)，全篇都是以大白話的形式，也算是為后面更加詳細的每一部分開了個好頭吧，如果喜歡請點轉(zhuǎn)發(fā)和關(guān)注，如果有疑問，直接在評論里說出來，大家一起解決，才能進步。

2019-10-24 15:15:19

Hadoop 框架數(shù)據(jù)

10分鐘零基礎(chǔ)就可搞懂的Hadoop架構(gòu)原理，阿里架構(gòu)師詳解

我今天花了大半個下午的時間，寫了這篇hadoop的架構(gòu)，全篇都是以大白話的形式，也算是為后面更加詳細的每一部分開了個好頭吧，如果喜歡請點轉(zhuǎn)發(fā)和關(guān)注，如果有疑問，直接在評論里說出來，大家一起解決，才能進步。

2019-10-24 11:03:56

Hadoop Google 硬件

公司如何選擇數(shù)據(jù)庫？DynamoDB、Hadoop和MongoDB 大比拼

隨著公司數(shù)據(jù)存儲方式的不斷擴展，本文旨在比較公司使用的一些更現(xiàn)代的數(shù)據(jù)庫系統(tǒng)——了解DynamoDB，Hadoop和MongoDB可以提供哪些功能將幫助用戶針對業(yè)務(wù)模型做出更好的決策。

2019-10-23 15:06:23

Hadoop MongoDB 數(shù)據(jù)庫

Hadoop已死？Hadoop萬歲！

各種博客文章、雜志投稿中，“Hadoop已死”的說法死灰復(fù)燃，且又開始甚囂塵上。近年來，Cloudera不再滿足于Hadoop開源平臺的身份，轉(zhuǎn)而以企業(yè)數(shù)據(jù)公司的身份進行營銷。

2019-10-11 08:58:21

Hadoop 開源云

Hadoop之完全分布式集群

首先準(zhǔn)備三臺客戶機（hadoop102，hadoop103，hadoop104），關(guān)閉防火墻，修改為靜態(tài)ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墻

面試系列：深入理解Hadoop架構(gòu)體系

Hadoop架構(gòu)體系面試題：HDFS的進程構(gòu)成及其作用;nameNode進程：負(fù)責(zé)對外展示文件的層級結(jié)構(gòu)、管理客戶端對文件的訪問(如：打開、關(guān)閉、重命名等)、決定文件block與dataNode的對應(yīng)關(guān)系等。

2019-09-24 13:41:22

Hadoop 面試分布式

Hadoop 之 NameNode 元數(shù)據(jù)原理

在對NameNode節(jié)點進行格式化時，調(diào)用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存儲當(dāng)前的元數(shù)據(jù)。Namenode主要維護兩個文件，一個是fsimage，一個是editlog。

2019-09-23 13:03:42

NameNode 元數(shù)據(jù)文件

Hadoop發(fā)生了什么？我們該如何做？

許多組織都關(guān)注Hadoop生態(tài)系統(tǒng)的進一步發(fā)展，并承受著展示數(shù)據(jù)湖價值的壓力。對于企業(yè)來說，至關(guān)重要的是確定如何在Hadoop失敗后成功地實現(xiàn)應(yīng)用程序的現(xiàn)代化，以及實現(xiàn)這一目標(biāo)的更好策略。

2019-09-16 17:16:29

Hadoop 數(shù)據(jù)湖數(shù)據(jù)結(jié)構(gòu)

大數(shù)據(jù)需求使用的六個Hadoop發(fā)行版

Hadoop可以在不同的發(fā)行版中使用，因為公司通常將其作為打包交易提供。它使用Hadoop分布式文件系統(tǒng)(HDFS)，它允許使用不同的平臺和執(zhí)行并行數(shù)據(jù)處理的能力。在這里，我們將討論六種可用于滿足大數(shù)據(jù)需求的Hadoop發(fā)行版。

2019-08-26 09:39:53

Hadoop 發(fā)行版大數(shù)據(jù)

大數(shù)據(jù)需求使用的六個Hadoop發(fā)行版

Apache Hadoop是一個出色的軟件框架，允許處理大數(shù)據(jù)元素。它可以通過采用模塊化系統(tǒng)和處理大量數(shù)據(jù)來使用商用硬件的強大功能。Hadoop可以在不同的發(fā)行版中使用，因為公司通常將其作為打包交易提供。

2019-08-26 09:20:43

Hadoop 大數(shù)據(jù)數(shù)據(jù)庫

Hadoop是什么，能干什么，怎么使用

Hadoop是由java語言編寫的，在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。

2019-08-09 16:01:18

Hadoop 數(shù)據(jù)庫

學(xué)Hadoop你必須要知道的

Hadoop是由java語言編寫的，在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。

2019-08-06 14:54:22

Hadoop 數(shù)據(jù)集海量數(shù)據(jù)

簡述Hadoop之后大數(shù)據(jù)的未來在誰的身上

本篇文章小編就給讀者們探討一下Hadoop之后大數(shù)據(jù)的未來在誰的身上，對大數(shù)據(jù)開發(fā)感興趣的小伙伴們就隨小編來了解一下吧。

2019-08-06 14:18:33

Hadoop 大數(shù)據(jù)數(shù)據(jù)分析

Hadoop YARN：調(diào)度性能優(yōu)化實踐

YARN作為Hadoop的資源管理系統(tǒng)，負(fù)責(zé)Hadoop集群上計算資源的管理和作業(yè)調(diào)度。美團的YARN以社區(qū)2.7.1版本為基礎(chǔ)構(gòu)建分支。目前在YARN上支撐離線業(yè)務(wù)、實時業(yè)務(wù)以及機器學(xué)習(xí)業(yè)務(wù)。

2019-08-02 11:28:45

Hadoop YARN 調(diào)度系統(tǒng)

Hadoop與 Spark - 選擇正確的大數(shù)據(jù)框架

我們被各方的數(shù)據(jù)所包圍。隨著數(shù)據(jù)每兩年增加一倍，數(shù)字世界正在快速追逐物理世界。據(jù)估計，到2020年，數(shù)字宇宙將達到44個zettabytes - 與宇宙中的恒星一樣多的數(shù)字位。

2019-07-22 10:45:31

Hadoop Spark 大數(shù)據(jù)

Hadoop現(xiàn)在怎么樣了？

之前我們提到大數(shù)據(jù)的時候就會提到Hadoop，Hadoop是大數(shù)據(jù)的基礎(chǔ)框架，是大數(shù)據(jù)技術(shù)的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生態(tài)圈中的一個又一個開源組件。但是最近好像有點不一樣了。

2019-07-19 15:42:57

Hadoop 大數(shù)據(jù)YuniKorn

Spark和Hadoop的架構(gòu)區(qū)別解讀

總的來說，Spark采用更先進的架構(gòu)，使得靈活性、易用性、性能等方面都比Hadoop更有優(yōu)勢，有取代Hadoop的趨勢，但其穩(wěn)定性有待進一步提高。我總結(jié)，具體表現(xiàn)在如下幾個方面。

2019-07-17 13:25:03

Spark Hadoop 架構(gòu)

大數(shù)據(jù)資料之常見的Hadoop十大應(yīng)用誤解學(xué)習(xí)

大數(shù)據(jù)之常見的Hadoop十大應(yīng)用誤解常見的Hadoop十大應(yīng)用誤解。Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。以下是常見的Hadoop十大應(yīng)用誤解和正解。

2019-07-10 09:21:36

大數(shù)據(jù)數(shù)據(jù)庫 Hadoop

大數(shù)據(jù)的一個時代的結(jié)束了，Hadoop還值得你學(xué)習(xí)嗎？

Hadoop從誕生至今已經(jīng)十三年了。2006年誕生大數(shù)據(jù)，2008年成為Apache的頂尖項目，成為國內(nèi)外互聯(lián)網(wǎng)大數(shù)據(jù)的標(biāo)準(zhǔn)配置之一。長久以來，想要入行大數(shù)據(jù)開發(fā)Hadoop也是必學(xué)。最近確對Hadoop哀聲一片，更多喊得是擁抱云計算，摒棄Hadoop。

2019-06-26 11:05:35

大數(shù)據(jù)Hadoop 云

Hadoop 氣數(shù)已盡？

從本質(zhì)上講，市場上只剩下一個主要的 Hadoop 服務(wù)商 Cloudera。如果我告訴你 Cloudera 很久以前就不是主要搞 Hadoop 的呢?

2019-06-25 11:03:20

Hadoop Google Spark

Hadoop之父：普通程序員到頂級公司CTO的進階之路

做大數(shù)據(jù)開發(fā)的朋友一定用過 Hadoop 這個工具，它是一款支持?jǐn)?shù)據(jù)密集型的分布式應(yīng)用程序。那么接下來就跟雞仔一起來了解被譽為 Hadoop 之父的 Doug Cutting，他到底是何許人也？又有哪些值得我們學(xué)習(xí)的地方呢？

2019-06-21 14:25:07

Hadoop CTO 數(shù)據(jù)庫

萬億數(shù)據(jù)下 Hadoop 的核心競爭力

在大數(shù)據(jù)時代，Hadoop 有著得天獨厚的優(yōu)勢。然而，每個企業(yè)的技術(shù)儲備和需求特點不同，他們希望從海量的客戶數(shù)據(jù)中挖掘真正的商業(yè)價值，像 Google 、Facebook 、Twitter 等這樣的企業(yè)更是 Hadoop 的最早獲益者。那么，今天我們就來聊一聊，萬億數(shù)據(jù)下 Hadoop 的核心競爭力。

2019-06-18 14:12:07

Hadoop 大數(shù)據(jù)數(shù)據(jù)庫

SQL on Hadoop在快手大數(shù)據(jù)平臺的實踐與優(yōu)化

快手大數(shù)據(jù)架構(gòu)工程師鐘靚近日在A2M人工智能與機器學(xué)習(xí)創(chuàng)新峰會分享了題為《SQL on Hadoop在快手大數(shù)據(jù)平臺的實踐與優(yōu)化》的演講，主要從SQL on Hadoop介紹、快手SQL on Hadoop平臺概述、SQL on Hadoop在快手的使用經(jīng)驗和改進分析、快手SQL on Hadoop的未來計劃四方面介紹了SQL on Hadoop架構(gòu)。

2019-05-31 12:03:06

SQL Hadoop 大數(shù)據(jù)

HDFS監(jiān)控背后那些事兒，構(gòu)建Hadoop監(jiān)控共同體

HDFS是Hadoop生態(tài)的一部分，監(jiān)控方案不僅需適用HDFS，其他組件如Yarn、Hbase、Hive等，也需適用。

2019-05-15 10:18:29

HDFS Hadoop 監(jiān)控

如何將Hadoop集成到工作流程中？這6個優(yōu)秀實踐必看

Hadoop是一個軟件庫，它允許在分布式系統(tǒng)中存儲大數(shù)據(jù)集，并借助簡化的編程模塊在集群中處理這些數(shù)據(jù)集。

2019-05-13 08:20:33

Hadoop 集群數(shù)據(jù)庫

基于Hadoop生態(tài)系統(tǒng)的一高性能數(shù)據(jù)存儲格式CarbonData（性能篇）

CarbonData在數(shù)據(jù)查詢的性能表現(xiàn)比Parquet好很多，在寫一次讀多次的場景下非常適合使用;社區(qū)比較活躍，響應(yīng)也很及時。目前官網(wǎng)發(fā)布版本1.3.0與最新的spark穩(wěn)定版Spark2.2.1集成，增加了支持標(biāo)準(zhǔn)的Hive分區(qū)，支持流數(shù)據(jù)準(zhǔn)實時入庫等新特性，相信會有越來越多的項目會使用到。加米谷大數(shù)據(jù)轉(zhuǎn)給大家參考學(xué)習(xí)。

2019-05-08 14:18:40

Hadoop 存儲 CarbonData

百 PB 級 Hadoop 集群存儲空間治理

現(xiàn)在這個世道，隨便什么公司什么人都張嘴閉嘴大數(shù)據(jù)，連做個幾十人的問卷都敢叫大數(shù)據(jù)調(diào)查分析。真是無知者無畏。

2019-04-26 15:38:34

Hadoop 集群存儲

大數(shù)據(jù)：學(xué)Hadoop好還是Spark好？

相信看這篇文章的你們，都和我一樣對Hadoop和Apache Spark的選擇有一定的疑惑，今天查了不少資料，我們就來談?wù)勥@兩種平臺的比較與選擇吧，看看對于工作和發(fā)展，到底哪個更好。

2019-04-24 13:07:16

Hadoop Spark 分布式架構(gòu)

數(shù)據(jù)分析師、大數(shù)據(jù)開發(fā)、Hadoop開發(fā)工程師等各路人才薪資怎么樣？

根據(jù)中國商業(yè)聯(lián)合會數(shù)據(jù)分析專業(yè)委員會統(tǒng)計，未來中國基礎(chǔ)性數(shù)據(jù)分析人才缺口將達到1400萬，而在BAT企業(yè)招聘的職位里，60%以上都在招大數(shù)據(jù)人才。

2019-04-24 12:45:00

大數(shù)據(jù)就業(yè)平均工資

Hadoop大數(shù)據(jù)分析平臺的介紹性討論

Hadoop是迄今為止MapReduce最主流的執(zhí)行，是一個完全開源的平臺，用于處理大數(shù)據(jù)。它具有足夠的適應(yīng)性，能夠同時處理各種數(shù)據(jù)源，或者匯集不同的信息源(記住進行大規(guī)模處理的最終目標(biāo))或者從數(shù)據(jù)庫中讀取數(shù)據(jù)以便運行處理器 - 學(xué)習(xí)機器學(xué)習(xí)的工作。

2019-04-23 15:35:53

Hadoop 大數(shù)據(jù)數(shù)據(jù)處理

大數(shù)據(jù)開發(fā)：剖析Hadoop和Spark的Shuffle過程差異

本文旨在剖析Hadoop和Spark的Shuffle過程，并對比兩者Shuffle的差異。Shuffle描述的是數(shù)據(jù)從Map端到Reduce端的過程，大致分為排序(sort)、溢寫(spill)、合并(merge)、拉取拷貝(Copy)、合并排序(merge sort)這幾個過程。

2019-04-22 15:24:24

Hadoop Suffle Map端

上一頁 1 2 3 4 5 6 ··· 17 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營