自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<abbr id="iynah"><li id="iynah"></li></abbr>

<legend id="iynah"><track id="iynah"></track></legend>

<abbr id="iynah"><samp id="iynah"></samp></abbr>

<legend id="iynah"></legend>

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點、技術(shù)難點與應用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

共 353 條

大數(shù)據(jù)計算框架Spark之內(nèi)存模型

Executor 端的內(nèi)存模型,包括堆內(nèi)內(nèi)存(On-heap Memory)和堆外內(nèi)存(Off-heap Memory)。

2019-06-27 11:18:00

Spark 內(nèi)存大數(shù)據(jù)

基于Spark的數(shù)據(jù)分析實踐

本文主要分析了 Spark RDD 以及 RDD 作為開發(fā)的不足之處，介紹了 SparkSQL 對已有的常見數(shù)據(jù)系統(tǒng)的操作方法，以及重點介紹了普元在眾多數(shù)據(jù)開發(fā)項目中總結(jié)的基于 SparkSQL Flow 開發(fā)框架。

2019-06-19 16:01:14

Spark 數(shù)據(jù)分析 SparkSQL

為啥Spark 的Broadcast要用單例模式

很多用Spark Streaming 的朋友應該使用過broadcast，大多數(shù)情況下廣播變量都是以單例模式聲明的有沒有粉絲想過為什么?

2019-06-11 09:50:07

Spark Broadcast 代碼

一篇文章了解 Spark Shuffle 內(nèi)存使用

在使用 Spark 進行計算時，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發(fā)生在 Shuffle 階段。那么在 Spark Shuffle 中具體是哪些地方會使用比較多的內(nèi)存而有可能導致 OOM 呢?

2019-06-06 15:22:07

Spark Shuffle 內(nèi)存

Spark 靜態(tài)內(nèi)存管理詳解

spark從1.6開始引入了動態(tài)內(nèi)存管理模式，即執(zhí)行內(nèi)存和存儲內(nèi)存之間可以互相搶占。sspark提供兩種內(nèi)存分配模式：靜態(tài)內(nèi)存管理和動態(tài)內(nèi)存管理。

2019-05-30 11:04:52

內(nèi)存 Spark 管理

美團是如何應用Spark處理大數(shù)據(jù)的？

美團最初的數(shù)據(jù)處理以Hive SQL為主，底層計算引擎為MapReduce，部分相對復雜的業(yè)務會由工程師編寫MapReduce程序?qū)崿F(xiàn)。

2019-05-29 10:42:06

大數(shù)據(jù)IT 人工智能

大數(shù)據(jù)：學Hadoop好還是Spark好？

相信看這篇文章的你們，都和我一樣對Hadoop和Apache Spark的選擇有一定的疑惑，今天查了不少資料，我們就來談談這兩種平臺的比較與選擇吧，看看對于工作和發(fā)展，到底哪個更好。

2019-04-24 13:07:16

Hadoop Spark 分布式架構(gòu)

大數(shù)據(jù)開發(fā)：剖析Hadoop和Spark的Shuffle過程差異

本文旨在剖析Hadoop和Spark的Shuffle過程，并對比兩者Shuffle的差異。Shuffle描述的是數(shù)據(jù)從Map端到Reduce端的過程，大致分為排序(sort)、溢寫(spill)、合并(merge)、拉取拷貝(Copy)、合并排序(merge sort)這幾個過程。

2019-04-22 15:24:24

Hadoop Suffle Map端

一篇文章看懂 Spark RDD

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。它產(chǎn)生于 UC Berkeley AMP Lab，繼承了 MapReduce 的優(yōu)點，但是不同于 MapReduce 的是，Spark 可以將結(jié)果保存在內(nèi)存中，一直迭代計算下去，除非遇到 shuffle 。

2019-04-17 15:16:00

Spark shuffle 算法

從源碼解密Spark內(nèi)存管理

我們都知道spark之所以比mapreduce計算的快，是因為他是基于內(nèi)存的，不用每次計算完都寫磁盤，再讀取出來進行下一次計算，spark直接把內(nèi)存作為數(shù)據(jù)的臨時儲存介質(zhì)。所以mapreduce就沒有強調(diào)內(nèi)存管理，而spark需要管理內(nèi)存。

2019-04-17 14:44:42

Spark 內(nèi)存源碼

大數(shù)據(jù)計算框架Spark之任務調(diào)度

Spark有幾種資源調(diào)度設(shè)施。每個Spark Application(SparkContext實例)獨立地運行在一組executor進程內(nèi)。cluster manager為應用間的調(diào)度提供設(shè)施。在每個Spark應用內(nèi)，如果將多個job(多個spark action)提交給不同的線程，那么他們會并行運行

2019-04-08 17:11:46

大數(shù)據(jù)框架 Spark

大數(shù)據(jù)的技術(shù)生態(tài)？Hadoop、Hive、Spark之間是什么關(guān)系？

大數(shù)據(jù)本身是個很寬泛的概念，Hadoop生態(tài)圈(或者泛生態(tài)圈)基本上都是為了處理超過單機尺度的數(shù)據(jù)處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。

2019-03-12 11:12:50

大數(shù)據(jù)Hadoop Spark

Spark 靜態(tài)內(nèi)存管理詳解

spark從1.6開始引入了動態(tài)內(nèi)存管理模式，即執(zhí)行內(nèi)存和存儲內(nèi)存之間可以互相搶占。spark提供兩種內(nèi)存分配模式：靜態(tài)內(nèi)存管理和動態(tài)內(nèi)存管理。

2018-12-18 14:37:26

Spark 內(nèi)存管理

用Spark 來做大規(guī)模圖形挖掘：第一部分

對于數(shù)據(jù)科學家，圖形是一個非常令人著迷的研究課題，標記數(shù)據(jù)的方法在處理機器學習問題并不總是有效。圖形在無監(jiān)督上下文中非常強大，因為它們通過利用數(shù)據(jù)的基礎(chǔ)子結(jié)構(gòu)來充分利用您擁有的數(shù)據(jù)。

2018-11-15 14:52:15

Spark 數(shù)據(jù)機器學習

Apache Kafka與Spark Streaming的兩種整合方法及其優(yōu)缺點譯文

我們在將Apache Kafka與Spark Streaming整合的實戰(zhàn)過程中，一般可以選用兩種方面來配置Spark Streaming，并接收來自Kafka的數(shù)據(jù)。第一種是利用接收器和Kafka的高級API;而第二種新的方法則并不使用接收器。這兩種方法在性能特征和語義保持上，有著不同的編程模式。

2018-10-24 09:00:26

Kafka Spark 數(shù)據(jù)

Adaptive Execution 讓 Spark SQL 更智能更高效

本文介紹的 Adaptive Execution 將可以根據(jù)執(zhí)行過程中的中間數(shù)據(jù)優(yōu)化后續(xù)執(zhí)行，從而提高整體執(zhí)行效率。核心在于兩點,執(zhí)行計劃可動態(tài)調(diào)整、調(diào)整的依據(jù)是中間結(jié)果的精確統(tǒng)計信息。

2018-10-23 15:20:29

Spark Shuffle Spark SQL

比拼生態(tài)和未來，Spark和Flink哪家強？

Spark 和 Flink 都是通用的開源大規(guī)模處理引擎，目標是在一個系統(tǒng)中支持所有的數(shù)據(jù)處理以帶來效能的提升。兩者都有相對比較成熟的生態(tài)系統(tǒng)。是下一代大數(shù)據(jù)引擎最有力的競爭者。

2018-10-15 15:12:12

Spakr Flink 大數(shù)據(jù)

大數(shù)據(jù)干貨 | 論Spark高手是怎樣煉成的

大數(shù)據(jù)的處理怎么能變快一點，答案是請用spark，因為它是基于內(nèi)存的，可以有效減少數(shù)據(jù)的落地次數(shù)。Spark性能超過Hadoop百倍，從多迭代批量處理出發(fā)，兼收并蓄數(shù)據(jù)倉庫、流處理和圖計算等多種計算范式，是罕見的全能選手。

2018-10-12 14:26:04

Spark Spark框架 Scala

Spark灰度發(fā)布在十萬級節(jié)點上的實踐

本文介紹了頂級互聯(lián)網(wǎng)公司數(shù)萬節(jié)點下 Spark 的 CI 與 CD & CD 灰度發(fā)布實踐。包含如何維護源代碼，如何維護 Release 多版本，開發(fā)版與正式版，以及如何實現(xiàn)灰度發(fā)布，如何進行 hotfix 等。為了提高本文內(nèi)容的可借鑒性，隱去了公司特有內(nèi)容，只保留通用部分。

2018-10-09 14:31:32

Spark CI 灰度

高性能Spark作業(yè)基礎(chǔ)：你必須知道的調(diào)優(yōu)原則及建議

筆者根據(jù)之前的Spark作業(yè)開發(fā)經(jīng)驗以及實踐積累，總結(jié)出了一套Spark作業(yè)的性能優(yōu)化方案。本文作為Spark性能優(yōu)化指南的基礎(chǔ)篇，主要講解開發(fā)調(diào)優(yōu)以及資源調(diào)優(yōu)。

2018-08-24 07:17:41

Spark 大數(shù)據(jù)調(diào)優(yōu)

Apache Spark 統(tǒng)一內(nèi)存管理模型詳解

本文將對 Spark 的內(nèi)存管理模型進行分析，下面的分析全部是基于 Apache Spark 2.2.1 進行的。為了讓下面的文章看起來不枯燥，我不打算貼出代碼層面的東西。文章僅對統(tǒng)一內(nèi)存管理模塊(UnifiedMemoryManager)進行分析。

2018-08-09 11:06:39

Apache Spar 內(nèi)存模型

對Spark的那些【魔改】

這兩年做 streamingpro 時，不可避免的需要對Spark做大量的增強。就如同我之前吐槽的，Spark大量使用了new進行對象的創(chuàng)建，導致里面的實現(xiàn)基本沒有辦法進行替換。

2018-08-06 12:10:57

Spark RPC Server 代碼

大數(shù)據(jù)處理引擎Spark與Flink大比拼

正在Spark如日中天高速發(fā)展的時候，2016年左右Flink開始進入大眾的視野并逐漸廣為人知。為什么呢?原來在人們開始使用Spark之后，發(fā)現(xiàn)Spark雖然支持各種常見場景，但并不是每一種都同樣好用。而Flink憑借更優(yōu)的流處理引擎，同時也支持各種處理場景，成為Spark的有力挑戰(zhàn)者。

2018-07-25 15:31:51

Spark Flink 大數(shù)據(jù)

Spark性能優(yōu)化：開發(fā)調(diào)優(yōu)篇

在大數(shù)據(jù)計算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計算平臺之一。本文作為Spark性能優(yōu)化指南的基礎(chǔ)篇，主要講解開發(fā)調(diào)優(yōu)以及資源調(diào)優(yōu)。

2018-07-18 12:12:20

Spark 大數(shù)據(jù)代碼

機器學習實踐：如何將Spark與Python結(jié)合？

Apache Spark是處理和使用大數(shù)據(jù)最廣泛的框架之一，Python是數(shù)據(jù)分析、機器學習等領(lǐng)域最廣泛使用的編程語言之一。如果想要獲得更棒的機器學習能力，為什么不將Spark和Python一起使用呢?

2018-06-23 13:55:15

Apache Spar Python 數(shù)據(jù)

還不收藏？Spark動態(tài)內(nèi)存管理源碼解析！

Spark有兩種內(nèi)存管理模式，靜態(tài)內(nèi)存管理(Static MemoryManager)和動態(tài)（統(tǒng)一）內(nèi)存管理（Unified MemoryManager）。動態(tài)內(nèi)存管理從Spark1.6開始引入，在SparkEnv.scala中的源碼可以看到，Spark目前默認采用動態(tài)內(nèi)存管理模式，若將spark.memory.useLegacyMode設(shè)置為true，則會改為采用靜態(tài)內(nèi)存管理。

2018-06-06 08:28:37

Spark 內(nèi)存管理

深度:Hadoop對Spark五大維度正面比拼報告！

為了增加混淆，Spark和Hadoop經(jīng)常與位于HDFS，Hadoop文件系統(tǒng)中的Spark處理數(shù)據(jù)一起工作。但是，它們都是獨立個體，每一個體都有自己的優(yōu)點和缺點以及特定的商業(yè)案例。本文將從以下幾個角度對Spark和Hadoop進行對比：體系結(jié)構(gòu)，性能，成本，安全性和機器學習。

2018-06-04 11:28:49

Hadoop Spark 數(shù)據(jù)

如何在萬億級別規(guī)模的數(shù)據(jù)量上使用 Spark？

Spark 作為大數(shù)據(jù)計算引擎，憑借其快速、穩(wěn)定、簡易等特點，快速的占領(lǐng)了大數(shù)據(jù)計算的領(lǐng)域。本文主要為作者在搭建使用計算平臺的過程中，對于 Spark 的理解，希望能給讀者一些學習的思路。

2018-06-01 09:42:43

數(shù)據(jù)Spark 規(guī)模

一文理清Apache Spark內(nèi)存管理脈絡

本文旨在梳理出 Spark 內(nèi)存管理的脈絡，拋磚引玉，文中闡述的原理基于 Spark 2.1 版本，閱讀本文需要讀者有一定的 Spark 和 Java 基礎(chǔ)，了解 RDD、Shuffle、JVM 等相關(guān)概念。

2018-05-31 20:49:50

Spark 堆內(nèi)內(nèi)存優(yōu)化機制

Spark調(diào)優(yōu)的關(guān)鍵—RDD Cache緩存使用詳解

Spark的開發(fā)調(diào)優(yōu)有一個原則，即對多次使用的RDD進行持久化。如果要對一個RDD進行持久化，只要對這個RDD調(diào)用cache()和persist()即可。

2018-05-28 08:54:45

Spark RDD Cache 緩存

Spark的誤解-不僅Spark是內(nèi)存計算，Hadoop也是內(nèi)存計算

市面上有一些初學者的誤解，他們拿Spark和Hadoop比較時就會說，Spark是內(nèi)存計算，內(nèi)存計算是Spark的特性。請問在計算機領(lǐng)域，MySQL,Redis,SSH框架等等他們不是內(nèi)存計算嗎？依據(jù)馮諾依曼體系結(jié)構(gòu)，有什么技術(shù)的程序不是在內(nèi)存中運行，需要數(shù)據(jù)從硬盤中拉取，然后供CPU進行執(zhí)行？

2018-05-10 09:51:39

Spark 內(nèi)存 Hadoop

spark 自己的分布式存儲系統(tǒng) - BlockManager

BlockManager 是 spark 中至關(guān)重要的一個組件，在 spark的的運行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機制，你才能更加深入的理解 spark。今天我們來揭開 BlockaManager 的底層原理和設(shè)計思路，

2018-05-10 09:34:21

spark 存儲系統(tǒng)

從術(shù)語到Spark，10篇必讀大數(shù)據(jù)學習資源

本文給想進入大數(shù)據(jù)領(lǐng)域的朋友提供了一系列的資源，由淺入深，比如“需要了解的51條大數(shù)據(jù)術(shù)語”、“學習python的四個理由”、“十一個必須要參加的大數(shù)據(jù)會議”等有趣的話題。

2018-05-06 16:59:14

大數(shù)據(jù)python 數(shù)據(jù)可視化

大數(shù)據(jù)有道之spark選擇去重

spark是基于內(nèi)存運算的大數(shù)據(jù)分布式并行計算框架，本身具有豐富的API，可實現(xiàn)與HDFS、HBase、Hive、Kafka、Elasticsearch、Druid等組件的交互，同時也是優(yōu)秀的MapReduce替代方案。

2018-04-25 08:45:46

大數(shù)據(jù)

Spark streaming中持久保存的RDD/有狀態(tài)的內(nèi)存

以spark streaming為例，就是希望有個數(shù)據(jù)集能夠在當前批次中更新，再下個批次后又可以繼續(xù)訪問。一個最簡單的實現(xiàn)是在driver的內(nèi)存中，我們可以自行保存一個大的內(nèi)存結(jié)構(gòu)。這種hack的方式就是我們無法利用spark提供的分布式計算的能力。

2018-04-18 08:54:28

RDD 內(nèi)存 Spark

大數(shù)據(jù)之謎Spark基礎(chǔ)篇，核心RDD特征分析講解

RDD(Resilient Distributed Datasets)彈性分布式數(shù)據(jù)集，是分布式內(nèi)存的一個抽象概念。我們可以抽象的代表對應一個HDFS上的文件，但是他實際上是被分區(qū)的，分為多個分區(qū)撒落在Spark集群中的不同節(jié)點上。

2018-04-17 09:03:01

Spark RDD 大數(shù)據(jù)

Spark及Spark Streaming核心原理及實踐

本文依次從spark生態(tài)，原理，基本概念，spark streaming原理及實踐，還有spark調(diào)優(yōu)以及環(huán)境搭建等方面進行介紹，希望對大家有所幫助。

2018-04-09 12:25:11

Spark Spark Strea 大數(shù)據(jù)

思科Spark Room 70搭載全球首款基于AI的會議語音助手，全新登場

思科作為在會議領(lǐng)域中推進人工智能應用的思想領(lǐng)袖和技術(shù)先驅(qū)，自上世紀90年代至今，在AI發(fā)展的每個階段中，始終以行業(yè)領(lǐng)導者的姿態(tài)推動AI創(chuàng)新與發(fā)展。

2018-03-22 14:44:48

Spark核心技術(shù)原理透視一（Spark運行原理）

在大數(shù)據(jù)領(lǐng)域，只有深挖數(shù)據(jù)科學領(lǐng)域，走在學術(shù)前沿，才能在底層算法和模型方面走在前面，從而占據(jù)領(lǐng)先地位。Spark的這種學術(shù)基因，使得它從一開始就在大數(shù)據(jù)領(lǐng)域建立了一定優(yōu)勢。無論是性能，還是方案的統(tǒng)一性，對比傳統(tǒng)的Hadoop，優(yōu)勢都非常明顯。

2018-03-21 11:05:26

Spark 大數(shù)據(jù)應用程序

Apache Spark 2.3重要特性介紹

為了繼續(xù)實現(xiàn) Spark 更快，更輕松，更智能的目標，Spark 2.3 在許多模塊都做了重要的更新，比如 Structured Streaming 引入了低延遲的連續(xù)處理(continuous processing)等。

2018-03-05 17:29:52

Spark Apache Spar Spark 2.3

Hadoop進入寒冬期，崛起的會是Spark嗎?

年初的調(diào)查中，Hadoop被列為2018年大數(shù)據(jù)領(lǐng)域的“漸凍”趨勢之一，Gartner的調(diào)查也揭示了Hadoop使用量的下滑，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。如果Hadoop開始進入寒冬期，率先崛起的會是呼聲最高的Spark嗎?

2018-03-01 14:56:11

Hadoop Spark 大數(shù)據(jù)

外媒速遞：Hadoop對Spark的正面比拼報告原創(chuàng)

每一年，市場上都持續(xù)出現(xiàn)各類擁有不同數(shù)據(jù)管理規(guī)模、類型與速度表現(xiàn)的分布式系統(tǒng)。在這類方案當中，Hadoop與Spark無疑是最令人矚目的兩款。然而，二者到底孰強孰弱?

2018-03-01 08:39:34

Hadoop Spark 加密貨幣

一個Spark緩存的使用示例

之前一直不是非常理解Spark的緩存應該如何使用. 今天在使用的時候, 為了提高性能, 嘗試使用了一下Cache, 并收到了明顯的效果。關(guān)于Cache的一些理論介紹, 網(wǎng)上已經(jīng)很多了. 但是貌似也沒有一個簡單的例子說明。

2018-02-08 18:00:49

Spark 文件測試

Apache Spark中的決策樹

Apache Spark中沒有決策樹的實現(xiàn)可能聽起來很奇怪。然而從技術(shù)上來說是有的。在Apache Spark中，您可以找到一個隨機森林算法的實現(xiàn)，該算法實現(xiàn)可以由用戶指定樹的數(shù)量。因此，Apache Spark使用一棵樹來調(diào)用隨機森林。

2018-02-02 15:50:07

決策樹 Apache Spar 數(shù)據(jù)

基于Hadoop生態(tài)SparkStreaming的大數(shù)據(jù)實時流處理平臺的搭建

本人準備開始著手改造原系統(tǒng)中的數(shù)據(jù)處理方式，重新搭建一個實時流處理平臺，主要是基于hadoop生態(tài)，利用Kafka作為中轉(zhuǎn)，SparkStreaming框架實時獲取數(shù)據(jù)并清洗，將結(jié)果多維度的存儲進HBase數(shù)據(jù)庫。

2018-01-31 21:26:48

Hadoop SparkStream 大數(shù)據(jù)

平安科技與SparkLabs聯(lián)合發(fā)布全球金融科技加速器

2018-01-24 17:38:26

大數(shù)據(jù)處理為何選擇Spark，而不是Hadoop

Spark是一個用來實現(xiàn)快速而通用的集群計算的平臺。在速度方面，Spark擴展了廣泛使用的MapReduce計算模型，而且高效地支持更多計算模式，包括交互式查詢和流處理。

2018-01-22 08:33:28

Spark Hadoop 計算

Hadoop和Spark之間有什么區(qū)別，現(xiàn)工業(yè)界都在使用何種技術(shù)?

談到大數(shù)據(jù)，相信大家對hadoop和Apache Spark這兩個名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚Hadoop將死，Spark將立。他們究竟是危言聳聽?嘩眾取寵?還是眼光獨到堪破未來呢?與Hadoop相比，Spark技術(shù)如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術(shù)都在使用何種技術(shù)?如果現(xiàn)在想要參加大數(shù)據(jù)培訓的話，應該從哪一種開始呢?

2017-12-27 14:39:07

Hadoop Spark 大數(shù)據(jù)

從源碼看Spark讀取Hive表數(shù)據(jù)小文件和分塊的問題

本文涉及源碼基于Spark2.0.0和Hadoop2.6.0，不同版本代碼可能不一致，需自己對應。此外針對TextInputFormat格式的Hive表，其他格式的比如Parquet有Spark自己的高效實現(xiàn)，不在討論范圍之內(nèi)

2017-12-21 11:19:40

Spark Hive表 HadoopRDD

如何提高Spark姿勢水平

本文的依據(jù)是我學習整個Spark的學習歷程。在這里，我會從幾個方面來跟大家一起討論。Spark 是什么？Spark 跟 Hadoop 有什么淵源？Spark 有哪些方便的組件？什么場景下用 Spark ，如何使用？以及用什么樣的姿勢來學習 Spark 會比較好？

2017-12-12 16:43:54

Spark Hadoop 水平

上一頁 1 2 3 4 5 6 ··· 8 下一頁

51CTO技術(shù)棧公眾號

業(yè)務
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學堂精培企業(yè)培訓 CTO訓練營