自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<thead id="sx1ok"></thead>

<sub id="sx1ok"><p id="sx1ok"></p></sub>

<p id="sx1ok"></p>

<ruby id="sx1ok"><font id="sx1ok"></font></ruby>

<center id="sx1ok"></center><sub id="sx1ok"><p id="sx1ok"></p></sub>

<style id="sx1ok"></style>

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點、技術(shù)難點與應用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。

共 69 條

帶你深入淺出，徹底了解什么是Spark？

????????大數(shù)據(jù)專業(yè)，或者人工智能，深度學習方向的小伙伴們一定對Spark這個名詞不陌生吧~不認識也沒有關(guān)系，今天Alice為大家?guī)黻P(guān)于Spark的一個詳細介紹。文章目錄激動人心的Spark發(fā)展史Spark為什么流行？1：優(yōu)秀的數(shù)據(jù)模型和計算抽象2：完善的生態(tài)圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)面試殺招——Spark高頻考點，必知必會!

關(guān)于大數(shù)據(jù)面試中Spark的高頻考點，快來學習!

2021-06-01 17:20:31

如何監(jiān)控Azure Databricks集群資源使用率

Azure Databricks可以監(jiān)控嗎？如何監(jiān)控Azure Databricks呢？這篇文章給你答案！

2021-05-21 15:19:58

Azure Datab Databricks 監(jiān)控

網(wǎng)易Spark Kyuubi核心架構(gòu)設計與源碼實現(xiàn)剖析

本文較為系統(tǒng)、全面并且由淺入深地介紹了網(wǎng)易Spark Kyuubi出現(xiàn)的背景、核心架構(gòu)設計與關(guān)鍵源碼實現(xiàn)，是學習、應用和對Kyuubi進行二次開發(fā)不可多得的技術(shù)干貨。

2021-05-17 03:41:26

大數(shù)據(jù)Spark Kyuubi

prometheus+ Grafana監(jiān)控全家桶

普羅米修斯監(jiān)控操作系統(tǒng)，elasticsearch、kafka、flink

2021-05-13 10:04:17

普羅米修斯監(jiān)控es prometheus prometheus

實時計算框架：Flink集群搭建與運行機制

Flink是一個框架和分布式處理引擎，用于對無界和有界數(shù)據(jù)流進行有狀態(tài)計算。Flink被設計在所有常見的集群環(huán)境中運行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算。主要特性包括：批流一體化、精密的狀態(tài)管理、事件時間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機集群上獨立部署。在啟用高可用選項的情況下，它不存在單點失效問題。

2021-05-09 19:33:48

Flink Spark 大數(shù)據(jù)

實時計算框架：Spark集群搭建與入門案例

Spark是專為大規(guī)模數(shù)據(jù)處理而設計的，基于內(nèi)存快速通用,可擴展的集群計算引擎，實現(xiàn)了高效的DAG執(zhí)行引擎,可以通過基于內(nèi)存來高效處理數(shù)據(jù)流，運算速度相比于MapReduce得到了顯著的提高。

2021-04-26 08:32:07

Spark 大數(shù)據(jù)實時計算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit類圖分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

Spark性能調(diào)優(yōu)-Shuffle調(diào)優(yōu)及故障排除篇

Spark調(diào)優(yōu)之Shuffle調(diào)優(yōu)本節(jié)開始先講解Shuffle核心概念；然后針對HashShuffle、SortShuffle進行調(diào)優(yōu)；接下來對map端、reduce端調(diào)優(yōu)；再針對Spark中的數(shù)據(jù)傾斜問題進行剖析及調(diào)優(yōu)；最后是Spark運行過程中的故障排除。本文首發(fā)于公眾號【五分鐘學大數(shù)據(jù)】，本公號專注于大數(shù)據(jù)技術(shù)，分享高質(zhì)量大數(shù)據(jù)原創(chuàng)技術(shù)文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大數(shù)據(jù)spark

Spark性能調(diào)優(yōu)-RDD算子調(diào)優(yōu)篇（深度好文，面試常問，建議收藏）

Spark調(diào)優(yōu)之RDD算子調(diào)優(yōu)不廢話，直接進入正題！1. RDD復用在對RDD進行算子時，要避免相同的算子和計算邏輯之下對RDD進行重復的計算，如下圖所示：RDD的重復計算對上圖中的RDD計算架構(gòu)進行修改，得到如下圖所示的優(yōu)化結(jié)果：RDD架構(gòu)優(yōu)化2. 盡早filter獲取到初始RDD后，應該考慮盡早地過濾掉不需要的數(shù)據(jù)，進而減少對內(nèi)存的占用，從而提升Spark作業(yè)的運行效率。本文首發(fā)于公眾號：五分

2021-03-06 09:43:48

大數(shù)據(jù)spark 大數(shù)據(jù)面試

Flink實戰(zhàn)，APP推廣情況分析

接著https://blog.51cto.com/mapengfei/2581240這里用Flink來實現(xiàn)對APP在每個渠道的推廣情況包括下載、查看、卸載等等行為的分析因為之前的文章都是用scala寫的，這篇用java來實現(xiàn)一波，分別演示下用aggregate聚合方式和process方式的實現(xiàn)和效果整體思路1、準備好數(shù)據(jù)源：這里用SimulatedSource來自己隨機造一批數(shù)據(jù)2、準備數(shù)據(jù)輸入樣

2021-01-10 21:13:17

flink APP統(tǒng)計 flink java

Flink實戰(zhàn)，實時流量統(tǒng)計 TOPN訪問URL

跟https://blog.51cto.com/mapengfei/2580330類似場景，來從Nginx、Apache等web服務器的日志中讀取數(shù)據(jù)，實時統(tǒng)計出來訪問熱度最高的TOPN訪問URL，并且要確保數(shù)據(jù)亂序的處理，lag等情況下，還要確認數(shù)據(jù)的準確性目標：從log文件中讀取數(shù)據(jù)（也可以參考上一篇從kakfa中），取http的method為get的請求，并且把靜態(tài)文件訪問過濾掉，進行實時統(tǒng)

2021-01-03 17:09:18

flink統(tǒng)計熱門ur 實時流量統(tǒng)計

Flink從入門到真香(16、Flink內(nèi)置的一些Process Function)

之前的轉(zhuǎn)換算子是無法訪問事件的時間戳信息和水位線信息的，而這在一些應用場景下，極為重要。例如MapFunction這樣子的map轉(zhuǎn)換算子就無法訪問時間戳或者當前事件的事件事件?；诖?，DataStreamAPI提供了一系列LOW-LEVEL的轉(zhuǎn)換算子調(diào)用?？梢栽L問時間戳，watermark以及注冊定時事件，還可以輸出特定的一些事件，例如超時時間等。processfunction用來構(gòu)建事件驅(qū)動的應

2020-11-25 21:54:42

Flink check checkpoint 狀態(tài)后端

生產(chǎn)SparkStreaming數(shù)據(jù)零丟失最佳實踐(含代碼)

生產(chǎn)上保證數(shù)據(jù)零丟失(斷批還原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive實戰(zhàn)案例與常見問題解決

Spark on Yarn with Hive實戰(zhàn)案例與常見問題解決

2018-10-09 11:14:27

Spark Yarn Hive

記錄一則Spark讀寫和Lost Excutor錯誤的分析和解決過程

一、概述上篇blog記錄了些在用spark-sql時遇到的一些問題，今天繼續(xù)記錄用Spark提供的RDD轉(zhuǎn)化方法開發(fā)公司第一期標簽分析系統(tǒng)（一部分scala作業(yè)邏輯代碼后面blog再給大家分享）遇到的一些SPARK作業(yè)錯誤信息。其中有些問題可能一些數(shù)據(jù)量或者shuffle量比較小的作業(yè)時不會遇到的，我們整套標簽系統(tǒng)的初級輸入數(shù)據(jù)大概是8T左右，這里也是個參考。(下面的Spark部署模

2015-02-27 18:10:20

利用saltstack的api接口和modules實現(xiàn)實時監(jiān)控

前言：其實一說起實時監(jiān)控，我就有很多的感想 ~ 以前也做過幾個類似的全網(wǎng)流量監(jiān)控的項目，用過websocket的模式的，還有就是redis pubsub模式，還有就是從同事的nagios獲取流量數(shù)據(jù)（這個結(jié)果很郁悶，nagios加了Ndoutils插件后可以把數(shù)據(jù)存入到mysql里面，當時水平不到位，獲取的數(shù)據(jù)有斷鏈，原因不明）。這些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

flex viewstack的簡單應用

1 Flex API里面介紹viewstack： MX ViewStack 導航器容器由一組彼此上下堆疊的子容器組成，其中一次只可以顯示一個子容器。選擇另一個子容器后，它將顯示在原來子容器的位置處，所以看起來好像此子容器替換了原來的子容器。但是，原來的子容器仍然存在，只不過它現(xiàn)在處于不可見

2012-04-24 09:27:53

Flex SDK 4(Gumbo)更方便的自定義樣式、自定義SparkSkin（二）

上一篇文章介紹了在Flex SDK 4(Gumbo)如何通過代碼來設定樣式，本篇文章詳細說明一下這些代碼的含義。由于上一篇文章已經(jīng)給出代碼，因此在本篇文章中就不再重復了。自定義Button的mxml的代碼解釋： 1、<s:SparkSkin xmlns:s="library://ns.adobe.

2009-07-06 09:00:25

Flex FB4新體驗 SolidColor

51CTO技術(shù)棧公眾號

業(yè)務
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學堂精培企業(yè)培訓 CTO訓練營