自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點、技術(shù)難點與應(yīng)用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

共 69 條

【Pyspark】常用數(shù)據(jù)分析基礎(chǔ)操作

文章目錄零、準(zhǔn)備工作0.1 安裝pyspark一、pyspark.sql部分1.窗口函數(shù)2.更換列名：3.sql將一個字段根據(jù)某個字符拆分成多個字段顯示4.pd和spark的dataframe進行轉(zhuǎn)換

2023-04-14 16:42:26

數(shù)據(jù)分析 pyspark 特征工程

數(shù)據(jù)測試實踐：從一個bug開始的大數(shù)據(jù)引擎兼容性探索

在大數(shù)據(jù)時代，精準(zhǔn)而有效的數(shù)據(jù)對于每個致力于長期發(fā)展的組織來說都是重要資產(chǎn)之一，而數(shù)據(jù)測試更是不可或缺的一部分。數(shù)據(jù)測試不僅關(guān)注數(shù)據(jù)加工的代碼邏輯，還要考慮大數(shù)據(jù)執(zhí)行引擎帶來的影響，因為各種引擎框架將對同一份數(shù)據(jù)產(chǎn)生不同的計算或檢索結(jié)果。本文將從一個年度賬單bug引入，講解在數(shù)據(jù)測試實踐中對大數(shù)據(jù)執(zhí)行引擎兼容性差異的探索。

2023-03-07 11:32:05

Hive 大數(shù)據(jù)數(shù)據(jù)測試

Spark數(shù)據(jù)清洗【時間數(shù)據(jù)處理】

spark處理日期數(shù)據(jù)全解

2023-03-06 12:14:17

spark 日期時間毫秒級時間戳

Spark Shuffle解析

1 Shuffle的核心要點1.1 ShuffleMapStage與ResultStage圖ShuffleMapStage與ResultStage在劃分stage時，最后一個stage稱為finalStage，它本質(zhì)上是一個ResultStage對象，前面的所有stage被稱為ShuffleMapStage。ShuffleMapStage的結(jié)束伴隨著shuffle文件的寫磁盤。ResultStag

2023-01-31 09:09:34

數(shù)據(jù)運行機制數(shù)據(jù)結(jié)構(gòu)

Spark 通訊架構(gòu)和調(diào)度

1、Spark 通訊架構(gòu)1.1 Spark通信架構(gòu)概述Spark2.x版本使用Netty通訊框架作為內(nèi)部通訊組件。spark 基于netty新的rpc框架借鑒了Akka的中的設(shè)計，它是基于Actor模型，如下圖所示：圖 Actor模型Spark通訊框架中各個組件（Client/Master/Worker）可以認(rèn)為是一個個獨立的實體，各個實體之間通過消息來進行通信。具體各個組件之間的關(guān)系圖如下：圖

2023-01-30 14:18:38

調(diào)度策略數(shù)據(jù)任務(wù)調(diào)度

大數(shù)據(jù)Zookeeper-01.單機環(huán)境安裝

Zookeeper單機環(huán)境安裝

2023-01-17 17:04:06

Zookeeper 大數(shù)據(jù)數(shù)據(jù)分析

Hudi Upsert原理

2022-11-24 10:07:15

數(shù)據(jù)加載 spark

【W(wǎng)eb開發(fā)】Python實現(xiàn)Web儀表盤功能（Grafana）

Grafana是一個開源的，擁有豐富dashboard和圖表編輯的指標(biāo)分析平臺，

2022-11-05 22:38:55

python web server grafana

SQL進階篇之函數(shù)

SQL 擁有很多可用于計數(shù)和計算的內(nèi)建函數(shù)，他們可以讓數(shù)據(jù)統(tǒng)計工作更加便利

2022-10-21 00:40:10

sql 結(jié)果集函數(shù)返回

SQL進階篇之高級應(yīng)用

在實際的數(shù)據(jù)庫使用中，除了CRUD，還有很多高級應(yīng)用值得學(xué)習(xí)和掌握，能夠在平時的工作中得到很多便利

2022-10-19 04:15:11

sql 數(shù)據(jù)類型結(jié)果集

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過，面試題已配答案

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過，面試題已配答案

2022-10-18 12:25:24

spark hadoop 大數(shù)據(jù)開發(fā)面試題

Spark常規(guī)性能調(diào)優(yōu)（一）

1、常規(guī)性能調(diào)優(yōu)一：最優(yōu)資源配置Spark性能調(diào)優(yōu)的第一步，就是為任務(wù)分配更多的資源，在一定范圍內(nèi)，增加資源的分配與性能的提升是成正比的，實現(xiàn)了最優(yōu)的資源配置后，在此基礎(chǔ)上再考慮進行后面論述的性能調(diào)優(yōu)策略。資源的分配在使用腳本提交Spark任務(wù)時進行指定，標(biāo)準(zhǔn)的Spark任務(wù)提交腳本如代碼清單所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 數(shù)據(jù)持久化

SQL進階篇之多表聯(lián)查

在實際開發(fā)過程中，隨著產(chǎn)品迭代，多表聯(lián)查無法避免

2022-10-14 17:31:43

sql 結(jié)果集主鍵

SQL進階篇之約束(Constraints)

約束用于限制加入表的數(shù)據(jù)的類型，可以在創(chuàng)建表時規(guī)定約束(通過 CREATE TABLE 語句)，或者在表創(chuàng)建之后也可以(通過 ALTER TABLE 語句)

2022-10-14 15:17:40

sql oracle mysql

Spark常見數(shù)據(jù)傾斜情況及調(diào)優(yōu)方案

1、數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜問題主要指shuffle過程中出現(xiàn)的數(shù)據(jù)傾斜問題，是由于不同的key對應(yīng)的數(shù)據(jù)量不同導(dǎo)致的不同task所處理的數(shù)據(jù)量不同的問題例如，reduce點一共要處理100萬條數(shù)據(jù)，第一個和第二個task分別被分配到了1萬條數(shù)據(jù)，計算5分鐘內(nèi)完成，第三個task分配到了98萬數(shù)據(jù)，此時第三個task可能需要10個小時完成，這使得整個Spark作業(yè)需要10個小時才能運行完成，

2022-10-14 12:01:57

數(shù)據(jù)傾斜數(shù)據(jù)spark

Spark Troubleshooting

1、故障排除一：控制reduce端緩沖大小以避免OOM在Shuffle過程，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入磁盤后再去拉取，而是map端寫一點數(shù)據(jù)，reduce端task就會拉取一小部分?jǐn)?shù)據(jù)，然后立即進行后面的聚合、算子函數(shù)的使用等操作reduce端task能夠拉取多少數(shù)據(jù)，由reduce拉取數(shù)據(jù)的緩沖區(qū)buffer來決定，因為拉取過來的數(shù)據(jù)都是先放在buffer中

2022-10-13 00:28:55

數(shù)據(jù)spark 故障排除

【設(shè)計模式】【第五章】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

【設(shè)計模式】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

設(shè)計模式建造者模式原型模式

Spark面試題——Spark容錯機制

問過的一些公司：頭條，字節(jié)，阿里 x 3，騰訊，競技世界參考答案：1、容錯方式容錯指的是一個系統(tǒng)在部分模塊出現(xiàn)故障時還能否持續(xù)的對外提供服務(wù)，一個高可用的系統(tǒng)應(yīng)該具有很高的容錯性；對于一個大的集群系統(tǒng)來說，機器故障、網(wǎng)絡(luò)異常等都是很常見的，Spark這樣的大型分布式計算集群提供了很多的容錯機制來提高整個系統(tǒng)的可用性。一般來說，分布式數(shù)據(jù)集的容錯性有兩種方式：數(shù)據(jù)檢查點和記錄數(shù)據(jù)的更新。面向大規(guī)模

2022-09-04 09:33:19

大數(shù)據(jù)大數(shù)據(jù)開發(fā)面試題

docker下的spark集群，調(diào)整參數(shù)榨干硬件

調(diào)整docker-compose編排的參數(shù)，充分發(fā)揮硬件信息能運行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark實戰(zhàn)之：分析維基百科網(wǎng)站統(tǒng)計數(shù)據(jù)(java版)

在《尋找海量數(shù)據(jù)集用于大數(shù)據(jù)開發(fā)實戰(zhàn)(維基百科網(wǎng)站統(tǒng)計數(shù)據(jù))》一文中，我們了解了如何獲取維基百科網(wǎng)站的網(wǎng)頁點擊量統(tǒng)計數(shù)據(jù)，并且介紹了數(shù)據(jù)格式的基本內(nèi)容，本文以這些數(shù)據(jù)進行實戰(zhàn)，練習(xí)基本的spark開發(fā)

2022-08-19 00:08:03

spark hadoop java

docker下，極速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群環(huán)境會消耗一些時間和精力，今天咱們就借助docker，極速搭建和體驗spark和hdfs的集群環(huán)境

2022-08-17 00:04:38

spark docker hdfs

第一個spark應(yīng)用開發(fā)詳解(java版)

java版的spark應(yīng)用開發(fā)

2022-08-12 07:13:26

spark java hdfs

領(lǐng)域驅(qū)動設(shè)計系列貧血模型和充血模型

使用領(lǐng)域驅(qū)動設(shè)計至少會帶來下述優(yōu)點：業(yè)務(wù)邏輯被合理的分散到不同的領(lǐng)域?qū)ο笾?，代碼結(jié)構(gòu)更加清晰，可讀性，可維護性更高；對象職責(zé)更加單一，內(nèi)聚度更高；復(fù)雜的業(yè)務(wù)模型可以通過領(lǐng)域建模（UML是一種主要方式）清晰的表達，開發(fā)人員甚至可以在不讀源碼的情況下就能了解業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)，這有利于對現(xiàn)存的系統(tǒng)進行維護和迭代開發(fā)；系統(tǒng)高度模塊化，代碼重用度高，不會出現(xiàn)太多的重復(fù)邏輯。

2022-08-08 13:49:11

事件流 java 迭代

推薦系統(tǒng)-協(xié)同過濾在Spark中的實現(xiàn)

本文以經(jīng)典的協(xié)同過濾為切入點，重點介紹了被工業(yè)界廣泛使用的矩陣分解算法，從理論與實踐兩個維度介紹了該算法的原理，通俗易懂，希望能夠給大家?guī)硪恍﹩l(fā)。

2022-07-25 09:33:44

spark 協(xié)同過濾推薦系統(tǒng)

基于Spark+Grafana可視化電商項目實戰(zhàn)，好文收藏~

原創(chuàng)肝文！基于Spark+Grafana可視化電商項目實戰(zhàn)

2022-05-25 14:30:24

spark sql 數(shù)據(jù)分析

干貨??！基于Spark Graph的社交關(guān)系圖譜項目實戰(zhàn)

原創(chuàng)干貨，基于spark graphframes圖計算的社交關(guān)系圖譜

2022-05-05 08:46:14

spark 圖計算社交關(guān)系圖譜

深入理解Spark原理，從性能優(yōu)化入手

1 Spark任務(wù)文件初始化調(diào)優(yōu)首先進行性能測試，發(fā)現(xiàn)這個視頻圖譜N度級聯(lián)關(guān)系應(yīng)用分為5個job，最后一個job為保存結(jié)果到HDFS，其余job為同樣計算過程的反復(fù)迭代。但是發(fā)現(xiàn)第一個job比其他job又多了個計算階段stage，如圖中紅圈所示。通過閱讀程序代碼，發(fā)現(xiàn)第一個job需要初始化一個空數(shù)組，從而產(chǎn)生了一個stage，但是這個stage在性能測試結(jié)果上顯示，花費了14秒的時間，遠(yuǎn)遠(yuǎn)超出合理

2022-04-29 22:40:14

服務(wù)器 spark 網(wǎng)絡(luò)通信

Spark SQL 字段血緣在 vivo 互聯(lián)網(wǎng)的實踐

字段血緣可以很好的幫助我們了解數(shù)據(jù)生成的處理過程，在探索中我們發(fā)現(xiàn)了可以通過Spark的擴展來優(yōu)雅的實現(xiàn)這一功能

2022-04-25 10:15:07

sql spark sparksql

最強Flink算子大全手冊，面試拿捏了~

Flink基于流編程模型，內(nèi)置了很多強大功能的算子，可以幫助我們快速開發(fā)應(yīng)用程序。特此整理Flink算子手冊，趕快拿去！

2022-03-01 21:43:20

flink scala 面試

第02講：Flink 入門程序 WordCount 和 SQL 實現(xiàn)

Flink系列文章

2022-02-10 21:59:52

漫畫趣解Flink實時數(shù)倉

Flink實時數(shù)倉架構(gòu)一文打盡

2022-01-28 23:36:57

flink 實時數(shù)倉

我是Flink，現(xiàn)在"背"感壓力~

我是Flink，現(xiàn)在“背”感壓力，我太難了~

2022-01-19 21:18:44

flink kafka 實時計算

萬字長文玩轉(zhuǎn)Spark面試: 進大廠必看！#yyds干貨盤點#

大數(shù)據(jù)Spark大廠面試一條龍，硬核干貨~

2022-01-12 00:06:23

spark 實時計算大數(shù)據(jù)

萬字詳解實時計算一致性機制：對比Flink和Spark#yyds干貨盤點#

海量數(shù)據(jù)實時計算：Spark和Flink引擎是如何保證Exactly-Once一致性？

2022-01-11 07:48:20

spark 數(shù)據(jù)kafka

YYDS|不得不看的Spark內(nèi)存管理機制

萬字最全Spark內(nèi)存管理深度剖析

2022-01-09 11:00:37

spark 內(nèi)存管理實時計算

十分鐘手撕Flink雙流JOIN面試

某年某日某君，于某都面試，為Flink雙流JOIN所惑~ 有感而發(fā)，遂下筆，為君解惑~

2022-01-04 22:53:30

Flink 大數(shù)據(jù)程序員

OPPO大數(shù)據(jù)離線計算平臺架構(gòu)演進

OPPO大數(shù)據(jù)離線計算平臺演進道路上，遇到了很多經(jīng)典的大數(shù)據(jù)問題，比如說：shuffle失敗、小文件問題、元數(shù)據(jù)切分、多集群資源協(xié)調(diào)、spark 任務(wù)提交門戶建設(shè)。OPPO大數(shù)據(jù)離線計算平臺團隊依托自身的資源和技術(shù)，不斷探索，務(wù)實的解決平臺發(fā)展中遇到的各種問題。本文圍繞前面提到的五個問題，逐步介紹我們的大數(shù)據(jù)平臺演進之路。

2021-12-22 15:32:33

大數(shù)據(jù)spark yarn

「Spark 從精通到重新入門(二)」Spark 中不可不知的動態(tài)資源分配

資源是影響 Spark 應(yīng)用執(zhí)行效率的一個重要因素。Spark 應(yīng)用中真正執(zhí)行 task 的組件是 Executor，可以通過spark.executor.instances 指定 Spark 應(yīng)用的 Executor 的數(shù)量。在運行過程中，無論 Executor上是否有 task 在執(zhí)行，都會被一直占有直到此 Spark 應(yīng)用結(jié)束。

2021-12-15 13:44:25

spark sql 動態(tài)分配

萬字詳解 Spark 數(shù)據(jù)傾斜及解決方案

本文目錄：一、調(diào)優(yōu)概述\二、數(shù)據(jù)傾斜發(fā)生時的現(xiàn)象\三、數(shù)據(jù)傾斜發(fā)生的原理\四、如何定位導(dǎo)致數(shù)據(jù)傾斜的代碼\五、某個task執(zhí)行特別慢的情況\六、某個task莫名其妙內(nèi)存溢出的情況\七、查看導(dǎo)致數(shù)據(jù)傾斜的key的數(shù)據(jù)分布情況\八、數(shù)據(jù)傾斜的解決方案：解決方案一：使用HiveETL預(yù)處理數(shù)據(jù)解決方案二：過濾少數(shù)導(dǎo)致傾斜的key解決方案三：提高shuffle操作的并行度解決方案四：兩階段聚合（局部聚合+

2021-12-06 10:56:01

數(shù)據(jù)數(shù)據(jù)傾斜 spark

大數(shù)據(jù)面試吹牛草稿V2.0

面試吹牛之前先打個草稿！各位面試官好!本文首發(fā)于微信公眾號【五分鐘學(xué)大數(shù)據(jù)】，公眾號上有很多大數(shù)據(jù)學(xué)習(xí)方法，學(xué)習(xí)文檔，最全的大數(shù)據(jù)面試八股文等1.我叫xxx，畢業(yè)于xxx，之前在xxx公司待了1年多，期間?直從事的是IT行業(yè)，剛開始的時候做的是Java開發(fā)后來轉(zhuǎn)崗到大數(shù)據(jù)方向做大數(shù)據(jù)開發(fā);剛轉(zhuǎn)行到大數(shù)據(jù)開發(fā)的時候開始比較困難的，大數(shù)據(jù)并不像Java那樣?套框架基本可以搞定所有的問題，而是不同的業(yè)務(wù)

2021-12-01 16:55:31

kafka 大數(shù)據(jù)離線

Spark SQL知識點大全與實戰(zhàn)

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于結(jié)構(gòu)化數(shù)據(jù)(structureddata)處理的Spark模塊。與基本的SparkRDDAPI不同，SparkSQL的抽象數(shù)據(jù)類型為Spark提供了關(guān)于數(shù)據(jù)結(jié)構(gòu)和正在執(zhí)行的計算的更多信息。在內(nèi)部，SparkSQL使用這些額外的信息去做一些額外的優(yōu)化，有多種方式與SparkSQL進行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark調(diào)優(yōu) | Spark OOM問題常見解決方式

Spark OOM 問題分析Spark常見的問題不外乎OOM。我們首先看一下Spark 的內(nèi)存模型：Spark在一個Executor中的內(nèi)存分為三塊，一塊是execution內(nèi)存，一塊是storage內(nèi)存，一塊是other內(nèi)存。Execution內(nèi)存是執(zhí)行內(nèi)存，文檔中說join，aggregate都在這部分內(nèi)存中執(zhí)行，shuffle的數(shù)據(jù)也會先緩存在這個內(nèi)存中，滿了再寫入磁盤，能夠減少IO。其實m

2021-11-19 08:48:22

spark 數(shù)據(jù)調(diào)優(yōu)

Flink計算pv和uv的通用方法

PV(訪問量)：即PageView,即頁面瀏覽量或點擊量，用戶每次刷新即被計算一次。UV(獨立訪客)：即UniqueVisitor,訪問您網(wǎng)站的一臺電腦客戶端為一個訪客。00:0024:00內(nèi)相同的客戶端只被計算一次。計算網(wǎng)站App的實時pv和uv，是很常見的統(tǒng)計需求，這里提供通用的計算方法，不同的業(yè)務(wù)需求只需要小改即可拿來即用。需求利用Flink實時統(tǒng)計，從0點到當(dāng)前的pv、uv。一、需求分析從

2021-11-01 11:26:25

Spark讀取MongoDB數(shù)據(jù)的方法與優(yōu)化

1.本文主要介紹了Spark讀區(qū)MongoDB數(shù)據(jù)的方法及自定義分區(qū)抽取數(shù)據(jù)的優(yōu)化方式

2021-10-28 10:36:53

Spark MongoDB 讀取

Flink狀態(tài)管理與狀態(tài)一致性（超級詳細(xì)）

!Flink狀態(tài)(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過 Shuffle 過程將數(shù)據(jù)輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網(wǎng)絡(luò) I/O，因此 Shuffle 性能的高低直接影響整個程序的性能。 Spark 也有 Map 階段和 Reduce 階段，因此也會出現(xiàn) Shuffle 。文章都會首發(fā)在公眾號【五

2021-09-05 10:53:34

用戶路徑分析之利器“桑基圖”

本文帶你走一遭，講講桑基圖的前世今生，桑基圖在互聯(lián)網(wǎng)產(chǎn)品分析領(lǐng)域的應(yīng)用，以及如何用python將一個常見埋點數(shù)據(jù)CSV文件做出漂亮的?；鶊D。

2021-07-10 21:36:04

大數(shù)據(jù)

面試系列五之項目涉及技術(shù)Spark

面試系列五之項目涉及技術(shù)Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基礎(chǔ)環(huán)境

Spark Day02：Spark 基礎(chǔ)環(huán)境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次課程內(nèi)容回顧主要講解2個方面的內(nèi)容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子進階（轉(zhuǎn)換算子、行動算子、緩存、持久化）

0x00 教程內(nèi)容0x01 進階算子操作1. 創(chuàng)建RDD2. 轉(zhuǎn)換算子3. 行動算子0x02 RDD的緩存與持久化1. 緩存與持久化的意義2. 緩存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

<big id="qngfq"><pre id="qngfq"></pre></big>

<cite id="qngfq"><rp id="qngfq"><form id="qngfq"></form></rp></cite>