自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<abbr id="sszi4"></abbr>

<cite id="sszi4"><rp id="sszi4"></rp></cite>

<s id="sszi4"><li id="sszi4"></li></s>

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

共 353 條

【HiSpark Wi-Fi IoT開發(fā)板試用報告】+開發(fā)板開箱硬件評測

這次收到了來自華為和51CTO提供的HiSpark Wi-Fi IoT智能家居套件，在這里本人表示非常感謝。所以今天對HiSpark Wi-Fi IoT智能家居套件進(jìn)行一下簡單的開箱，同時對硬件進(jìn)行一下評測。

2020-10-20 09:32:43

HiSpark Wi-Fi IoT

關(guān)于HiSpark Wi-Fi IoT燒錄固件問題，簡單方法

利用HiBurn燒錄鴻蒙.bin文件到Hi3861開發(fā)板,此方法非常簡單！前提下載好相關(guān)的軟件，以及編譯好固件，這里我把固件和工具放出來！

2020-10-19 10:31:44

HiSpark Wi-燒錄固件

小白成功申請一套HiSpark Wi-Fi IoT開發(fā)套件板，資料集合

此套件是鴻蒙官方合作伙伴潤和出品--海思HiSpark開發(fā)套件。收到貨迫不及待的開箱。

2020-10-15 09:53:55

iSpark Wi-F 開發(fā)套件板

第一批HiSpark Wi-Fi IoT開發(fā)板收到啦

先批量上圖，因?yàn)樵谏习啵砩匣丶易约貉芯恳幌?，然后再來更?/a>

2020-10-13 10:01:00

HiSpark Wi-開發(fā)板

為何放棄數(shù)據(jù)庫，Hive和Spark,偏偏選擇Flink?

最近接手了一個融合日志的服務(wù). 經(jīng)過梳理, 我認(rèn)為當(dāng)前服務(wù)的設(shè)計上存在缺陷. 與 Leader 開會討論后, 決定重新進(jìn)行技術(shù)方案調(diào)研, 最終我們選擇使用 Flink 重構(gòu)了該服務(wù)。

2020-10-12 14:37:38

數(shù)據(jù)庫 Hive Spark

如何實(shí)現(xiàn)Spark on Kubernetes？

大數(shù)據(jù)時代，以O(shè)racle為代表的數(shù)據(jù)庫中間件已經(jīng)逐漸無法適應(yīng)企業(yè)數(shù)字化轉(zhuǎn)型的需求，Spark將會是比較好的大數(shù)據(jù)批處理引擎。

2020-09-28 14:05:08

云原生 Spark Kubernetes

大數(shù)據(jù)Spark運(yùn)行環(huán)境：Standalone模式與配置詳解

這里我們來看看只使用Spark自身節(jié)點(diǎn)運(yùn)行的集群模式，也就是我們所謂的獨(dú)立部署(Standalone)模式。Spark的Standalone模式體現(xiàn)了經(jīng)典的master-slave模式。

2020-09-22 18:01:22

Spark Standalone 運(yùn)行

面試必知的Spark SQL幾種Join實(shí)現(xiàn)

Join作為SQL中一個重要語法特性，幾乎所有稍微復(fù)雜一點(diǎn)的數(shù)據(jù)分析場景都離不開Join，如今Spark SQL已經(jīng)成為Spark應(yīng)用程序開發(fā)的主流，作為開發(fā)者，我們有必要了解Join在Spark中是如何組織運(yùn)行的。

2020-09-18 12:00:24

Spark SQL Join 數(shù)據(jù)庫

為什么Spark能成為最火的大數(shù)據(jù)計算引擎？它是怎樣工作的？

十年前我們只有Hadoop，大家首先通過HDFS實(shí)現(xiàn)海量數(shù)據(jù)的共享存儲，然后使用MapReduce以批處理的方式處理這些海量數(shù)據(jù)，這一切看起來似乎十分完美。

2020-09-11 07:07:01

Spark 大數(shù)據(jù)Hadoop

Spark優(yōu)化之小文件是否需要合并?

我們知道，大部分Spark計算都是在內(nèi)存中完成的，所以Spark的瓶頸一般來自于集群(standalone, yarn, mesos, k8s)的資源緊張，CPU，網(wǎng)絡(luò)帶寬，內(nèi)存。Spark的性能，想要它快，就得充分利用好系統(tǒng)資源，尤其是內(nèi)存和CPU。

2020-08-13 14:58:06

Spark 小文件存儲

面向數(shù)據(jù)科學(xué)的5個Apache Spark最佳實(shí)踐譯文

啟動項(xiàng)目前應(yīng)了解這幾個Spark優(yōu)秀實(shí)踐。雖然我們都在談?wù)摯髷?shù)據(jù)，但通常在職場闖蕩一段時間后才遇到大數(shù)據(jù)。在我供職的Wix.com，有逾1.6億個用戶在生成大量數(shù)據(jù)，因此需要擴(kuò)展我們的數(shù)據(jù)流程。

2020-08-11 07:00:00

大數(shù)據(jù)IT 技術(shù)

半小時，將你的Spark SQL模型變?yōu)樵诰€服務(wù)

第四范式已經(jīng)在很多行業(yè)落地了上萬個AI應(yīng)用，比如在金融行業(yè)的反欺詐，媒體行業(yè)的新聞推薦，能源行業(yè)管道檢測，而SparkSQL在這些AI應(yīng)用中快速實(shí)現(xiàn)特征變換發(fā)揮著重要的作用

2020-07-27 09:40:12

Spark SQL 模型訓(xùn)練場景

在Apache Spark中執(zhí)行聚合的五種方法

聚合是數(shù)據(jù)分析任務(wù)中廣泛使用的運(yùn)算符，Spark為此提供了堅(jiān)實(shí)的框架。以下是使用Spark可以針對大數(shù)據(jù)進(jìn)行聚合的五種不同方式。

2020-07-24 20:45:51

Spark 數(shù)據(jù)集函數(shù)

深入了解Apache Spark窗口功能

在此博客文章中，我們將深入探討Apache Spark窗口函數(shù)。您可能也對我之前有關(guān)Apache Spark的帖子感興趣。

2020-06-28 13:54:22

Apache Spar 窗口函數(shù)數(shù)據(jù)

Spark 3.0—簡而言之的新功能

本文通篇介紹了Spark SQL和Scala API中用于DataFrame操作訪問的Spark新功能，以及從Spark SQL移植到Scala API以進(jìn)行編程訪問的功能。

2020-06-17 12:25:34

Spark 函數(shù)類型

打破二八法則！每個數(shù)據(jù)科學(xué)家都得會一點(diǎn)SparkMagic

商業(yè)數(shù)據(jù)科學(xué)家80%的時間都花在查找、清洗和準(zhǔn)備數(shù)據(jù)上，這是數(shù)據(jù)科學(xué)家工作中效率最低也是最可怕的部分?；ヂ?lián)網(wǎng)為如何打破數(shù)據(jù)科學(xué)的80/20定律提供了許多的意見，但卻收效甚微。

2020-06-16 13:32:02

數(shù)據(jù)科學(xué)家大數(shù)據(jù)系統(tǒng)

Hadoop VS Spark 性能原理分析

面對Hadoop與Spark孰優(yōu)孰劣這個問題，最準(zhǔn)確的觀點(diǎn)就是，設(shè)計人員旨在讓Hadoop和Spark在同一個團(tuán)隊(duì)里面協(xié)同運(yùn)行。

2020-05-27 11:20:37

Hadoop Spark 大數(shù)據(jù)

Spark：安裝及環(huán)境配置指南

本文主要介紹一下spark的安裝及環(huán)境配置。下載時需要注意的是在第1步選擇完spark版本之后的第2步“choose a package type ”時，spark與hadoop版本必須配合使用。

2020-05-26 15:05:30

Spark 安裝環(huán)境

來看看基于Kubernetes的Spark部署完全指南

本文是在Kubernets上搭建Spark集群的操作指南，同時提供了Spark測試任務(wù)及相關(guān)的測試數(shù)據(jù)，通過閱讀本文，你可以實(shí)踐從制作Spark鏡像、搭建Spark容器集群，到在集群上運(yùn)行測試任務(wù)的完整流程。

2020-05-20 13:20:45

Kubernetes Spark 數(shù)據(jù)

Spark：大數(shù)據(jù)產(chǎn)品的一種測試方法與實(shí)現(xiàn)

Spark作為現(xiàn)在主流的分布式計算框架，已經(jīng)融入到了很多的產(chǎn)品中作為ETL的解決方案。而我們?nèi)绻胍y試這樣的產(chǎn)品就要對分布式計算的原理有個清晰的認(rèn)知并且也要熟悉分布式計算框架的使用來針對各種ETL場景設(shè)計不同的測試數(shù)據(jù)。

2020-05-19 17:07:09

Spark 測試數(shù)據(jù)計算

4個簡單技巧，可提高您的Apache Spark工作性能

在開發(fā)Spark應(yīng)用程序時，最耗時的部分之一是優(yōu)化。在此博客文章中，我將提供一些性能提示，以及(至少對我而言)啟動時可能會使用的未知配置參數(shù)。

2020-05-15 07:59:34

Apache Spar 應(yīng)用程序代碼

大數(shù)據(jù)時代，且看新一代計算引擎Spark和Flink成王敗寇

做大數(shù)據(jù)絕對躲不過的一個熱門話題就是實(shí)時流計算，而提到實(shí)時流計算，就不得不提 Spark 和 Flink。本文對 Spark 和 Flink 進(jìn)行了全面分析與對比，且看下一代大數(shù)據(jù)計算引擎之爭，誰主沉浮?

2020-05-14 13:40:40

Spark Flink 大數(shù)據(jù)

使用Kafka和Druid了解Spark流

在本博文中，我將分享通過將Spark Streaming，Kafka和Apache Druid結(jié)合在一起以構(gòu)建實(shí)時分析儀表板，以確保精確的數(shù)據(jù)表示而獲得的知識。

2020-05-14 10:26:27

Kafka Spark 數(shù)據(jù)

Spark學(xué)習(xí)筆記：核心概念可視化

對于在分布式系統(tǒng)上背景知識較少的人來說，學(xué)習(xí)Spark并非易事。即使我已經(jīng)使用Spark已有一段時間了，但我發(fā)現(xiàn)全面了解Spark中的所有核心概念仍然很耗時。 Spark的官方文檔提供了非常詳細(xì)的解釋，但更多地側(cè)重于實(shí)際編程方面。

2020-05-08 13:44:26

Spark 架構(gòu)RDD

Flink及Storm、Spark主流流框架比較，到底誰會更勝一籌？

那么有spark和storm這樣成熟的計算框架存在，為什么flink還能占有一席之地呢?今天我們就從流處理的角度將flink和這兩個框架進(jìn)行一些分析和比較。

2020-04-29 09:34:13

Flink Storm Spark

Flink為什么比Spark快？大數(shù)據(jù)流處理的框架比較

大數(shù)據(jù)處理的新趨勢，流處理和批處理是非常重要的兩個概念，而基于流處理和批處理的大數(shù)據(jù)處理框架，F(xiàn)link和Spark，也是常常被大家拿來做比較的對象。而在實(shí)時流數(shù)據(jù)處理上，F(xiàn)link性能似乎更加強(qiáng)勁，那么Flink為什么比Spark快呢，今天我們就來聊聊這個話題。

2020-04-14 15:18:16

Spark Flink 框架

為何Spark在編程界越來越吃香？Spark將成為數(shù)據(jù)科學(xué)家的統(tǒng)一平臺

統(tǒng)計科學(xué)家使用交互式的統(tǒng)計工具(比如R)來回答數(shù)據(jù)中的問題，獲得全景的認(rèn)識。與之相比，數(shù)據(jù)工程師則更像一名程序員，他們在服務(wù)器上編寫代碼，創(chuàng)建和應(yīng)用機(jī)器學(xué)習(xí)模型，熟悉C++和Java等系統(tǒng)級語言，經(jīng)常需要和企業(yè)級數(shù)據(jù)中心的某些組件打交道,比如Hadoop。

2020-04-10 11:53:03

Spark 數(shù)據(jù)科學(xué)工具

三分鐘讀懂Hadoop、HBase、Hive、Spark分布式系統(tǒng)架構(gòu)

我們來分別部署一套hadoop、hbase、hive、spark，在講解部署方法過程中會特殊說明一些重要配置，以及一些架構(gòu)圖以幫我們理解，目的是為后面講解系統(tǒng)架構(gòu)和關(guān)系打基礎(chǔ)。

2020-04-03 15:35:53

Hadoop HBase Spark

解決 Spark 數(shù)據(jù)傾斜的 8 大實(shí)用方法

對 Spark/Hadoop 這樣的分布式大數(shù)據(jù)系統(tǒng)來講，數(shù)據(jù)量大并不可怕，可怕的是數(shù)據(jù)傾斜。對于分布式系統(tǒng)而言，理想情況下，隨著系統(tǒng)規(guī)模(節(jié)點(diǎn)數(shù)量)的增加，應(yīng)用整體耗時線性下降。

2020-04-01 11:05:24

Spark 數(shù)據(jù)傾斜 Hadoop

Spark 3.0 終于支持 event logs 滾動了

相信經(jīng)常使用 Spark 的同學(xué)肯定知道 Spark 支持將作業(yè)的 event log 保存到持久化設(shè)備。默認(rèn)這個功能是關(guān)閉的，不過我們可以通過 spark.eventLog.enabled 參數(shù)來啟用這個功能，并且通過 spark.eventLog.dir 參數(shù)來指定 event log 保存的地方，可以是本地目錄或者 HDFS 上的目錄，不過一般我們都會將它設(shè)置成 HDFS 上的一個目錄。

2020-03-18 20:22:19

Spark 3.0 日志存儲

基于Kubernetes的Spark部署完全指南

本文是在Kubernets上搭建Spark集群的操作指南，同時提供了Spark測試任務(wù)及相關(guān)的測試數(shù)據(jù)，通過閱讀本文，你可以實(shí)踐從制作Spark鏡像、搭建Spark容器集群，到在集群上運(yùn)行測試任務(wù)的完整流程。

2020-03-06 16:00:04

Kubernetes Spark 容器

解析SparkStreaming和Kafka集成的兩種方式

Spark Streaming是基于微批處理的流式計算引擎，通常是利用Spark Core或者Spark Core與Spark Sql一起來處理數(shù)據(jù)。在企業(yè)實(shí)時處理架構(gòu)中，通常將Spark Streaming和Kafka集成作為整個大數(shù)據(jù)處理架構(gòu)的核心環(huán)節(jié)之一。

2020-02-21 17:33:17

Spark Kafka 數(shù)據(jù)

PySpark源碼解析，教你用Python調(diào)用高效Scala接口，搞定大規(guī)模數(shù)據(jù)分析

相較于Scala語言而言，Python具有其獨(dú)有的優(yōu)勢及廣泛應(yīng)用性，因此Spark也推出了PySpark，在框架上提供了利用Python語言的接口，為數(shù)據(jù)科學(xué)家使用該框架提供了便利。

2019-12-25 10:46:13

Python 開發(fā)編程語言

為什么Spark在數(shù)據(jù)科學(xué)界這么紅？

Streaming, Spark Machine Learning(MLlib)Spark SQL 和 Spark GraphX, 這些組件是當(dāng)下互聯(lián)網(wǎng)生態(tài)需求的大綜合，可以說整個數(shù)據(jù)應(yīng)用鏈，Spark 都完美的提供了解決方案，那么它不紅，都沒理由了!

2019-12-16 14:15:37

Spark 數(shù)據(jù)科學(xué)Hadoop

Flink與Spark Streaming誰的拳頭更硬

流數(shù)據(jù)(或數(shù)據(jù)流)是指在時間分布和數(shù)量上無限的一系列動態(tài)數(shù)據(jù)集合體，數(shù)據(jù)的價值隨著時間的流逝而降低，因此必須實(shí)時計算給出秒級響應(yīng)。流式計算，顧名思義，就是對數(shù)據(jù)流進(jìn)行處理，是實(shí)時計算。

2019-12-13 08:25:26

Flink Spark Strea 流數(shù)據(jù)

開源Apache Cassandra、Kafka、Spark和ES何時該用，何時不該用？譯文

幾乎所有技術(shù)決策都要滿足兩個基本標(biāo)準(zhǔn)：讓企業(yè)能夠?qū)崿F(xiàn)業(yè)務(wù)目標(biāo)，與技術(shù)架構(gòu)的其余部分協(xié)同運(yùn)行。

2019-12-06 09:41:40

開源技術(shù) 軟件

從Hadoop到Spark和Flink，大數(shù)據(jù)處理框架十年激蕩發(fā)展史

本文將從大數(shù)據(jù)的基礎(chǔ)特性開始，進(jìn)而解釋分而治之的處理思想，最后介紹一些流行的大數(shù)據(jù)技術(shù)和組件，讀者能夠通過本文了解大數(shù)據(jù)的概念、處理方法和流行技術(shù)。

2019-11-29 15:47:42

Hadoop Spark Flink

基于HBase和Spark構(gòu)建企業(yè)級數(shù)據(jù)處理平臺

基于HBase和Spark構(gòu)建企業(yè)級數(shù)據(jù)處理平臺,面臨的場景:金融風(fēng)控;個性化推薦；社交Feeds;時空時序以及大數(shù)據(jù)等。

2019-11-06 10:43:20

HBase Spark 數(shù)據(jù)處理平臺

使用Spark Streaming SQL進(jìn)行PV/UV統(tǒng)計

使用Spark Streaming SQL，并結(jié)合Redis可以很方便進(jìn)行PV/UV的統(tǒng)計。本文將介紹通過Streaming SQL消費(fèi)Loghub中存儲的用戶訪問信息，對過去1分鐘內(nèi)的數(shù)據(jù)進(jìn)行PV/UV統(tǒng)計，將結(jié)果存入Redis中。

2019-10-17 09:25:56

Spark Strea PV UV

Apache Hive VS Spark：不同目的，同樣成功

Hive和Spark憑借其在處理大規(guī)模數(shù)據(jù)方面的優(yōu)勢大獲成功，換句話說，它們是做大數(shù)據(jù)分析的。本文重點(diǎn)闡述這兩種產(chǎn)品的發(fā)展史和各種特性，通過對其能力的比較，來說明這兩個產(chǎn)品能夠解決的各類復(fù)雜數(shù)據(jù)處理問題。

2019-10-14 10:09:28

Apache Hive Spark

SparkSQL訪問Hive遇到的問題及解決方法

SparkSQL訪問Hive遇到的問題及解決方法，需要先將hadoop的core-site.xml，hive的hive-site.xml拷貝到project中。

2019-10-11 19:45:28

SparkSQL Hive Hadoop

從源碼解密Spark內(nèi)存管理

我們都知道spark之所以比mapreduce計算的快，是因?yàn)樗腔趦?nèi)存的，不用每次計算完都寫磁盤，再讀取出來進(jìn)行下一次計算，spark直接把內(nèi)存作為數(shù)據(jù)的臨時儲存介質(zhì)。所以mapreduce就沒有強(qiáng)調(diào)內(nèi)存管理，而spark需要管理內(nèi)存。

2019-10-10 16:20:23

spark 內(nèi)存管理

Apache Spark Delta Lake寫數(shù)據(jù)使用及實(shí)現(xiàn)原理代碼解析

Delta Lake 寫數(shù)據(jù)是其最基本的功能，而且其使用和現(xiàn)有的 Spark 寫 Parquet 文件基本一致，在介紹 Delta Lake 實(shí)現(xiàn)原理之前先來看看如何使用它，具體使用如下。

2019-09-30 08:28:53

Delta Lake Spark 數(shù)據(jù)原理

Hive和Spark究竟是憑借什么優(yōu)勢而大獲成功？

Hive和Spark憑借其在處理大規(guī)模數(shù)據(jù)方面的優(yōu)勢大獲成功，換句話說，它們是做大數(shù)據(jù)分析的。本文重點(diǎn)闡述這兩種產(chǎn)品的發(fā)展史和各種特性，通過對其能力的比較，來說明這兩個產(chǎn)品能夠解決的各類復(fù)雜數(shù)據(jù)處理問題。

2019-08-27 08:36:34

Hive Spark 數(shù)據(jù)庫

比Spark快100倍的GPU加速SQL引擎！BlazingSQL開源了

BlazingSQL 是基于英偉達(dá) RAPIDS 生態(tài)系統(tǒng)構(gòu)建的 GPU 加速 SQL 引擎，可以為各種 ETL 大數(shù)據(jù)集提供 SQL 接口，并且完全運(yùn)行在 GPU 之上。

2019-08-06 17:19:22

開源技術(shù) 趨勢

Spark on Kubernetes 的現(xiàn)狀與挑戰(zhàn)

云原生時代，Kubernetes 的重要性日益凸顯，這篇文章以 Spark 為例來看一下大數(shù)據(jù)生態(tài) on Kubernetes 生態(tài)的現(xiàn)狀與挑戰(zhàn)。

2019-08-02 13:16:08

Spark Kubernetes 云原生

一篇文章了解 Spark Shuffle 內(nèi)存使用

在使用 Spark 進(jìn)行計算時，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發(fā)生在 Shuffle 階段。

2019-07-26 15:01:42

Spark Shuffle 內(nèi)存

Hadoop與 Spark - 選擇正確的大數(shù)據(jù)框架

我們被各方的數(shù)據(jù)所包圍。隨著數(shù)據(jù)每兩年增加一倍，數(shù)字世界正在快速追逐物理世界。據(jù)估計，到2020年，數(shù)字宇宙將達(dá)到44個zettabytes - 與宇宙中的恒星一樣多的數(shù)字位。

2019-07-22 10:45:31

Hadoop Spark 大數(shù)據(jù)

Spark內(nèi)存調(diào)優(yōu)，你會嗎？

Spark 作為一個基于內(nèi)存的分布式計算引擎，其內(nèi)存管理模塊在整個系統(tǒng)中扮演著非常重要的角色。理解 Spark 內(nèi)存管理的基本原理，有助于更好地開發(fā) Spark 應(yīng)用程序和進(jìn)行性能調(diào)優(yōu)。

2019-07-17 15:45:24

Spark 內(nèi)存 Java

Spark和Hadoop的架構(gòu)區(qū)別解讀

總的來說，Spark采用更先進(jìn)的架構(gòu)，使得靈活性、易用性、性能等方面都比Hadoop更有優(yōu)勢，有取代Hadoop的趨勢，但其穩(wěn)定性有待進(jìn)一步提高。我總結(jié)，具體表現(xiàn)在如下幾個方面。

2019-07-17 13:25:03

Spark Hadoop 架構(gòu)

上一頁 1 2 3 4 5 6 ··· 8 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

<sub id="stt7k"><input id="stt7k"></input></sub>

<s id="stt7k"><li id="stt7k"></li></s>

<legend id="stt7k"></legend>