自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<sub id="6icxv"><p id="6icxv"></p></sub>

<sub id="6icxv"></sub>

51CTO首頁(yè)

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開(kāi)發(fā)者社區(qū)

WOT技術(shù)大會(huì)

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

共 353 條

什么是Apache Spark？數(shù)據(jù)分析平臺(tái)如是說(shuō)

Spark 可以用多種方式部署，它為 Java、Scala、Python，和 R 編程語(yǔ)言提供了本地綁定，并且支持 SQL、流數(shù)據(jù)、機(jī)器學(xué)習(xí)，和圖處理。你將會(huì)發(fā)現(xiàn)它被銀行、電信公司、游戲公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨頭公司使用。

2017-11-29 12:45:37

Apache Spar 大數(shù)據(jù)數(shù)據(jù)分析

大數(shù)據(jù)架構(gòu)師必看：常見(jiàn)的七種Hadoop和Spark項(xiàng)目案例

如果你的Hadoop項(xiàng)目將有新的突破，那么它必定與下邊介紹的七種常見(jiàn)項(xiàng)目很相像。有一句古老的格言是這樣說(shuō)的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創(chuàng)新的事情，他們最終卻會(huì)做別人正在做的事情。

2017-11-27 14:12:34

大數(shù)據(jù)Hadoop 數(shù)據(jù)分析

深度解析：Spark優(yōu)于Hadoop嗎？

對(duì)于任何一個(gè)進(jìn)入大數(shù)據(jù)世界的人來(lái)講，大數(shù)據(jù)和Hadoop 就成了同義詞。隨著人們學(xué)習(xí)了大數(shù)據(jù)生態(tài)系統(tǒng)及其工具和運(yùn)作原理，他們更能理解大數(shù)據(jù)的實(shí)際意義以及Hadoop 在生態(tài)系統(tǒng)中所扮演的角色。

2017-11-13 13:39:24

Spark Hadoop 大數(shù)據(jù)

微軟開(kāi)源用于Spark的深度學(xué)習(xí)庫(kù)MMLSpark

微軟開(kāi)源了MMLSpark，用于Apache Spark的的深度學(xué)習(xí)庫(kù)。MMLSpark可以與微軟認(rèn)知工具包和OpenCV完美整合。雖然SparkML可以建立可擴(kuò)展的機(jī)器學(xué)習(xí)平臺(tái)，絕大多數(shù)開(kāi)發(fā)者的精力都耗在了調(diào)用底層API上。MMLSpark旨在簡(jiǎn)化PySpark中的重復(fù)性工作。

2017-10-26 13:54:49

深度學(xué)習(xí)Spark MMLSpark

Spark 1.6升級(jí)2.x防踩坑指南

Spark 2.x自2.0.0發(fā)布到目前的2.2.0已經(jīng)有一年多的時(shí)間了，2.x宣稱有諸多的性能改進(jìn)，相信不少使用Spark的同學(xué)還停留在1.6.x或者更低的版本上，沒(méi)有升級(jí)到2.x或許是由于1.6相對(duì)而言很穩(wěn)定，或許是升級(jí)后處處踩坑被迫放棄。

2017-10-24 13:02:29

Spark 2.x 代碼 Spark 2.0

手把手教你Spark性能調(diào)優(yōu)

日前接到反饋，集群部分 spark 任務(wù)執(zhí)行很慢，且經(jīng)常出錯(cuò)，參數(shù)改來(lái)改去怎么都無(wú)法優(yōu)化其性能和解決頻繁隨機(jī)報(bào)錯(cuò)的問(wèn)題。

2017-10-20 13:41:11

Spark 集群代碼

大數(shù)據(jù)前景分析：Hadoop將被Spark替代？

談到大數(shù)據(jù)，相信大家對(duì)hadoop和Apache Spark這兩個(gè)名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚(yáng)Hadoop將死，Spark將立。與Hadoop相比，Spark技術(shù)如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術(shù)都在使用何種技術(shù)?

2017-10-19 08:28:15

大數(shù)據(jù)Hadoop Spark

談?wù)凷park與Spark-Streaming關(guān)系

spark程序是使用一個(gè)spark應(yīng)用實(shí)例一次性對(duì)一批歷史數(shù)據(jù)進(jìn)行處理，spark streaming是將持續(xù)不斷輸入的數(shù)據(jù)流轉(zhuǎn)換成多個(gè)batch分片，使用一批spark應(yīng)用實(shí)例進(jìn)行處理，側(cè)重點(diǎn)在Steaming上面。

2017-10-13 10:36:33

Spark Spark-Strea 關(guān)系

合并Spark社區(qū)代碼的正確姿勢(shì)

最近剛剛忙完Spark 2.2.0的性能測(cè)試及Bug修復(fù)，社區(qū)又要發(fā)布2.1.2了，國(guó)慶期間剛好有空，過(guò)了一遍2.1.2的相關(guān)JIRA，發(fā)現(xiàn)有不少重要修復(fù)2.2.0也能用上，接下來(lái)需要將有用的PR合到我們內(nèi)部維護(hù)的2.2.0分支上了。

2017-10-12 11:30:34

Spark 代碼 PR

Spark Graphx 實(shí)現(xiàn)圖中極大團(tuán)挖掘, 偽并行化算法

對(duì)于關(guān)聯(lián)性較強(qiáng)的圖,找出來(lái)的連通圖非常大,這時(shí)串行化的極大團(tuán)算法,仍然會(huì)耗時(shí)很久,這里利用剪枝的思想減少樣本數(shù)據(jù)量,但是對(duì)于大圖,優(yōu)化空間有限。

2017-10-12 11:14:21

Spark Graph 挖掘偽并行化

大數(shù)據(jù)分析技術(shù)與實(shí)戰(zhàn)之Spark Streaming

Spark是基于內(nèi)存的大數(shù)據(jù)綜合處理引擎，具有優(yōu)秀的作業(yè)調(diào)度機(jī)制和快速的分布式計(jì)算能力，使其能夠更加高效地進(jìn)行迭代計(jì)算，因此Spark能夠在一定程度上實(shí)現(xiàn)大數(shù)據(jù)的流式處理。

2017-10-11 11:10:02

Spark Strea 大數(shù)據(jù)流式處理

Apache Spark常見(jiàn)的三大誤解

最近幾年關(guān)于Apache Spark框架的聲音是越來(lái)越多，大家通過(guò)Google搜索更多關(guān)于Spark的信息。然而很多人對(duì)Apache Spark的認(rèn)識(shí)存在誤解，在這篇文章中，將介紹我們對(duì)Apache Spark的幾個(gè)主要的誤解，以便給那些想將Apache Spark應(yīng)用到其系統(tǒng)中的人作為參考。

2017-10-10 17:00:11

Spark Hadoop 數(shù)據(jù)處理

分布式數(shù)據(jù)集SparkRDD的依賴與緩存

RDD(Resilient Distributed Dataset)叫做分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，它代表一個(gè)不可變、可分區(qū)、里面的元素可并行計(jì)算的集合。

2017-09-27 10:53:53

分布式數(shù)據(jù)集 SparkRDD

如何基于Spark Streaming構(gòu)建實(shí)時(shí)計(jì)算平臺(tái)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，用戶對(duì)于數(shù)據(jù)處理的時(shí)效性、準(zhǔn)確性與穩(wěn)定性要求越來(lái)越高，如何構(gòu)建一個(gè)穩(wěn)定易用并提供齊備的監(jiān)控與預(yù)警功能的實(shí)時(shí)計(jì)算平臺(tái)也成了很多公司一個(gè)很大的挑戰(zhàn)。

2017-09-26 09:35:22

數(shù)據(jù)處理計(jì)算平臺(tái)Spark Strea

從源碼角度看Spark on yarn client & cluster模式的本質(zhì)區(qū)別

對(duì)于yarn-client和yarn-cluster的唯一區(qū)別在于，yarn-client的Driver運(yùn)行在本地，而AppMaster運(yùn)行在yarn的一個(gè)節(jié)點(diǎn)上，他們之間進(jìn)行遠(yuǎn)程通信，AppMaster只負(fù)責(zé)資源申請(qǐng)和釋放(當(dāng)然還有DelegationToken的刷新)，然后等待Driver的完成;而yarn-cluster的Driver則運(yùn)行在AppMaster所在的container里，Driver和AppMaster是同一個(gè)進(jìn)程的兩個(gè)不同線程，它們之間也會(huì)進(jìn)行通信，AppMaster同樣等待Driver的完成，從而釋放資源。

2017-09-25 16:21:30

Spark on ya cluster 模式

超實(shí)用的Spark數(shù)據(jù)傾斜解決姿勢(shì)，學(xué)起來(lái)！

本文將結(jié)合實(shí)例詳細(xì)闡明Spark數(shù)據(jù)傾斜(Data Skew)的幾種場(chǎng)景及對(duì)應(yīng)的解決方案，包括避免數(shù)據(jù)源傾斜、調(diào)整并行度、使用自定義Partitioner、使用Map側(cè)Join代替Reduce側(cè)Join、給傾斜Key加上隨機(jī)前綴等。

2017-08-28 13:08:22

Spark 數(shù)據(jù)傾斜

分布式機(jī)器學(xué)習(xí)平臺(tái)大比拼：Spark、PMLS、TensorFlow、MXNet

本論文從分布式系統(tǒng)的角度開(kāi)展針對(duì)當(dāng)前一些機(jī)器學(xué)習(xí)平臺(tái)的研究，綜述了這些平臺(tái)所使用的架構(gòu)設(shè)計(jì)，對(duì)這些平臺(tái)在通信和控制上的瓶頸、容錯(cuò)性和開(kāi)發(fā)難度進(jìn)行分析和對(duì)比，并對(duì)分布式機(jī)器學(xué)習(xí)平臺(tái)的未來(lái)研究工作提出了一些建議。

2017-08-22 17:55:35

機(jī)器學(xué)習(xí)Spark TensorFlow

Spark入門：Spark Streaming 概覽

Spark Streaming是Spark API的一個(gè)可橫向擴(kuò)容，高吞吐量，容錯(cuò)的實(shí)時(shí)數(shù)據(jù)流處理引擎，Spark能夠從Kafka、Flume、Kinesis或者TCP等等輸入獲取數(shù)據(jù)，然后能夠使用復(fù)雜的計(jì)算表達(dá)式如map,reduce,join和window對(duì)數(shù)據(jù)進(jìn)行計(jì)算。

2017-08-14 10:30:13

Spark Spark Strea 擴(kuò)容

用 Apache Spark 和 TensorFlow 進(jìn)行深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)在過(guò)去幾年中取得了驚人的進(jìn)步，現(xiàn)在已成為圖像識(shí)別和自動(dòng)翻譯領(lǐng)域最先進(jìn)的技術(shù)。TensorFlow是 Google 為數(shù)字計(jì)算和神經(jīng)網(wǎng)絡(luò)發(fā)布的新框架。在這篇博文中，我們將演示如何使用 TensorFlow 和 Spark 一起來(lái)訓(xùn)練和應(yīng)用深度學(xué)習(xí)模型。

2017-08-10 15:31:57

Apache Spar TensorFlow

橫向?qū)Ρ热蠓植际綑C(jī)器學(xué)習(xí)平臺(tái)：Spark、PMLS、TensorFlow

分布式機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一大主要研究方向，我們對(duì)分布式機(jī)器學(xué)習(xí)平臺(tái)的三大基本設(shè)計(jì)方法進(jìn)行了簡(jiǎn)要介紹并舉例進(jìn)行了說(shuō)明。

2017-08-07 11:02:28

機(jī)器學(xué)習(xí)分布式 Spark

TiSpark (Beta) 用戶指南

TiSpark 是 PingCAP 推出的為了解決用戶復(fù)雜 OLAP 需求的產(chǎn)品。本文簡(jiǎn)單介紹如何部署和使用 TiSpark。本文假設(shè)你對(duì) Spark 有基本認(rèn)知。

2017-08-05 16:31:51

TiDB TiSpark 數(shù)據(jù)庫(kù)

Spark學(xué)習(xí)之RDD簡(jiǎn)單算子

Spark學(xué)習(xí)之RDD簡(jiǎn)單算子希望給大家?guī)?lái)一些幫助。

2017-08-04 10:58:55

RDD Spark 算子

SparkStreaming與Kafka整合遇到的問(wèn)題及解決方案

最近工作中是做日志分析的平臺(tái)，采用了sparkstreaming+kafka，采用kafka主要是看中了它對(duì)大數(shù)據(jù)量處理的高性能，處理日志類應(yīng)用再好不過(guò)了，采用了sparkstreaming的流處理框架主要是考慮到它本身是基于spark核心的，以后的批處理可以一站式服務(wù)，并且可以提供準(zhǔn)實(shí)時(shí)服務(wù)到elasticsearch中，可以實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)定位系統(tǒng)日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

思科 Cisco Spark Room Kit在大中華區(qū)成功落地思科協(xié)作助力雅清達(dá)攜手3W COFFICE打造高效協(xié)作共享空間

思科協(xié)作Cisco Spark Room Kit系列新產(chǎn)品自2017年6月份在大中華區(qū)推出以來(lái)，憑借領(lǐng)先的技術(shù)優(yōu)勢(shì)，在市場(chǎng)上引起了強(qiáng)烈反響。近日，思科合作伙伴廣州雅清達(dá)智能系統(tǒng)有限公司(以下簡(jiǎn)稱雅清達(dá))宣布將為3W集團(tuán)旗下的3W COFFICE(共享辦公空間)提供思科最新視頻協(xié)作解決方案，這也標(biāo)志著思科Cisco Spark Room Kit在大中華區(qū)成功落地。

2017-07-28 13:14:45

思科協(xié)作

如何選擇Spark機(jī)器學(xué)習(xí)API

本文將簡(jiǎn)要介紹Spark機(jī)器學(xué)習(xí)庫(kù)(Spark MLlib’s APIs)的各種機(jī)器學(xué)習(xí)算法，主要包括：統(tǒng)計(jì)算法、分類算法、聚類算法和協(xié)同過(guò)濾算法，以及各種算法的應(yīng)用。

2017-07-26 17:25:22

機(jī)器學(xué)習(xí)Spark API

10 億級(jí)海量數(shù)據(jù)運(yùn)算下，Apache Spark 的四個(gè)技術(shù)應(yīng)用實(shí)踐原創(chuàng)

本文主要介紹 Apache Spark 如何實(shí)現(xiàn)蘇寧中臺(tái)商品價(jià)格信息的 TB 級(jí)別復(fù)雜業(yè)務(wù)數(shù)據(jù)處理運(yùn)算，以及其中碰到的問(wèn)題和解決方案。

2017-07-11 09:59:22

Apache Spar 技術(shù)數(shù)據(jù)

Spark UDF變長(zhǎng)參數(shù)的二三事兒

在復(fù)雜業(yè)務(wù)邏輯中，我們經(jīng)常會(huì)用到Spark的UDF，當(dāng)一個(gè)UDF需要傳入多列的內(nèi)容并進(jìn)行處理時(shí)，UDF的傳參該怎么做呢? 下面通過(guò)變長(zhǎng)參數(shù)引出，逐一介紹三種可行方法以及一些不可行的嘗試...

2017-07-10 08:30:11

Spark UDF 變長(zhǎng)參數(shù)

手把手教你 Spark 性能調(diào)優(yōu)

集群部分 spark 任務(wù)執(zhí)行很慢，且經(jīng)常出錯(cuò)，參數(shù)改來(lái)改去怎么都無(wú)法優(yōu)化其性能和解決頻繁隨機(jī)報(bào)錯(cuò)的問(wèn)題。

2017-07-07 11:01:04

Spark 性能調(diào)優(yōu)

基于Spark的大規(guī)模機(jī)器學(xué)習(xí)在微博的應(yīng)用

一直以來(lái)，微博都嘗試通過(guò)機(jī)器學(xué)習(xí)來(lái)解決業(yè)務(wù)場(chǎng)景中遇到的各種挑戰(zhàn)。本文為新浪微博吳磊在CCTC 2017云計(jì)算大會(huì)Spark峰會(huì)所做分享《基于Spark的大規(guī)模機(jī)器學(xué)習(xí)在微博的應(yīng)用》主題的一部分，介紹微博在面對(duì)大規(guī)模機(jī)器學(xué)習(xí)的挑戰(zhàn)時(shí)，采取的最佳實(shí)踐和解決方案。

2017-06-27 15:35:02

機(jī)器學(xué)習(xí)Spark 微博應(yīng)用

Spark Streaming vs. Kafka Stream 哪個(gè)更適合你

本文介紹了兩大常用的流式處理框架，Spark Streaming和Kafka Stream，并對(duì)他們各自的特點(diǎn)做了詳細(xì)說(shuō)明，以幫助讀者在不同的場(chǎng)景下對(duì)框架進(jìn)行選擇。

2017-06-27 15:08:05

大數(shù)據(jù)Apache Spar Kafka Strea

實(shí)用 | 從Apache Kafka到Apache Spark安全讀取數(shù)據(jù)

隨著在CDH平臺(tái)上物聯(lián)網(wǎng)(IoT)使用案例的不斷增加，針對(duì)這些工作負(fù)載的安全性顯得至關(guān)重要。本篇博文對(duì)如何以安全的方式在Spark中使用來(lái)自Kafka的數(shù)據(jù)，以及針對(duì)物聯(lián)網(wǎng)(IoT)使用案例的兩個(gè)關(guān)鍵組件進(jìn)行了說(shuō)明。

2017-06-26 15:00:17

大數(shù)據(jù)Apache Kafk Apache Spar

學(xué)習(xí)Spark——那些讓你精疲力盡的坑

這篇就介紹下自己遇到的各種坑。我不知道各位是否遇到過(guò)并能輕松解決，反正我是被這些小問(wèn)題搞得精疲力盡，故在此總結(jié)以備忘。

2017-06-21 08:39:20

Spark Scala HDFS

Spark Submit的ClassPath問(wèn)題

我們的產(chǎn)品需要與客戶的權(quán)限系統(tǒng)對(duì)接，即在登錄時(shí)使用客戶的認(rèn)證系統(tǒng)進(jìn)行認(rèn)證。集成認(rèn)證的方式是調(diào)用客戶提供的jar包，調(diào)用userService的authenticate方法。同時(shí)，還需要在classpath中提供密鑰的key文件。

2017-06-12 13:30:56

集成認(rèn)證集群 ClassPath

Spark Shuffle過(guò)程分析：Map階段處理流程

默認(rèn)配置情況下，Spark在Shuffle過(guò)程中會(huì)使用SortShuffleManager來(lái)管理Shuffle過(guò)程中需要的基本組件，以及對(duì)RDD各個(gè)Partition數(shù)據(jù)的計(jì)算。我們可以在Driver和Executor對(duì)應(yīng)的SparkEnv對(duì)象創(chuàng)建過(guò)程中看到對(duì)應(yīng)的配置。

2017-06-07 12:25:37

Shuffle 代碼 Map階段處理

Spark Streaming場(chǎng)景應(yīng)用- Spark Streaming計(jì)算模型及監(jiān)控

本篇文章主要介紹了Spark Streaming在實(shí)際應(yīng)用場(chǎng)景中的兩種計(jì)算模型，包括無(wú)狀態(tài)模型以及狀態(tài)模型;并且重點(diǎn)關(guān)注了下Spark Streaming在監(jiān)控方面所作的努力。

2017-06-06 08:31:10

Spark Strea 計(jì)算模型監(jiān)控

高科技也能“玩時(shí)尚”，思科協(xié)作重磅推出全新 Spark Room Kit 系列!

誰(shuí)說(shuō)高科技一定枯燥呆板，思科協(xié)作推出全新 Spark Room Kit 系列，真正的一體化設(shè)備，顏值與才華一應(yīng)俱全!

2017-05-22 15:18:30

思科 Spark Room

Spark踩坑記：共享變量

使用spark過(guò)程當(dāng)中踩過(guò)的一些坑和經(jīng)驗(yàn)。我們知道Spark是多機(jī)器集群部署的，分為Driver/Master/Worker，Master負(fù)責(zé)資源調(diào)度，Worker是不同的運(yùn)算節(jié)點(diǎn)，由Master統(tǒng)一調(diào)度。

2017-05-05 08:12:51

Spark 共享變量

Spark中的核心概念RDD，我們了解多少？

RDD全稱叫做彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets)，它是一種分布式的內(nèi)存抽象，表示一個(gè)只讀的記錄分區(qū)的集合，它只能通過(guò)其他RDD轉(zhuǎn)換而創(chuàng)建，為此RDD支持豐富的轉(zhuǎn)換操作。通過(guò)這種轉(zhuǎn)換操作，新的RDD則包含了如何從其他RDDs衍生所必需的信息，所以說(shuō)RDDs之間是有依賴關(guān)系的。

2017-04-25 09:50:16

Spark RDD 核心

大數(shù)據(jù)系列之并行計(jì)算引擎Spark介紹

Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開(kāi)源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn);但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark 大數(shù)據(jù)并行計(jì)算

Spark源碼分析之分區(qū)器的作用

首先對(duì)spark有一定了解的都應(yīng)該知道，在spark中每個(gè)RDD可以理解為一組分區(qū)，這些分區(qū)對(duì)應(yīng)了內(nèi)存塊block,他們才是數(shù)據(jù)最終的載體。那么一個(gè)RDD由不同的分區(qū)組成，這樣在處理一些map,filter等算子的時(shí)候，就可以直接以分區(qū)為單位并行計(jì)算了。直到遇到shuffle的時(shí)候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark 分析分區(qū)器

Spark：超越Hadoop MapReduce

和 Hadoop 一樣，Spark 提供了一個(gè) Map/Reduce API(分布式計(jì)算)和分布式存儲(chǔ)。二者主要的不同點(diǎn)是，Spark 在集群的內(nèi)存中保存數(shù)據(jù)，而 Hadoop 在集群的磁盤中存儲(chǔ)數(shù)據(jù)。

2017-04-19 11:17:48

Spark Hadoop MapReduce

借hbase-rdd二次開(kāi)發(fā)談如何在Spark Core之上擴(kuò)建自己的模塊

我是51CTO學(xué)院講師張敏，在51CTO學(xué)院 “4.20 IT充電節(jié)”(4月19~20日) 到來(lái)之際，和大家分享一下Spark Core之上擴(kuò)建自己的模塊的經(jīng)驗(yàn)。

2017-04-14 09:03:00

RDD 模塊 Hbase

Spark for python developers —Spark與數(shù)據(jù)的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)可以從數(shù)據(jù)中得到有用的見(jiàn)解. 目標(biāo)是縱觀Spark MLlib，采用合適的算法從數(shù)據(jù)集中生成見(jiàn)解。對(duì)于 Twitter的數(shù)據(jù)集, 采用非監(jiān)督集群算法來(lái)區(qū)分與Apache Spark相關(guān)的tweets。初始輸入是混合在一起的tweets。首先提取相關(guān)特性, 然后在數(shù)據(jù)集中使用機(jī)器學(xué)習(xí)算法, 最后評(píng)估結(jié)果和性能。

2017-04-13 13:30:56

Spark Spark MLlib 機(jī)器學(xué)習(xí)

Spark名詞解釋及關(guān)系

隨著對(duì)spark的業(yè)務(wù)更深入，對(duì)spark的了解也越多，然而目前還處于知道的越多，不知道的更多階段，當(dāng)然這也是成長(zhǎng)最快的階段。這篇文章用作總結(jié)最近收集及理解的spark相關(guān)概念及其關(guān)系。

2017-04-13 09:10:06

Spark 解釋關(guān)系

Hive、MapReduce、Spark分布式生成唯一數(shù)值型ID

Spark中生成這樣的非連續(xù)唯一數(shù)值型ID，非常簡(jiǎn)單，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

Hive MapReduce Spark

有望取代Spark的實(shí)時(shí)機(jī)器學(xué)習(xí)框架Ray

一個(gè)新的項(xiàng)目旨在為實(shí)時(shí)處理開(kāi)發(fā)一種速度更快的框架，可用來(lái)支持用Python編寫的機(jī)器學(xué)習(xí)應(yīng)用。

2017-04-08 17:32:39

人工智能喬丹 Ray

Spark程序運(yùn)行常見(jiàn)錯(cuò)誤解決方法以及優(yōu)化

task傾斜原因比較多，網(wǎng)絡(luò)io,cpu,mem都有可能造成這個(gè)節(jié)點(diǎn)上的任務(wù)執(zhí)行緩慢，可以去看該節(jié)點(diǎn)的性能監(jiān)控來(lái)分析原因。以前遇到過(guò)同事在spark的一臺(tái)worker上跑R的任務(wù)導(dǎo)致該節(jié)點(diǎn)spark task運(yùn)行緩慢。

2017-04-07 09:02:06

Spark 方法優(yōu)化

是英雄還是狗熊？大數(shù)據(jù)那些事之SparkSQL

SparkSQL最主要的東西有兩個(gè)，一個(gè)是DataFrame全面取代了RDD。我必須為這個(gè)叫聲好。作為一個(gè)根紅苗正的關(guān)系數(shù)據(jù)庫(kù)思想熏陶出來(lái)的人，帶有RDD的Spark總給我一種干爹干媽做的數(shù)據(jù)處理的產(chǎn)品的感覺(jué)。用上DataFrame頓時(shí)有回到親爹親媽做的產(chǎn)品的感覺(jué)。期間的差距，可能是無(wú)法言語(yǔ)表達(dá)的。

2017-04-06 09:35:10

大數(shù)據(jù)SparkSQL Spark

Apache Spark 內(nèi)存管理詳解

Spark 作為一個(gè)基于內(nèi)存的分布式計(jì)算引擎，其內(nèi)存管理模塊在整個(gè)系統(tǒng)中扮演著非常重要的角色。理解 Spark 內(nèi)存管理的基本原理，有助于更好地開(kāi)發(fā) Spark 應(yīng)用程序和進(jìn)行性能調(diào)優(yōu)。

2017-04-01 14:01:50

Apache Spar 內(nèi)存管理

pyspark訪問(wèn)hive數(shù)據(jù)實(shí)戰(zhàn)

直接進(jìn)行spark開(kāi)發(fā)需要去學(xué)習(xí)scala，為了降低數(shù)據(jù)分析師的學(xué)習(xí)成本，決定前期先試用sparkSQL，能夠讓計(jì)算引擎無(wú)縫從MR切換到spark，現(xiàn)在主要使用pyspark訪問(wèn)hive數(shù)據(jù)。

2017-03-13 09:48:26

pyspark hive 數(shù)據(jù)

上一頁(yè) 1 2 3 4 5 6 ··· 8 下一頁(yè)

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)