51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

文章博文

共 353 條

大火的Apache Spark也有諸多不完美

Apache Spark為大數(shù)據(jù)處理提供一套完整的工具，用戶在大數(shù)據(jù)集上進(jìn)行操作完全不需考慮底層基礎(chǔ)架構(gòu)，它會(huì)幫助用戶進(jìn)行數(shù)據(jù)采集、查詢、處理以及機(jī)器學(xué)習(xí)，甚至還可以構(gòu)建抽象分布式系統(tǒng)。

2017-03-10 16:32:44

Apache Spar 大數(shù)據(jù)工具

實(shí)現(xiàn)Spark部署依賴供應(yīng)商還是"自力更生"？

Apache Spark用戶經(jīng)常面臨一個(gè)困境：繼續(xù)獲取來(lái)自供應(yīng)商的支持還是更新版本，使用具有更新功能的快速移動(dòng)的開(kāi)源軟件?

2017-03-07 08:28:38

Spark 部署供應(yīng)商

Spark性能優(yōu)化之道——解決Spark數(shù)據(jù)傾斜（Data Skew）的N種姿勢(shì)

本文結(jié)合實(shí)例詳細(xì)闡明了Spark數(shù)據(jù)傾斜的幾種場(chǎng)景以及對(duì)應(yīng)的解決方案，包括避免數(shù)據(jù)源傾斜，調(diào)整并行度，使用自定義Partitioner，使用Map側(cè)Join代替Reduce側(cè)Join，給傾斜Key加上隨機(jī)前綴等。

2017-03-07 07:44:52

Spark 數(shù)據(jù)傾斜

OpenStack Sahara如何構(gòu)建Hadoop和Spark系統(tǒng)

OpenStack是一種云操作系統(tǒng)，用于提供虛擬機(jī)，而OpenStack Sahara是一個(gè)附加組件，使管理員能夠在這些虛擬機(jī)上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack S Hadoop Spark

Spark知識(shí)體系完整解讀

　　Spark是整個(gè)BDAS的核心組件，是一個(gè)大數(shù)據(jù)分布式編程框架，不僅實(shí)現(xiàn)了MapReduce的算子map 函數(shù)和reduce函數(shù)及計(jì)算模型，還提供更為豐富的算子，如filter、join、groupByKey等。是一個(gè)用來(lái)實(shí)現(xiàn)快速而同用的集群計(jì)算的平臺(tái)。

2017-02-27 16:42:23

Spark 識(shí)體系

雅虎BigML團(tuán)隊(duì)開(kāi)源大數(shù)據(jù)分布式深度學(xué)習(xí)框架TensorFlowOnSpark

在雅虎，我們發(fā)現(xiàn)，為了從海量數(shù)據(jù)中獲得洞察力，需要部署分布式深度學(xué)習(xí)?，F(xiàn)有的深度學(xué)習(xí)框架常常要求為深度學(xué)習(xí)單獨(dú)設(shè)定集群，迫使我們要為一個(gè)機(jī)器學(xué)習(xí)流程(見(jiàn)下圖 1)創(chuàng)建多個(gè)程序。

2017-02-15 14:36:12

開(kāi)源大數(shù)據(jù)TensorFlowO

用Spark機(jī)器學(xué)習(xí)數(shù)據(jù)流水線進(jìn)行廣告檢測(cè)

在這篇文章中，我們Spark的其它機(jī)器學(xué)習(xí)API，名為Spark ML，如果要用數(shù)據(jù)流水線來(lái)開(kāi)發(fā)大數(shù)據(jù)應(yīng)用程序的話，這個(gè)是推薦的解決方案。

2017-02-14 21:00:33

大數(shù)據(jù)機(jī)器學(xué)習(xí)廣告檢測(cè)

大數(shù)據(jù)框架對(duì)比：Hadoop、Storm、Samza、Spark和Flink

大數(shù)據(jù)是收集、整理、處理大容量數(shù)據(jù)集，并從中獲得見(jiàn)解所需的非傳統(tǒng)戰(zhàn)略和技術(shù)的總稱。雖然處理數(shù)據(jù)所需的計(jì)算能力或存儲(chǔ)容量早已超過(guò)一臺(tái)計(jì)算機(jī)的上限，但這種計(jì)算類型的普遍性、規(guī)模，以及價(jià)值在最近幾年才經(jīng)歷了大規(guī)模擴(kuò)展。

2017-02-14 13:11:23

Hadoop Storm Samza

大數(shù)據(jù)計(jì)算架構(gòu)Hadoop、Spark和Storm 三者技術(shù)比較

縱觀技術(shù)的發(fā)展史，我們可以看到，每一項(xiàng)新技術(shù)的問(wèn)世都有著之前技術(shù)的身影，伴隨著大數(shù)據(jù)的需求增長(zhǎng)，不同的架依然會(huì)不斷進(jìn)化，并改進(jìn)自身的缺點(diǎn)，從而使得自身架構(gòu)得到進(jìn)一步的完善。就目前來(lái)看Hadoop，Spark和Storm目前遠(yuǎn)談不到誰(shuí)取代誰(shuí)。

2017-02-10 09:00:03

Hadoop Spark Storm

用Spark分析Amazon的8000萬(wàn)商品評(píng)價(jià)(內(nèi)含數(shù)據(jù)集、代碼、論文)

盡管數(shù)據(jù)科學(xué)家經(jīng)常通過(guò)分布式云計(jì)算來(lái)處理數(shù)據(jù)，但是即使在一般的筆記本電腦上，只要給出足夠的內(nèi)存，Spark也可以工作正常(在這篇文章中，我使用2016年MacBook Pro / 16GB內(nèi)存，分配給Spark 8GB內(nèi)存)。

2017-02-09 14:34:25

亞馬遜大數(shù)據(jù)Spark

用Spark學(xué)習(xí)矩陣分解推薦算法

在矩陣分解在協(xié)同過(guò)濾推薦算法中的應(yīng)用中，我們對(duì)矩陣分解在推薦算法中的應(yīng)用原理做了總結(jié)，這里我們就從實(shí)踐的角度來(lái)用Spark學(xué)習(xí)矩陣分解推薦算法。

2017-02-08 09:25:16

Spark 分解推薦

看大片深入理解Spark的概念和編程方式

第一次聽(tīng)聞Spark是2013年年末，當(dāng)時(shí)筆者對(duì)Scala(Spark的編程語(yǔ)言)感興趣。一段時(shí)間之后做了一個(gè)有趣的數(shù)據(jù)科學(xué)項(xiàng)目，試圖預(yù)測(cè)泰坦尼克號(hào)上的生還情況(Kaggle競(jìng)賽項(xiàng)目，通過(guò)使用機(jī)器學(xué)習(xí)預(yù)測(cè)泰坦尼克號(hào)上哪些乘客具備更高的生還可能性)。通過(guò)該項(xiàng)目可以更深入地理解Spark的概念和編程方式。

2017-01-15 21:20:30

Spark Apache Spar 數(shù)據(jù)科學(xué)

Intel開(kāi)源基于Spark的深度學(xué)習(xí)庫(kù)BigDL

近日，Intel 開(kāi)源了 BigDL，這是一個(gè)基于 Apache Spark 的分布式深度學(xué)習(xí)庫(kù)。使用 BigDL ，用戶可以將他們的深度學(xué)習(xí)應(yīng)用程序作為標(biāo)準(zhǔn)的 Spark 程序，它可以直接運(yùn)行在現(xiàn)有的 Spark 或 Hadoop 集群之上。

2017-01-11 16:36:51

Intel 開(kāi)源 BigDL

Apache Spark 2.0簡(jiǎn)介，那些你想知道的事都在這里了

Spark Streaming在大數(shù)據(jù)領(lǐng)域第一次嘗試將批處理和流計(jì)算進(jìn)行了統(tǒng)一。

2017-01-11 08:37:07

Apache Spar Streaming DataFrames

基于Spark的公安大數(shù)據(jù)實(shí)時(shí)運(yùn)維技術(shù)實(shí)踐

本文首先對(duì)公安運(yùn)維管理現(xiàn)狀做了簡(jiǎn)要介紹，然后介紹公安實(shí)時(shí)運(yùn)維平臺(tái)的整體架構(gòu)，再以交換機(jī)Syslog信息為例，詳細(xì)介紹如何使用Flume+Logstash+Kafka+Spark Streaming進(jìn)行實(shí)時(shí)日志處理分析，對(duì)處理過(guò)程中大量的技術(shù)細(xì)節(jié)進(jìn)行了描述并通過(guò)代碼詳細(xì)地介紹整體處理步驟。

2017-01-04 10:29:37

Spark 運(yùn)維技術(shù)

挨踢部落第一期:Spark離線分析維度原創(chuàng)

挨踢部落是為核心開(kāi)發(fā)者提供深度技術(shù)交流，解決開(kāi)發(fā)需求，資源共享的服務(wù)社群?；诖松缛海覀冄?qǐng)了業(yè)界技術(shù)大咖對(duì)開(kāi)發(fā)需求進(jìn)行一對(duì)一突破，解除開(kāi)發(fā)過(guò)程中的絆腳石。以最專業(yè)、最高效的答復(fù)為開(kāi)發(fā)者解決開(kāi)發(fā)難題。

2016-12-22 10:26:16

大數(shù)據(jù) spark

使用Apache Spark 的Lambda架構(gòu)

市場(chǎng)上很多玩家已經(jīng)建造了MapReduce工作流用來(lái)日常處理兆兆字節(jié)的歷史數(shù)據(jù)。

2016-12-20 09:47:38

Apache Spar Lambda 架構(gòu)

Spark Streaming原理剖析

在“1.初始化與集群上分布接收器”中介紹了，receiver集合轉(zhuǎn)換為RDD在集群上分布式地接收數(shù)據(jù)流。那么每個(gè)receiver是怎樣接收并處理數(shù)據(jù)流的呢?Spark Streaming數(shù)據(jù)接收與轉(zhuǎn)化的示意圖如圖8-14所示。

2016-12-19 14:35:32

Spark Strea 原理剖析數(shù)據(jù)

Spark SQL架構(gòu)分析

Spark SQL的查詢優(yōu)化是Catalyst，其基于Scala語(yǔ)言開(kāi)發(fā)，可以靈活利用Scala原生的語(yǔ)言特性方便地?cái)U(kuò)展功能，奠定了Spark SQL的發(fā)展空間。

2016-12-14 19:20:07

Spark SQL 架構(gòu)分布式

Spark SQL優(yōu)化策略

查詢優(yōu)化是傳統(tǒng)數(shù)據(jù)庫(kù)中最為重要的一環(huán)，這項(xiàng)技術(shù)在傳統(tǒng)數(shù)據(jù)庫(kù)中已經(jīng)很成熟。除了查詢優(yōu)化，Spark SQL在存儲(chǔ)上也進(jìn)行了優(yōu)化。下面介紹Spark SQL的一些優(yōu)化策略。

2016-12-14 19:04:16

Spark SQL 優(yōu)化

Spark架構(gòu)在大數(shù)據(jù)環(huán)境的核心位置找到用武之地

Webtrends公司的IT團(tuán)隊(duì)在Apache Spark這款處理引擎還是一項(xiàng)學(xué)術(shù)研究項(xiàng)目的時(shí)候就已經(jīng)開(kāi)始使用它并沿用至今。但當(dāng)Webtrends在2014年年中部署了一套基于Hadoop的大數(shù)據(jù)環(huán)境來(lái)對(duì)分析應(yīng)用程序進(jìn)行增強(qiáng)的時(shí)候，Spark架構(gòu)便成了一個(gè)有限的角色：有關(guān)數(shù)據(jù)索引的聚合細(xì)節(jié)有助于用戶發(fā)現(xiàn)相關(guān)信息。現(xiàn)在，一切都已改變，而且該公司正在花大力氣學(xué)習(xí)Spark并作為其大數(shù)據(jù)平臺(tái)升級(jí)版本的一部分。

2016-12-07 13:18:52

Spark架構(gòu)大數(shù)據(jù)

如何用Spark解決一些經(jīng)典MapReduce問(wèn)題？

本文將簡(jiǎn)單介紹幾個(gè)經(jīng)典hadoop的mr按理用spark實(shí)現(xiàn)，來(lái)讓大家熟悉spark的開(kāi)發(fā)。

2016-12-07 09:38:53

Spark MapReduce

使用Apache Spark構(gòu)建實(shí)時(shí)分析Dashboard

Apache Spark – 一個(gè)通用的大規(guī)模數(shù)據(jù)快速處理引擎。Spark的批處理速度比Hadoop MapReduce快近10倍，而內(nèi)存中的數(shù)據(jù)分析速度則快近100倍。

2016-11-29 09:27:22

Apache Spar Dashboard 構(gòu)建

實(shí)現(xiàn)Spark集群部署這些公司都經(jīng)歷了什么?

咨詢公司獲得了客戶關(guān)于Spark評(píng)價(jià)的 “實(shí)質(zhì)性”調(diào)查。但這項(xiàng)技術(shù)尚未成熟，企業(yè)用戶中關(guān)于Spark集群的產(chǎn)品相對(duì)較少。他說(shuō)，“我們對(duì)這項(xiàng)技術(shù)很感興趣，Spark是否轉(zhuǎn)化為部署是我們密切關(guān)注的事情?！?/a>

2016-11-29 09:23:17

Spark 集群部署

關(guān)鍵七步，用Apache Spark構(gòu)建實(shí)時(shí)分析Dashboard

本文我們將學(xué)習(xí)如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts構(gòu)建實(shí)時(shí)分析Dashboard。

2016-11-22 13:25:28

Apache Spar 大數(shù)據(jù)

Apache Spark的Lambda架構(gòu)示例應(yīng)用

目前，市場(chǎng)上很多玩家都已經(jīng)成功構(gòu)建了MapReduce工作流程，每天可以處理TB級(jí)的歷史數(shù)據(jù)，但是在MapReduce上跑數(shù)據(jù)分析真的太慢了。所以我們給大家介紹利用批處理和流處理方法的Lambda架構(gòu)，本文中將利用Apache Spark(Core，SQL，Streaming)，Apache Parquet，Twitter Stream等實(shí)時(shí)流數(shù)據(jù)快速訪問(wèn)歷史數(shù)據(jù)。

2016-11-15 14:07:28

Apache Spar Lambda Hadoop

數(shù)據(jù)傾斜是多么痛？spark作業(yè)調(diào)優(yōu)秘籍

有的時(shí)候，我們可能會(huì)遇到大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問(wèn)題——數(shù)據(jù)傾斜，此時(shí)Spark作業(yè)的性能會(huì)比期望差很多。數(shù)據(jù)傾斜調(diào)優(yōu)，就是使用各種技術(shù)方案解決不同類型的數(shù)據(jù)傾斜問(wèn)題，以保證Spark作業(yè)的性能。

2016-11-11 20:16:23

數(shù)據(jù)傾斜 spark

Spark不是唯一，三種新興的開(kāi)源數(shù)據(jù)分析工具

在數(shù)據(jù)分析方面，影響深遠(yuǎn)的變化正在醞釀之中，而開(kāi)源工具在引領(lǐng)許多變化。當(dāng)然，你可能已熟悉這個(gè)領(lǐng)域的一些明星開(kāi)源項(xiàng)目，比如Hadoop和Apache Spark，不過(guò)現(xiàn)在出現(xiàn)了強(qiáng)烈的要求，需要全面完善數(shù)據(jù)分析生態(tài)系統(tǒng)的新工具。值得注意的是，許多這些工具是為了處理流數(shù)據(jù)而定制的。

2016-11-09 14:28:04

Spark 開(kāi)源數(shù)據(jù)分析工具

大數(shù)據(jù)技術(shù)的對(duì)決——Spark對(duì)Impala對(duì)Hive對(duì)Presto

在大數(shù)據(jù)浪潮全面來(lái)襲的歷史背景下，我們一直面臨著同一類難題的困擾——該選擇哪款工具解決相關(guān)問(wèn)題?這項(xiàng)挑戰(zhàn)在大數(shù)據(jù)SQL引擎領(lǐng)域同樣存在。

2016-11-07 16:06:43

大數(shù)據(jù)Spark Impala

Spark與Hadoop MapReduce大比拼，誰(shuí)實(shí)力更強(qiáng)

park與Hadoop MapReduce在業(yè)界有兩種說(shuō)法：一是 Spark 將代替 Hadoop MapReduce，成為未來(lái)大數(shù)據(jù)處理發(fā)展的方向 ;二是 Spark 將會(huì)和 Hadoop 結(jié)合，形成更大的生態(tài)圈。

2016-11-02 09:20:01

Spark Hadoop MapR 大數(shù)據(jù)

Spark將機(jī)器學(xué)習(xí)與GPU加速機(jī)制納入自身譯文

此次推出的新功能——即GPU加速與多套深度學(xué)習(xí)庫(kù)集成——在理論上能夠?qū)崿F(xiàn)Apache Spark在任意位置的安裝工作。不過(guò)Databricks方面表示，其版本目前仍處于調(diào)整階段，這是為了避免資源爭(zhēng)用情況給功能的實(shí)際使用帶來(lái)復(fù)雜性影響

2016-10-31 10:34:13

GPU,機(jī)器學(xué)習(xí)

Spark與Hadoop兩大技術(shù)趨勢(shì)解

說(shuō)到大數(shù)據(jù)分析，16年基本被Spark與Hadoop霸屏，到底是什么樣的魔力讓它們足以引起大數(shù)據(jù)世界的波動(dòng)，未來(lái)又會(huì)如何發(fā)展呢?

2016-10-25 09:13:21

Spark Hadoop 技術(shù)

理解Spark的核心RDD

與許多專有的大數(shù)據(jù)處理平臺(tái)不同，Spark建立在統(tǒng)一抽象的RDD之上，使得它可以以基本一致的方式應(yīng)對(duì)不同的大數(shù)據(jù)處理場(chǎng)景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等

2016-10-24 23:04:56

Spark RDD 數(shù)據(jù)

理解Spark的核心RDD

RDD，全稱為Resilient Distributed Datasets，是一個(gè)容錯(cuò)的、并行的數(shù)據(jù)結(jié)構(gòu)，可以讓用戶顯式地將數(shù)據(jù)存儲(chǔ)到磁盤和內(nèi)存中，并能控制數(shù)據(jù)的分區(qū)。

2016-10-24 09:52:45

Spark RDD 容錯(cuò)

Spark生態(tài)系統(tǒng)中的圖數(shù)據(jù)分析知識(shí)

圖結(jié)構(gòu)可有效表示稀疏矩陣，因而圖數(shù)據(jù)分析可用于實(shí)現(xiàn)大數(shù)據(jù)分析。對(duì)于Spark生態(tài)系統(tǒng)中的圖處理系統(tǒng)GraphX，《Spark GraphX in Action》一書給出了詳細(xì)的教程和典型用例，將教會(huì)讀者如何使用GraphX和GraphFrames進(jìn)行圖分析。本文是Info對(duì)該書作者的訪談，內(nèi)容包括圖數(shù)據(jù)及分析技術(shù)、GraphX高效程序開(kāi)發(fā)、圖數(shù)據(jù)分析的趨勢(shì)等。

2016-10-19 18:31:11

Spark 圖數(shù)據(jù)分析傳統(tǒng)數(shù)據(jù)

Hadoop+Spark 大數(shù)據(jù)開(kāi)發(fā)項(xiàng)目最佳實(shí)踐

醫(yī)療IT系統(tǒng)收集了大量極具價(jià)值的數(shù)據(jù)，但這些歷史醫(yī)療數(shù)據(jù)并沒(méi)有發(fā)揮出其應(yīng)有的價(jià)值。為此，本文擬利用醫(yī)院現(xiàn)有的歷史數(shù)據(jù)，挖掘出有價(jià)值的基于統(tǒng)計(jì)學(xué)的醫(yī)學(xué)規(guī)則、知識(shí)，并基于這些信息構(gòu)建專業(yè)的臨床知識(shí)庫(kù)，提供診斷、處方、用藥推薦功能，基于強(qiáng)大的關(guān)聯(lián)推薦能力，極大地提高醫(yī)療服務(wù)質(zhì)量，減輕醫(yī)療人員的工作強(qiáng)度。

2016-10-12 09:41:45

Hadoop+Spar 大數(shù)據(jù)開(kāi)發(fā)

加速企業(yè)級(jí)大數(shù)據(jù)方案落地 IBM聚力發(fā)揮Spark優(yōu)勢(shì)

面對(duì)這一逐漸強(qiáng)大的數(shù)據(jù)計(jì)算架構(gòu)，IBM著力發(fā)展Spark項(xiàng)目，將其定位于數(shù)據(jù)分析的操作系統(tǒng)，并基于Spark構(gòu)建IBM數(shù)據(jù)分析產(chǎn)品的整個(gè)體系。IBM對(duì)Spark的“押寶”，可以從社區(qū)貢獻(xiàn)、產(chǎn)品搭建、人才教育、創(chuàng)新應(yīng)用四個(gè)維度予以解讀

2016-10-11 10:20:04

IBM

Spark加速大數(shù)據(jù)在企業(yè)落地

2016-09-22 14:32:46

IBM

Spark的三種集群deploy模式對(duì)比

Spark有三種集群部署模式，或者叫做集群管理模式。分別是standalone，YARN和Mesos。這三種模式其實(shí)都是master/slave模式。

2016-09-13 14:05:24

Spark 集群管理模式

開(kāi)學(xué)好成績(jī)!新華三獲Hadoop/Spark大數(shù)據(jù)認(rèn)證6項(xiàng)第一

開(kāi)學(xué)季來(lái)到，新華三集團(tuán)迎來(lái)新學(xué)期首輪好成績(jī)：以12項(xiàng)測(cè)試6項(xiàng)第一的傲人成績(jī)，通過(guò)大數(shù)據(jù)Hadoop/Spark產(chǎn)品能力認(rèn)證性能專項(xiàng)測(cè)試，并在9月1日2016可信云大會(huì)開(kāi)幕式中獲頒證書，成為新華三大數(shù)據(jù)平臺(tái)繼4月25號(hào)基礎(chǔ)能力認(rèn)證之后的又一突破。這標(biāo)志著新華三在大數(shù)據(jù)領(lǐng)域領(lǐng)先的技術(shù)實(shí)力受到業(yè)界的一致認(rèn)可，也預(yù)示著新華三在大數(shù)據(jù)道路上又往前邁進(jìn)了一大步。

2016-09-06 13:55:54

新華三

Spark體系架構(gòu)必讀

最近看到一篇關(guān)于Spark架構(gòu)的博文，作者是 Alexey Grishchenko?？催^(guò)Alexey博文的同學(xué)應(yīng)該都知道，他對(duì)Spark理解地非常深入，讀完他的 “spark-architecture” 這篇博文，有種醍醐灌頂?shù)母杏X(jué)，從JVM內(nèi)存分配到Spark集群的資源管理，步步深入，感觸頗多。因此，在周末的業(yè)余時(shí)間里，將此文的核心內(nèi)容譯成中文，并在這里與大家分享。

2016-09-04 14:00:31

Spark

一文讀懂Hadoop、HBase、Hive、Spark分布式系統(tǒng)架構(gòu)

機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等各種大數(shù)據(jù)處理都離不開(kāi)各種開(kāi)源分布式系統(tǒng)，hadoop用戶分布式存儲(chǔ)和map-reduce計(jì)算，spark用于分布式機(jī)器學(xué)習(xí)，hive是分布式數(shù)據(jù)庫(kù)，hbase是分布式kv系統(tǒng)，看似互不相關(guān)的他們卻都是基于相同的hdfs存儲(chǔ)和yarn資源管理，本文通過(guò)全套部署方法來(lái)讓大家深入系統(tǒng)內(nèi)部以充分理解分布式系統(tǒng)架構(gòu)和他們之間的關(guān)系。

2016-09-01 13:48:18

Hadoop HBase Hive

大數(shù)據(jù)項(xiàng)目實(shí)踐：基于hadoop+spark+mongodb+mysql+c#開(kāi)發(fā)醫(yī)院臨床知識(shí)庫(kù)系統(tǒng)

針對(duì)醫(yī)療IT系統(tǒng)現(xiàn)狀,思考擬利用醫(yī)院現(xiàn)有的歷史就診記錄、處方、診斷、病歷數(shù)據(jù)，挖掘出有價(jià)值的基于統(tǒng)計(jì)學(xué)的醫(yī)學(xué)規(guī)則、知識(shí)，并基于這些規(guī)則、知識(shí)信息構(gòu)建專業(yè)的臨床知識(shí)庫(kù)，為一線醫(yī)務(wù)人員提供專業(yè)的診斷、處方、用藥推薦功能，基于強(qiáng)大的關(guān)聯(lián)推薦能力，極大的提高醫(yī)療服務(wù)質(zhì)量，減輕一線醫(yī)療人員的工作強(qiáng)度。

2016-08-24 17:35:27

hadoop spark 中間件

讓Spark如虎添翼的Zeppelin – 基礎(chǔ)篇

Spark是一個(gè)非常好的計(jì)算平臺(tái)，支持多種語(yǔ)言，同時(shí)基于內(nèi)存的計(jì)算速度也非常快。對(duì)于剛接觸的人來(lái)說(shuō)，上手以及環(huán)境搭建還是有一些困難。

2016-08-22 11:06:43

Spark Zeppelin python modu

Spark入門：實(shí)現(xiàn)WordCount的3種方式

當(dāng)我們學(xué)習(xí)一門新的語(yǔ)言，HelloWorld通常是我們寫的第一個(gè)程序。而WordCount基本上是我們學(xué)習(xí)MapReduce思想與編程的第一個(gè)程序，無(wú)論是Hadoop的MR或者是Spark的RDD操作學(xué)習(xí)。

2016-08-19 08:50:12

Spark WordCount reduceByKey

為什么說(shuō)Spark SQL遠(yuǎn)遠(yuǎn)超越了MPP SQL

MPP SQL 是 Spark SQL 的一個(gè)子集，Spark SQL 成為了一種跨越領(lǐng)域的交互形態(tài)，MPP SQL 是 Spark SQL 的一個(gè)子集。

2016-07-01 14:37:01

Spark SQL

Apache Spark不是唯一，快來(lái)了解三種新興的開(kāi)源數(shù)據(jù)分析工具譯文

物聯(lián)網(wǎng)帶來(lái)了眾多傳感器及其他設(shè)備，它們?cè)谏稍丛床粩嗟臄?shù)據(jù)流，而物聯(lián)網(wǎng)只是推動(dòng)市場(chǎng)需要新型分析工具的重大趨勢(shì)之一。我們需要全面完善數(shù)據(jù)分析生態(tài)系統(tǒng)的新工具。值得注意的是，許多這些工具是為了處理流數(shù)據(jù)而定制的。本文將探討三種新興的數(shù)據(jù)分析工具。

2016-06-20 09:06:12

Apache Spar 開(kāi)源工具

Spark SQL 究竟是何方神圣? 譯文

Spark SQL屬于Spark用于處理結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)的接口。結(jié)構(gòu)化數(shù)據(jù)是指那些擁有一定模式的數(shù)據(jù)，包括JSON、Hive Tables以及Parquet。模式意味著每條記錄都擁有一套已知字段組。半結(jié)構(gòu)化數(shù)據(jù)則代表著模式與數(shù)據(jù)之間不存在明確的區(qū)分。

2016-06-17 12:31:10

Spark SQL 數(shù)據(jù)處理 Spark

Cloudera與微軟開(kāi)發(fā)Livy 簡(jiǎn)化Spark應(yīng)用

Livy為應(yīng)用程序與Spark相連接、交付作業(yè)以及程序化檢索結(jié)果提供了一個(gè)簡(jiǎn)單的方式。從其核心上來(lái)說(shuō)，Livy是一款提交、運(yùn)行以及管理Spark任務(wù)和環(huán)境的REST服務(wù)器。其客戶端API，允許同步或異步精細(xì)Spark作業(yè)交付及結(jié)果檢索?？蛻裟軌蛳褚环N多租戶服務(wù)一樣對(duì)Spark進(jìn)行使用，無(wú)需擔(dān)心實(shí)施、配置或監(jiān)測(cè)。Livy以多租戶服務(wù)的形式，來(lái)為Spark提供會(huì)話隔離、安全及用戶身份模擬

2016-06-16 09:56:17

Cloudera

呼之欲出！比Spark快10倍的Hadoop3.0有哪些實(shí)用新特性？

Hadoop 2.0是基于JDK 1.7開(kāi)發(fā)的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區(qū)基于JDK 1.8重新發(fā)布一個(gè)新的Hadoop版本，而這正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0 大數(shù)據(jù)處理 Spark

上一頁(yè) 1 ··· 3 4 5 6 7 8 下一頁(yè)

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Spark