自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點、技術(shù)難點與應(yīng)用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

共 353 條

Storm與Spark：誰才是我們的實時處理利器譯文

實時商務(wù)智能目前已經(jīng)逐步邁入主流，而Storm與Spark開源項目的支持無疑在其中起到了顯著的推動作用。那么問題來了：實時處理到底哪家強？

2014-12-15 09:32:17

2014Spark亞太峰會圖文直播原創(chuàng)

移動互聯(lián)網(wǎng)及云計算大數(shù)據(jù)的浪潮正在并將最終徹底的變革所有的公司和機構(gòu)的架構(gòu)模式、生產(chǎn)模式、服務(wù)模式以及管理模式。伴隨著大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)業(yè)的逐步成熟，繼Hadoop之后，Spark技術(shù)以集大成的無可比擬的優(yōu)勢，發(fā)展迅速，將成為替代Hadoop的下一代云計算、大數(shù)據(jù)核心技術(shù)。

2014-12-06 12:18:14

Spark 2014Spark Spark亞太峰會

專訪京東云大數(shù)據(jù)平臺技術(shù)負(fù)責(zé)人廖曉輝：揭秘Spark與云服務(wù) 原創(chuàng)

云已經(jīng)成為在互聯(lián)網(wǎng)圈里出現(xiàn)頻率最高的一個詞了。無論是公有云、私有云、開發(fā)云，測試云；也不僅僅是互聯(lián)網(wǎng)企業(yè)，傳統(tǒng)企業(yè)也因為云做出了或多或少的改變。云已經(jīng)成為像水、電一樣不可或缺的資源。

2014-12-05 15:37:06

Spark 云服務(wù)

Spark：為大數(shù)據(jù)處理點亮一盞明燈譯文

Apache Spark為Hadoop集群帶來了速度極高的內(nèi)存內(nèi)分析能力，從而將大規(guī)模數(shù)據(jù)集的處理周期由幾小時成功縮短為幾分鐘。

2014-12-02 09:49:12

Spark 大數(shù)據(jù)

2014 Spark開發(fā)者大賽正式啟動原創(chuàng)

據(jù)悉：2014年9月30日，2014 Spark開發(fā)者大賽在北京正式啟動。本次大賽由Spark亞太研究院聯(lián)合國內(nèi)領(lǐng)先的IT技術(shù)創(chuàng)新與發(fā)展的互聯(lián)網(wǎng)媒體平臺51CTO傳媒及國內(nèi)最大的IT在線教育平臺51CTO學(xué)院在亞太范圍內(nèi)發(fā)起。面向云計算大數(shù)據(jù)從業(yè)者、Spark技術(shù)愛好者及數(shù)百所高校在讀學(xué)生。無論是對Spark有濃厚興趣的初學(xué)者、或者Spark應(yīng)用高手，還是Spark源碼級別大牛，都可以借助本次大賽，一展才華，就Spark技術(shù)與應(yīng)用實踐展開交流及切磋。

2014-10-13 10:26:35

Spark實戰(zhàn)：單節(jié)點本地模式搭建Spark運行環(huán)境

Spark與Hadoop一樣，是一種開源的集群計算環(huán)境，但在特定工作負(fù)載情況下比Hadoop更高效。Spark采用基于內(nèi)存的分布式數(shù)據(jù)集，優(yōu)化了迭代式的工作負(fù)載以及交互式查詢。下面作者將通過單節(jié)點本地模式搭建Spark運行環(huán)境

2014-09-16 10:13:27

Spark 搭建環(huán)境

星環(huán)：如何構(gòu)建企業(yè)級Hadoop/Spark分析平臺

進入2014年以后，Spark開源生態(tài)系統(tǒng)得到了大幅增長，已成為大數(shù)據(jù)領(lǐng)域最活躍的開源項目之一。Spark之所以吸引如此多的關(guān)注，究其原因主要是因為Spark具有的高性能、高靈活性、與Hadoop生態(tài)系統(tǒng)完美融合等三方面的特征。

2014-09-09 14:10:01

企業(yè)級 Hadoop Spark

專訪梁宇明：Hulu的Spark On YARN之路原創(chuàng)

Hulu，因為尚未進入中國，知道它的人遠(yuǎn)不如知道YouTube和優(yōu)酷、土豆。而在美國，Hulu已經(jīng)將Google Video擠出局成為全美排名第10的視頻網(wǎng)站。今天，來自Hulu，負(fù)責(zé)大數(shù)據(jù)團隊基礎(chǔ)架構(gòu)開發(fā)的梁宇明老師，將為我們分享Hulu的Spark On YARN之路。

2014-08-25 09:03:44

Hulu Spark On Y

Databricks連城：Spark打造一體化大數(shù)據(jù)流水線

連城老師目前專注于以Spark為主的大數(shù)據(jù)分析系統(tǒng)，Spark SQL為Spark提供了原生的SQL關(guān)系查詢能力，并進一步增強了Spark操縱結(jié)構(gòu)化數(shù)據(jù)的能力。演講伊始，連城率先分享了當(dāng)今大數(shù)據(jù)的問題以及數(shù)據(jù)分析流程，通常的做法是在hadoop之上刻畫框架。因此所有流程是基于HDFS，所得到的是有效的數(shù)據(jù)處理結(jié)果占比全部數(shù)據(jù)處理的比例并不高。

2014-07-26 14:44:01

Databricks 連城 Spark

Apache Spark源碼走讀之3：Task運行期之函數(shù)調(diào)用

本篇主要闡述在TaskRunner中執(zhí)行的task其業(yè)務(wù)邏輯是如何被調(diào)用到的，另外試圖講清楚運行著的task其輸入的數(shù)據(jù)從哪獲取，處理的結(jié)果返回到哪里，如何返回。

2014-07-23 10:02:11

Web安全掃描器Netsparker v3.5發(fā)布

Netsparker是一款綜合型的web應(yīng)用安全漏洞掃描工具，它分為專業(yè)版和免費版，免費版的功能也比較強大。Netsparker與其他綜合性的web應(yīng)用安全掃描工具相比的一個特點是它能夠更好的檢測SQL Injection和Cross-site Scripting類型的安全漏洞。

2014-07-22 10:13:26

Netsparker 漏洞掃描工具漏洞掃描

Spark1.0.0部署指南

今天要給大家講述Spark1.0.0部署的過程。Spark常用的安裝部署模式有Spark On Yarn和Standalone，可以同時使用。

2014-07-17 14:09:31

Apache Spark源碼走讀：如何進行代碼跟讀

今天不談Spark中什么復(fù)雜的技術(shù)實現(xiàn)，只稍為聊聊如何進行代碼跟讀。眾所周知，Spark使用scala進行開發(fā)，由于scala有眾多的語法糖，很多時候代碼跟著跟著就覺著線索跟丟掉了，另外Spark基于Akka來進行消息交互，那如何知道誰是接收方呢？

2014-07-15 10:59:58

Spark 代碼跟讀

Apache Spark源碼走讀之2：Job的提交與運行

本文以wordCount為例，詳細(xì)說明spark創(chuàng)建和運行job的過程，重點是在進程及線程的創(chuàng)建。

2014-07-04 10:58:47

巧用云平臺簡化Spark集群與大數(shù)據(jù)部署譯文

在本屆Spark 2014峰會上，Databricks公司CEO Ion Stoica在主題演講中公布了Databricks云——這是一套針對內(nèi)存內(nèi)集群計算的交鑰匙平臺，承諾以Hadoop MapReduce為基礎(chǔ)給大數(shù)據(jù)處理任務(wù)帶來顯著性能提升。

2014-07-04 10:01:08

Apache Spark源碼走讀之1:論文閱讀筆記

源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當(dāng)初為什么要這樣設(shè)計，設(shè)計之初要解決的主要問題是什么。在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性的認(rèn)識，閱讀Matei Zaharia做的Spark論文是一個非常不錯的選擇。在閱讀該論文的基礎(chǔ)之上，再結(jié)合Spark作者在2012 Developer Meetup上做的演講Introduction to Spark Internals，那么對于Spark的內(nèi)部實現(xiàn)會有一個比較大概的了解。有了上述的兩篇文章奠定基礎(chǔ)之后，再來進行源碼閱讀，

2014-07-03 15:40:09

Spark:星星之火即將燎原

大數(shù)據(jù)時代，Spark是繼Hadoop之后，成為替代Hadoop的下一代云計算大數(shù)據(jù)核心技術(shù)，目前Spark已經(jīng)構(gòu)建了自己的整個大數(shù)據(jù)處理生態(tài)系統(tǒng)，如流處理、圖技術(shù)、機器學(xué)習(xí)、NoSQL查詢等方面都有自己的技術(shù)，并且是Apache頂級Project，可以預(yù)計的是2014年下半年到2015年Spark在社區(qū)和商業(yè)應(yīng)用上會有爆發(fā)式的增長。目前Spark的技術(shù)在國內(nèi)還屬于起步階段，為了更好地幫助大家了解Spark技術(shù)特點及應(yīng)用前景，我們走訪了Spark亞太研究院的院長王家林。

2014-07-02 13:55:17

如何成為云計算大數(shù)據(jù)Spark高手？

Spark是發(fā)源于美國加州大學(xué)伯克利分校AMPLab的集群計算平臺，它立足于內(nèi)存計算，性能超過Hadoop百倍，從多迭代批量處理出發(fā)，兼收并蓄數(shù)據(jù)倉庫、流處理和圖計算等多種計算范式，是罕見的全能選手。

2014-06-25 13:57:50

云計算大數(shù)據(jù)Spark

解析Spark在騰訊、雅虎、優(yōu)酷的成功應(yīng)用

Spark作為Apache頂級的開源項目，項目主頁見http://spark.apache.org。在迭代計算，交互式查詢計算以及批量流計算方面都有相關(guān)的子項目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。從13年起Spark開始舉行了自已的Spark Summit會議，會議網(wǎng)址見http://spark-summit.org。Amplab實驗室單獨成立了獨立公司Databricks來支持Spark的研發(fā)。

2014-06-09 14:44:44

快扔掉MapReduce，擁抱Spark吧！譯文

Apache Spark也許能為Hadoop MapReduce帶來一套速度表現(xiàn)更出色的替代方案。

2014-06-05 08:47:52

Spark 1.0 Mapreduce

大數(shù)據(jù)利器：Spark的單機部署與測試筆記

Spark作為最有可能代替mapreduce的分布式計算框架，正受到廣泛的關(guān)注。相比Hadoop來說，Spark的中間計算結(jié)果存于內(nèi)存無疑給計算過程節(jié)省了很多時間，于是想試試看其與Hadoop有什么不一樣的地方，就有了這篇Spark的單機部署與測試筆記。

2014-05-16 10:55:47

Spark基本概念解析

Spark作為一個資源管理器的存在，類似YARN、Mesos的角色，為Spark Application提供資源。

2014-04-16 15:11:19

Spark多語言編程實踐

了解了Spark編程的基本概念，可以看出Spark編程都是圍繞著RDD進行的。關(guān)于編程的基礎(chǔ)知識，可以參看spark編程基礎(chǔ)。

2014-04-16 14:50:20

Spark的Standalone模式部署

首先，下載并解壓縮Spark的源碼，切換到解壓縮所生成的目錄，運行部署包生成程序make-distribution.sh。就可以開始Standalone模式部署過程了。

2014-04-16 14:04:34

Spark Standalone

Spark的YARN模式部署

Spark可以通過SBT（Scala Build Tool）或者Maven來編譯，官方提供的二進制安裝文件是用Maven編譯。

2014-04-16 13:47:43

Spark On Yarn(HDFS HA)詳細(xì)配置過程

我們將要介紹Spark On Yarn詳細(xì)配置過程，包括服務(wù)器分布以及Spark的部署全部過程。

2014-04-16 11:01:07

Spark集群部署

本文將為您介紹如何在虛擬機環(huán)境部署Spark集群。集群上已經(jīng)成功部署了Hadoop2.2，軟件環(huán)境為64位Ubuntu12.04 LTS。

2014-04-16 10:41:58

Apache Spark三種分布式部署方式比較

目前Apache Spark支持三種分布式部署方式，分別是standalone、spark on mesos和 spark on YARN。

2014-04-09 14:59:55

Cloudera將Spark劃入Hadoop

Spark作為一個通用的并行計算框架，已經(jīng)成為繼Hadoop之后又一大熱門開元項目，逐漸獲得很多企業(yè)的支持。近日，Cloudera正式宣布開始商業(yè)支持Apache Spark 機器學(xué)習(xí)和數(shù)據(jù)流處理環(huán)境。

2014-04-09 10:55:55

Spark會是大數(shù)據(jù)領(lǐng)域的下一個大家伙嗎？_IT技術(shù)周刊第359期

2014-03-31 13:47:35

IT技術(shù)周刊

優(yōu)酷土豆應(yīng)用Spark完善大數(shù)據(jù)分析案例

優(yōu)酷土豆作為國內(nèi)最大的視頻網(wǎng)站，和國內(nèi)其他互聯(lián)網(wǎng)巨頭一樣，率先看到大數(shù)據(jù)對公司業(yè)務(wù)的價值，早在2009年就開始使用Hadoop集群，隨著這些年業(yè)務(wù)迅猛發(fā)展，優(yōu)酷土豆又率先嘗試了仍處于大數(shù)據(jù)前沿領(lǐng)域的Spark/Shark 內(nèi)存計算框架，很好地解決了機器學(xué)習(xí)和圖計算多次迭代的瓶頸問題，使得公司大數(shù)據(jù)分析更加完善。

2014-03-27 09:36:36

對比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工業(yè)大學(xué)機器學(xué)習(xí)專業(yè)的博士后，他通過描述了自己對Spark逐步認(rèn)識的過程，為我們剖析了Spark的原理和應(yīng)用。

2014-03-26 11:09:27

Apache Spark是大數(shù)據(jù)領(lǐng)域的下一個大家伙嗎？

Spark是一個基于內(nèi)存in-memory數(shù)據(jù)處理平臺，兼容于Hadoop 數(shù)據(jù)源但是比Hadoop MapReduce運行得快得多。.特別適合于機器學(xué)習(xí)處理。

2014-03-26 10:59:14

Apache Spark的R語言前端：SparkR

SparkR是一個R語言包提供了一個輕量級的前端，用于從R語言中使用Apache Spark。SparkR通過RDD類暴露Spark API，允許用戶以交互方式在集群上從R shell運行jobs。

2014-03-26 10:52:24

Spark是個開源的數(shù)據(jù)分析集群計算框架，最初由加州大學(xué)伯克利分校AMPLab開發(fā)，建立于HDFS之上。Spark與Hadoop一樣，用于構(gòu)建大規(guī)模、低延時的數(shù)據(jù)分析應(yīng)用。Spark采用Scala語言實現(xiàn)，使用Scala作為應(yīng)用框架。

2014-02-14 15:43:16

將Spark部署到Hadoop 2.2.0上

本文介紹的是如何將Apache Spark部署到Hadoop 2.2.0上，如果你們的Hadoop是其他版本，比如CDH4，可直接參考官方說明操作。

2014-01-07 11:24:45

Spark：利用Eclipse構(gòu)建Spark集成開發(fā)環(huán)境

前一篇文章“Apache Spark學(xué)習(xí)：將Spark部署到Hadoop 2.2.0上”介紹了如何使用Maven編譯生成可直接運行在Hadoop 2.2.0上的Spark jar包，而本文則在此基礎(chǔ)上，介紹如何利用Eclipse構(gòu)建Spark集成開發(fā)環(huán)境。

2014-01-07 10:36:32

利用Scala語言開發(fā)Spark應(yīng)用程序

park內(nèi)核是由Scala語言開發(fā)的，因此使用Scala語言開發(fā)Spark應(yīng)用程序是自然而然的事情。如果你對Scala語言還不太熟悉，可以閱讀網(wǎng)絡(luò)教程A Scala Tutorial for Java Programmers或者相關(guān)Scala書籍進行學(xué)習(xí)。

2014-01-07 10:12:15

Google打造Spark：基于Web的應(yīng)用開發(fā)工具

Google喜歡Web應(yīng)用，但在編程工具領(lǐng)域，還是單機軟件的天下。為此，Google于周四推出了名叫Spark(星火)的項目，有望能就此改變這一狀況。據(jù)Francois Beaufort表示，Spark是一個運行于Chrome瀏覽器中的Web IDE(集成開發(fā)環(huán)境)，用它來編寫Chrome應(yīng)用應(yīng)該再合適不過了。

2013-11-22 11:03:45

Google Web 開發(fā)工具

Cloudera與Databricks達成合作 Spark邁上企業(yè)級之路

本年度Hadoop World會議上最火的一則消息可能就是Cloudera決定提供Apache Spark的全企業(yè)級支持——類似Hadoop發(fā)行版里的定制內(nèi)容及付費產(chǎn)品支持，不僅僅是技術(shù)整合。這進一步證明了未來Hadoop的工作負(fù)載比現(xiàn)在和過去的看起來大不一樣。

2013-11-01 09:25:19

大數(shù)據(jù)Hadoop Spark

Spark：一個高效的分布式計算系統(tǒng)

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的map reduce的算法。

2013-09-11 16:02:00

Spark 分布式計算系統(tǒng)

2013創(chuàng)新中國BizSpark專場（北京）圓滿結(jié)束

6月13日下午17:00，由創(chuàng)業(yè)邦和微軟(中國)有限公司BizSpark計劃聯(lián)合主辦的2013創(chuàng)新中國微軟BizSpark新創(chuàng)企業(yè)大賽 —— 云/端專場大賽(北京)在中關(guān)村微軟大廈完美落幕。來自全國各地的12家創(chuàng)業(yè)團隊參加了本次大賽。

2013-06-14 16:05:18

創(chuàng)新中國

Twitter將采用Spark分析大數(shù)據(jù)

Twitter數(shù)據(jù)科學(xué)家Edwin Chen最近在接受媒體采訪的時候透露，Twitter內(nèi)部希望嘗試一種全新的大數(shù)據(jù)系統(tǒng)——Spark。

2012-08-30 14:33:03

微軟BizSpark：托舉創(chuàng)業(yè)夢想的支點

2012年微軟BizSpark新創(chuàng)企業(yè)大賽中國區(qū)決賽落下帷幕。微軟BizSpark™新創(chuàng)企業(yè)扶植計劃于2008年11月正式在大中華區(qū)推出，截至2012年，已經(jīng)有超過1000家新創(chuàng)企業(yè)免費獲得微軟開發(fā)工具、操作系統(tǒng)、數(shù)據(jù)庫、辦公軟件與服務(wù)器軟件的使用許可。在2012年的微軟BizSpark™新創(chuàng)企業(yè)大賽中，微軟繼續(xù)加大對中國新創(chuàng)企業(yè)的支持力度

2012-05-22 19:08:20

微軟 BizSpark 創(chuàng)業(yè)

利用 Spark 進行數(shù)據(jù)分析和性能改進

Spark 是一種前景無限的大數(shù)據(jù)分析解決方案，專為使用內(nèi)存處理的高效集群計算而開發(fā)。其目標(biāo)使用模型包括整合了迭代式算法的模型（也就是說，能夠受益于將數(shù)據(jù)保留在內(nèi)存之中，而非將其推送到楊恩較高的文件系統(tǒng)的模型）。在動手嘗試這些練習(xí)之前，請務(wù)必理解 Spark 的集群計算方法及其與 Hadoop 的不同之處。請閱讀最近發(fā)表的一篇相關(guān)文章 Spark，一種快速數(shù)據(jù)分析替代方案，以便了解 Spark 的背景知識和使用方法。

2012-03-21 09:31:51

微軟BizSpark項目開放Azure平臺資助中小開發(fā)者譯文

微軟產(chǎn)品因為價格的問題無法得到開發(fā)者的青睞，他們因而轉(zhuǎn)向使用開源平臺或其他便宜的的替代產(chǎn)品。為了解決這個問題，2008年，微軟在全球范圍內(nèi)開展BizSpark項目，為那些成立在三年以內(nèi)以及年收入在100萬美元之內(nèi)的初創(chuàng)企業(yè)提供免費產(chǎn)品。到現(xiàn)在，已經(jīng)有4萬5千個小公司成為了BizSpark項目成員。

2012-03-08 16:13:28

云計算微軟 Azure

亞馬遜和微軟協(xié)議擴大包括BizSpark和SQL Server2012

亞馬遜已宣布與微軟的兩條許可協(xié)議。第一條協(xié)議取消了BizSpark成員在EC2上運行微軟軟件的許可費。第二條協(xié)議允許所有的開發(fā)人員在EC2上運行SQL Server 2012預(yù)覽。要指出的是，正常的EC2服務(wù)率仍然在提出申請這兩條協(xié)議。

2011-12-24 14:10:30

云計算微軟亞馬遜

微軟大中華區(qū)BizSpark創(chuàng)新企業(yè)大賽揚帆起航

“微軟創(chuàng)新企業(yè)扶植計劃”（Microsoft BizSpark™），2008年11月正式推出，旨在幫助從事軟件開發(fā)和互聯(lián)網(wǎng)服務(wù)的創(chuàng)新企業(yè)在早期發(fā)展階段快速成長。它在扶植計劃期內(nèi)為創(chuàng)新企業(yè)提供多項資源，包含軟件和技術(shù)支持，并幫助創(chuàng)業(yè)企業(yè)提高知名度。

2011-02-28 17:10:25

BizSpark 微軟創(chuàng)新企業(yè)大賽

Flex4beta的Spark布局特性解析

Spark作為Flex4beta的全新組件模型和架構(gòu)給RIA表格帶來了很多驚喜，本文就向大家簡單介紹一下Flex4beta的Spark布局。

2010-07-27 10:32:41

剖析微軟扶植創(chuàng)業(yè)及創(chuàng)新型企業(yè)Spark計劃

2008年11月，微軟推出“創(chuàng)業(yè)企業(yè)扶植計劃”（BizSpark™），旨在幫助從事軟件開發(fā)和互聯(lián)網(wǎng)服務(wù)的創(chuàng)業(yè)企業(yè)在早期發(fā)展階段快速取得成功。

2009-11-30 18:38:12

微軟創(chuàng)業(yè)Spark

上一頁 1 ··· 3 4 5 6 7 8 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

^{<blockquote id="lkja0"></blockquote>}

<legend id="lkja0"><track id="lkja0"></track></legend>