自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<style id="8nfcf"><li id="8nfcf"></li></style>

<style id="8nfcf"></style>

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會(huì)

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫

賬號(hào)設(shè)置退出

Hadoop

839內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 839 條

大數(shù)據(jù)和Hadoop的培訓(xùn)計(jì)劃能產(chǎn)生多大的影響?

大數(shù)據(jù)通常被描述為大量的數(shù)據(jù)。然而，數(shù)據(jù)量實(shí)際上并不重要，而是可以在數(shù)據(jù)上執(zhí)行的分析，以便做出更好的決定和其他商業(yè)活動(dòng)。Hadoop是另一種為大數(shù)據(jù)更好地處理而開發(fā)的技術(shù)。由于Hadoop開發(fā)人員能夠以更好的方式執(zhí)行分析，因此企業(yè)對(duì)Hadoop開發(fā)人員的需求也正在增長。

2018-04-03 14:32:00

大數(shù)據(jù)Hadoop 課程

Hadoop分布式存儲(chǔ)與傳統(tǒng)SQL存儲(chǔ)比較及存儲(chǔ)操作描述

Google 為了應(yīng)對(duì)快速增長的數(shù)據(jù)處理，開發(fā)了一套算法。后來有人根據(jù)算法的思想，開發(fā)出開源的軟件框架，就是Hadoop，隨著越來越多的組織和個(gè)人開發(fā)者在框架開發(fā)中不斷貢獻(xiàn)改進(jìn)，Hadoop 已經(jīng)形成一套家族產(chǎn)品，成為當(dāng)下最成功最流行的分布式大數(shù)據(jù)處理框架。

2018-04-03 09:07:07

Hadoop 存儲(chǔ)SQL存儲(chǔ)

第47期：Hadoop - 一把殺雞用的牛刀

Hadoop的產(chǎn)品線豐富，這本來是好事情，但要把這些模塊都放在一個(gè)平臺(tái)上運(yùn)行，還要梳理好各個(gè)模塊之間的相互依賴性，就需要一個(gè)包羅萬象的復(fù)雜框架，這也使得Hadoop體系顯得很沉重。

2018-03-23 08:26:44

Hadoop 集群 SQL

Hadoop生態(tài)系統(tǒng)應(yīng)用狀況大調(diào)查：互聯(lián)網(wǎng)篇！

國內(nèi)外對(duì)Hadoop生態(tài)系統(tǒng)的生存狀況爭(zhēng)論不休，既然如此，我們不妨摸底調(diào)查一番，看看國內(nèi)一線互聯(lián)網(wǎng)公司(具備自我搭建大數(shù)據(jù)平臺(tái)能力的廠商)的大數(shù)據(jù)平臺(tái)是如何搭建的?是否基于Hadoop生態(tài)系統(tǒng)?Hadoop的存在感有多少?龐大的Hadoop生態(tài)系統(tǒng)中又有哪些組件真正脫穎而出了呢?

2018-03-19 15:17:37

Hadoop 大數(shù)據(jù)數(shù)據(jù)

【大數(shù)據(jù)】20個(gè)運(yùn)維案例，完美部署全分布式Hadoop集群！

20個(gè)生產(chǎn)環(huán)境的運(yùn)維案例，實(shí)操練習(xí)大數(shù)據(jù)運(yùn)維——全面學(xué)會(huì)如何部署一個(gè)完全可用于實(shí)際生產(chǎn)的全分布式Hadoop集群，具備IT企業(yè)大數(shù)據(jù)部門中級(jí)水平的運(yùn)維能力。

2018-03-13 15:23:47

大數(shù)據(jù)hadoop 系統(tǒng)運(yùn)維

Java專業(yè)人員如何利用Hadoop的力量？

數(shù)據(jù)來自不同的來源--無論是Twitter更新還是不斷的社交媒體數(shù)據(jù)，這些數(shù)據(jù)在形式上都是高度非結(jié)構(gòu)化的。傳統(tǒng)關(guān)系數(shù)據(jù)庫用來將所有數(shù)據(jù)存儲(chǔ)在關(guān)系表中的時(shí)代已經(jīng)過去了。公司越來越多地將Java開發(fā)角色外包給其他方面。

2018-03-13 12:37:59

Java Hadoop 大數(shù)據(jù)

Hadoop 分布式存儲(chǔ)與傳統(tǒng)SQL存儲(chǔ)比較及存儲(chǔ)操作描述

Hadoop 讀時(shí)模式（Schema on read）,傳統(tǒng)SQL是寫時(shí)模式（Schema on write）.傳統(tǒng)數(shù)據(jù)庫存儲(chǔ)時(shí)對(duì)數(shù)據(jù)進(jìn)行檢查，需要檢查表結(jié)構(gòu)定義等必須匹配后才讓存儲(chǔ)（write），否則就報(bào)錯(cuò)。Hadoop 是你拿過任何數(shù)據(jù)格式我都給你存儲(chǔ)，只要你給我讀取這些數(shù)據(jù)的接口程序，在用到這些數(shù)據(jù)時(shí)（read），才會(huì)檢查。

2018-03-12 08:33:34

Hadoop 存儲(chǔ)

Ness SES首席技術(shù)官：最終，Hadoop老了！

對(duì)于Hadoop飄忽不定的未來，Ness SES的首席技術(shù)官(CTO)Moshe Kranc寫下了這篇文章。計(jì)算機(jī)世界充斥著大量先動(dòng)者的產(chǎn)品，但最終都會(huì)被追隨者所取代，后來者從創(chuàng)新者的錯(cuò)誤中學(xué)習(xí)并繼續(xù)發(fā)展。我相信這是Hadoop的命運(yùn)，因?yàn)镾park和Cassandra等已經(jīng)在大數(shù)據(jù)社區(qū)獲得了持續(xù)發(fā)展的動(dòng)力。

2018-03-09 11:41:09

大數(shù)據(jù)Hadoop Spark

Hadoop和企業(yè)信息管理：利用大數(shù)據(jù)的解決方案

今天，Hadoop可以提供一個(gè)能容納大型復(fù)雜的業(yè)務(wù)應(yīng)用程序數(shù)據(jù)處理基礎(chǔ)設(shè)施。以大數(shù)據(jù)為處理模型的核心，運(yùn)行在Hadoop上的典型業(yè)務(wù)系統(tǒng)包括三個(gè)不同的層：基礎(chǔ)結(jié)構(gòu)層、數(shù)據(jù)層和分析層。

2018-03-08 11:09:29

Hadoop 大數(shù)據(jù)數(shù)據(jù)倉庫

Hadoop分布式文件系統(tǒng)--HDFS的誕生

：這篇文章介紹了HDFS的一些關(guān)鍵設(shè)計(jì)理念，已經(jīng)屬于非常簡(jiǎn)化的情況了，沒有考慮數(shù)據(jù)的完整性，節(jié)點(diǎn)失效等更多細(xì)節(jié)。

2018-03-01 16:26:30

HDFS Hadoop 系統(tǒng)

Hadoop進(jìn)入寒冬期，崛起的會(huì)是Spark嗎?

年初的調(diào)查中，Hadoop被列為2018年大數(shù)據(jù)領(lǐng)域的“漸凍”趨勢(shì)之一，Gartner的調(diào)查也揭示了Hadoop使用量的下滑，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。如果Hadoop開始進(jìn)入寒冬期，率先崛起的會(huì)是呼聲最高的Spark嗎?

2018-03-01 14:56:11

Hadoop Spark 大數(shù)據(jù)

外媒速遞：Hadoop對(duì)Spark的正面比拼報(bào)告原創(chuàng)

每一年，市場(chǎng)上都持續(xù)出現(xiàn)各類擁有不同數(shù)據(jù)管理規(guī)模、類型與速度表現(xiàn)的分布式系統(tǒng)。在這類方案當(dāng)中，Hadoop與Spark無疑是最令人矚目的兩款。然而，二者到底孰強(qiáng)孰弱?

2018-03-01 08:39:34

Hadoop Spark 加密貨幣

大數(shù)據(jù)的提升：Hadoop即服務(wù)的迅猛發(fā)展

Haadoop是一個(gè)基于開放源代碼的軟件框架，能夠跨分布式集群高吞吐量處理大數(shù)據(jù)量。利基市場(chǎng)幾年前就開始進(jìn)入主流市場(chǎng)。隨著數(shù)字化運(yùn)動(dòng)的快速擴(kuò)展，Hadoop提供了充足的使用案例，允許使用普通商品硬件進(jìn)行大數(shù)據(jù)處理。

2018-02-09 15:34:57

Hadoop Saas 云服務(wù)

自建Hadoop集群遷移到EMR之?dāng)?shù)據(jù)遷移篇

自建集群要遷移到EMR集群，往往需要遷移已有數(shù)據(jù)。本文主要介紹hdfs數(shù)據(jù)和hive meta數(shù)據(jù)如何遷移。需要自建集群和EMR各個(gè)節(jié)點(diǎn)網(wǎng)絡(luò)互通。同為VPC網(wǎng)絡(luò)只需要同一個(gè)安全組，不同的安全組需要設(shè)置安全組互通。

2018-02-02 16:15:02

Hadoop 數(shù)據(jù)遷移集群

基于Hadoop生態(tài)SparkStreaming的大數(shù)據(jù)實(shí)時(shí)流處理平臺(tái)的搭建

本人準(zhǔn)備開始著手改造原系統(tǒng)中的數(shù)據(jù)處理方式，重新搭建一個(gè)實(shí)時(shí)流處理平臺(tái)，主要是基于hadoop生態(tài)，利用Kafka作為中轉(zhuǎn)，SparkStreaming框架實(shí)時(shí)獲取數(shù)據(jù)并清洗，將結(jié)果多維度的存儲(chǔ)進(jìn)HBase數(shù)據(jù)庫。

2018-01-31 21:26:48

Hadoop SparkStream 大數(shù)據(jù)

Hadoop 3.0: YARN Resource自定義資源配置說明

yarn支持可擴(kuò)展資源類型所有節(jié)點(diǎn)、應(yīng)用程序、隊(duì)列，默認(rèn)情況下Yarn使用 CPU和內(nèi)存。資源定義可以擴(kuò)展為任意的“countable”資源。一個(gè)countable 資源，container運(yùn)行的時(shí)候，將會(huì)被暫用，完畢后將會(huì)釋放。

2018-01-23 11:00:10

Hadoop3.0 Yarn 資源

大數(shù)據(jù)處理為何選擇Spark，而不是Hadoop

Spark是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)。在速度方面，Spark擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，而且高效地支持更多計(jì)算模式，包括交互式查詢和流處理。

2018-01-22 08:33:28

Spark Hadoop 計(jì)算

后Hadoop時(shí)代的大數(shù)據(jù)技術(shù)思考：數(shù)據(jù)即服務(wù)

每一種技術(shù)都有它的應(yīng)用場(chǎng)景，在這篇文章里我們想要討論的是一種操作型大數(shù)據(jù)解決方案，所以我們花了不少筆墨在NoSQL并認(rèn)為MongoDB是一個(gè)非常不錯(cuò)的選擇。NewSQL或許會(huì)是一個(gè)潛在的選擇，如果不是因?yàn)楝F(xiàn)在它還沒發(fā)展成熟。況且，NewSQL對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的需求支持估計(jì)也還是無法很好滿足，所以我們拭目以待。

2018-01-12 16:19:41

Hadoop 數(shù)據(jù)庫 MySQL

Hadoop和Spark之間有什么區(qū)別，現(xiàn)工業(yè)界都在使用何種技術(shù)?

談到大數(shù)據(jù)，相信大家對(duì)hadoop和Apache Spark這兩個(gè)名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚(yáng)Hadoop將死，Spark將立。他們究竟是危言聳聽?嘩眾取寵?還是眼光獨(dú)到堪破未來呢?與Hadoop相比，Spark技術(shù)如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術(shù)都在使用何種技術(shù)?如果現(xiàn)在想要參加大數(shù)據(jù)培訓(xùn)的話，應(yīng)該從哪一種開始呢?

2017-12-27 14:39:07

Hadoop Spark 大數(shù)據(jù)

編譯Hadoop2.9源碼并搭建環(huán)境

因?yàn)橐郧鞍惭bhadoop編譯版的時(shí)候遇到過問題，時(shí)間比較久了，具體問題有些描述不清了，建議大家下載源碼自己編譯安裝，如果遇到bug自己直接可以修改安裝。本文的實(shí)驗(yàn)系統(tǒng)是mac，但是其他環(huán)境類似。

2017-12-22 10:51:04

Hadoop 編譯環(huán)境

Apache Hadoop 3.0.0 GA版正式發(fā)布，可以部署到線上

日前Apache Hadoop 3.0.0 GA 版本正式發(fā)布，這意味著我們就可以正式在線上使用 Hadoop 3.0.0 了!這個(gè)版本是 Apache Hadoop 3.0.0 的第一個(gè)穩(wěn)定版本，有很多重大的改進(jìn)，比如支持 EC、支持多于2個(gè)的NameNodes、Intra-datanode均衡器等等。下面是關(guān)于 Apache Hadoop 3.0.0 GA 的正式介紹。

2017-12-17 16:49:44

Apache Hado Yarn Hadoop

Hadoop將死，圖數(shù)據(jù)庫成為新趨勢(shì)？看數(shù)據(jù)庫業(yè)內(nèi)大佬如何回顧2017展望2018

科技行業(yè)向來是以技術(shù)發(fā)展速度快著稱，時(shí)值歲末，我們和多位數(shù)據(jù)庫領(lǐng)域的業(yè)內(nèi)大佬進(jìn)行了深度交流，分享了他們眼中2017年的小驚喜和2018年的大展望。

2017-12-13 14:20:36

數(shù)據(jù)庫 Hadoop 數(shù)據(jù)庫新趨勢(shì)

多位大佬大膽預(yù)測(cè)：Hadoop將死，圖數(shù)據(jù)庫成為新趨勢(shì)！

科技行業(yè)向來是以技術(shù)發(fā)展速度快著稱，時(shí)值歲末，我們和多位數(shù)據(jù)庫領(lǐng)域的業(yè)內(nèi)大佬進(jìn)行了深度交流，分享了他們眼中2017年的小驚喜和2018年的大展望。

2017-12-11 10:22:40

數(shù)據(jù)庫云計(jì)算區(qū)塊鏈

教你玩轉(zhuǎn)Hadoop分布式集群搭建，進(jìn)擊大數(shù)據(jù)

終于要開始玩大數(shù)據(jù)了，之前對(duì)haoop生態(tài)幾乎沒有太多的了解，現(xiàn)在趕鴨子上架，需要完全使用它來做數(shù)據(jù)中心，這是我的haoop第一篇文章，以后估計(jì)會(huì)寫很多大數(shù)據(jù)相關(guān)的文章。

2017-12-07 15:24:10

Hadoop 大數(shù)據(jù)服務(wù)器

大數(shù)據(jù)架構(gòu)師必看：常見的七種Hadoop和Spark項(xiàng)目案例

如果你的Hadoop項(xiàng)目將有新的突破，那么它必定與下邊介紹的七種常見項(xiàng)目很相像。有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創(chuàng)新的事情，他們最終卻會(huì)做別人正在做的事情。

2017-11-27 14:12:34

大數(shù)據(jù)Hadoop 數(shù)據(jù)分析

Hadoop面試，有它就夠了

Apache Hadoop 是一個(gè)開源軟件框架，可安裝在一個(gè)商用機(jī)器集群中，使機(jī)器可彼此通信并協(xié)同工作，以高度分布式的方式共同存儲(chǔ)和處理大量數(shù)據(jù)。最初，Hadoop 包含以下兩個(gè)主要組件：Hadoop Distributed File System (HDFS) 和一個(gè)分布式計(jì)算引擎，該引擎支持以 MapReduce 作業(yè)的形式實(shí)現(xiàn)和運(yùn)行程序。

2017-11-22 14:35:02

Hadoop 數(shù)據(jù)Reduce

你需要了解關(guān)于Hadoop與大數(shù)據(jù)的12個(gè)事實(shí)

人們?cè)谡務(wù)揌adoop的時(shí)候，常常把它當(dāng)做單一產(chǎn)品來看待，但事實(shí)上它由多個(gè)不同的產(chǎn)品共同組成。而且“千萬別以為Hadoop是免費(fèi)的或者很便宜，它背后的隱性開銷你是一下子看不到的?！?/a>

2017-11-16 18:48:48

Hadoop 數(shù)據(jù)庫數(shù)據(jù)處理

深度解析：Spark優(yōu)于Hadoop嗎？

對(duì)于任何一個(gè)進(jìn)入大數(shù)據(jù)世界的人來講，大數(shù)據(jù)和Hadoop 就成了同義詞。隨著人們學(xué)習(xí)了大數(shù)據(jù)生態(tài)系統(tǒng)及其工具和運(yùn)作原理，他們更能理解大數(shù)據(jù)的實(shí)際意義以及Hadoop 在生態(tài)系統(tǒng)中所扮演的角色。

2017-11-13 13:39:24

Spark Hadoop 大數(shù)據(jù)

如何為Hadoop集群選擇正確的硬件

雖然Hadoop被設(shè)計(jì)為可以運(yùn)行在標(biāo)準(zhǔn)的X86硬件上，但在選擇具體服務(wù)器配置的時(shí)候其實(shí)沒那么簡(jiǎn)單。為已知的工作負(fù)載或者應(yīng)用場(chǎng)景選擇硬件時(shí)，往往都要綜合考慮性能因素和性價(jià)比，才能選擇合適的硬件。

2017-11-09 08:51:28

Hadoop 集群硬件

嫌棄Hadoop?可能是你的打開方式有問題

關(guān)于 Hadoop 所謂的消亡，以及它跌落神壇的報(bào)道數(shù)不勝數(shù)。有很多人放馬后炮說，Hadoop 從一開始就沒有意義。還有人說“Hadoop 對(duì)于小型，臨時(shí)的工作來說很慢”、“ Hadoop 很難”、“ Hadoop 已經(jīng)死了，Spark 才是勝者”等等。那么事實(shí)真的如此嗎?

2017-11-06 16:06:05

大數(shù)據(jù)Hadoop 打開方式

大數(shù)據(jù)時(shí)代和Hadoop時(shí)代的維度建模和Kimball數(shù)據(jù)集市

維度建模是數(shù)據(jù)建模的一種特殊方法。維度建模有兩個(gè)同義詞，數(shù)據(jù)集市和星型結(jié)構(gòu)。星型結(jié)構(gòu)是為了更好地進(jìn)行數(shù)據(jù)分析，參考下面圖示的維度模型，可以有一個(gè)很直觀的理解。通過它可以立即知道如何通過客戶、產(chǎn)品、時(shí)間對(duì)訂單進(jìn)行分割，如何通過度量的聚集和比較對(duì)訂單業(yè)務(wù)過程進(jìn)行績效評(píng)估。

2017-10-26 09:31:14

Hadoop 維度建模 Kimball

Hadoop偽分布式搭建操作步驟指南

本文主要分享Hadoop偽分布式搭建的操作步驟，包括準(zhǔn)備工作、Hadoop環(huán)境部署-JDK部分和Hadoop偽分布式環(huán)境部署-Hadoop部分，希望對(duì)大家有所幫助。

2017-10-25 18:25:40

Hadoop 偽分布式環(huán)境部署

大數(shù)據(jù)和Hadoop時(shí)代的維度建模和Kimball數(shù)據(jù)集市

在 Hadoop，例如 Hive、SparkSQL 上建立維度模型，要很好地理解一個(gè)技術(shù)上的核心特征，就是它和分布式關(guān)系型數(shù)據(jù)庫(MPP)上的建立方式是不一樣的。在 MPP 中的節(jié)點(diǎn)上分布數(shù)據(jù)，可以控制每條數(shù)據(jù)記錄的位置。

2017-10-25 14:15:55

大數(shù)據(jù)Hadoop 維度建模

關(guān)于Hadoop技術(shù)的HA機(jī)制學(xué)習(xí)

網(wǎng)上關(guān)于Hadoop HA的資料多集中于怎么搭建HA，對(duì)于HA為什么要這么做描述甚少，所以本文對(duì)于HA是如何搭建的暫不介紹，主要是介紹HA是怎么運(yùn)作，QJM又是怎么發(fā)揮功效的。

2017-10-23 14:14:26

Hadoop Hadoop HA QJM

Hadoop技術(shù)之Hadoop HA 機(jī)制學(xué)習(xí)

最近分享過一次關(guān)于Hadoop技術(shù)主題的演講，由于接觸時(shí)間不長，很多技術(shù)細(xì)節(jié)認(rèn)識(shí)不夠，也沒講清楚，作為一個(gè)技術(shù)人員，本著追根溯源的精神，還是有必要吃透，也為自己的工作沉淀一些經(jīng)驗(yàn)總結(jié)。

2017-10-19 15:34:52

Hadoop 技術(shù)機(jī)制學(xué)習(xí)

大數(shù)據(jù)前景分析：Hadoop將被Spark替代？

談到大數(shù)據(jù)，相信大家對(duì)hadoop和Apache Spark這兩個(gè)名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚(yáng)Hadoop將死，Spark將立。與Hadoop相比，Spark技術(shù)如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術(shù)都在使用何種技術(shù)?

2017-10-19 08:28:15

大數(shù)據(jù)Hadoop Spark

榮之聯(lián)DataZoo大數(shù)據(jù)平臺(tái)：基于hadoop但不僅僅只是hadoop

近年來，數(shù)據(jù)已經(jīng)成為非常重要的企業(yè)資產(chǎn)，通過大數(shù)據(jù)分析改善管理、提升業(yè)務(wù)、促進(jìn)行業(yè)轉(zhuǎn)型在業(yè)界已達(dá)成共識(shí)，在此背景下，榮之聯(lián)自主研發(fā)的DataZoo大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生。

2017-09-28 17:20:17

榮之聯(lián)DataZoo hadoop

10道Hadoop面試真題及解題思路

本文主要介紹10道關(guān)于Hadoop的面試真題以及解題思路，希望對(duì)大家有所幫助。

2017-09-28 15:19:53

Hadoop 面試題解題思路

干貨 | 98道常見Hadoop面試題及答案解析（一）

這是一篇hadoop的測(cè)試題及答案解析，題目種類挺多，一共有98道題，題目難度不大，對(duì)于高手來說，90分以上才是你的追求。

2017-09-25 10:00:18

Hadoop 面試題答案解析

關(guān)于Hadoop你需要知道的一些事項(xiàng)

全名Apache Hadoop,是一個(gè)在通用低成本的硬件上處理存儲(chǔ)和大規(guī)模并行計(jì)算的一個(gè)開源框架。從2011年他的面世,他已經(jīng)成為大數(shù)據(jù)領(lǐng)域最出名的平臺(tái)。

2017-09-18 18:31:08

基于Hadoop大數(shù)據(jù)分析應(yīng)用場(chǎng)景與實(shí)戰(zhàn)

為了滿足日益增長的業(yè)務(wù)變化，京東的京麥團(tuán)隊(duì)在京東大數(shù)據(jù)平臺(tái)的基礎(chǔ)上，采用了Hadoop等熱門的開源大數(shù)據(jù)計(jì)算引擎，打造了一款為京東運(yùn)營和產(chǎn)品提供決策性的數(shù)據(jù)類產(chǎn)品-北斗平臺(tái)。

2017-09-18 17:59:23

Hadoop 數(shù)據(jù)分析

hadoop生態(tài)圈列式存儲(chǔ)系統(tǒng)--kudu介紹及安裝配置

介紹Kudu 是一個(gè)針對(duì) Apache Hadoop 平臺(tái)而開發(fā)的列式存儲(chǔ)管理器。Kudu 共享 Hadoop 生態(tài)系統(tǒng)應(yīng)用的常見技術(shù)特性: 它在 commodity hardware(商品硬件)上運(yùn)行，horizontally scalable(水平可擴(kuò)展)，并支持 highly available(高可用)性操作。

2017-08-22 09:34:38

hadoop 存儲(chǔ)系統(tǒng)

如何在CentOS上安裝Apache Hadoop

Apache Hadoop 軟件庫是一個(gè)框架，它允許使用簡(jiǎn)單的編程模型在計(jì)算機(jī)集群上對(duì)大型數(shù)據(jù)集進(jìn)行分布式處理。Apache™ Hadoop® 是可靠、可擴(kuò)展、分布式計(jì)算的開源軟件。本文將幫助你逐步在 CentOS 上安裝 hadoop 并配置單節(jié)點(diǎn) hadoop 集群。

2017-08-15 11:58:15

Linux CentOS Apache Hado

玩轉(zhuǎn)Hadoop分布式集群搭建

Hadoop的搭建有三種方式，單機(jī)版適合開發(fā)調(diào)試;偽分布式版，適合模擬集群學(xué)習(xí);完全分布式，生產(chǎn)使用的模式。這篇文件介紹如何搭建完全分布式的hadoop集群，一個(gè)主節(jié)點(diǎn)，三個(gè)數(shù)據(jù)節(jié)點(diǎn)為例來講解。

2017-08-10 10:17:32

Hadoop 分布式搭建

華為服務(wù)器助力全球最大私有Hadoop集群發(fā)力大數(shù)據(jù)

FusionServer硬盤驅(qū)動(dòng)器密度最高且可節(jié)能20% 經(jīng)過幾個(gè)月的使用和評(píng)估，我們決定將華為的FusionServer納入我們?nèi)虿少從夸?，讓華為成為我們的一個(gè)主要硬件供應(yīng)商。所以自2016年初以來，我們?cè)诿绹?，歐洲和亞太地區(qū)持續(xù)采購華為服務(wù)器……華為提供構(gòu)建強(qiáng)大數(shù)據(jù)中心所需的全系列產(chǎn)品。我們可以從一個(gè)供應(yīng)商處購買到模塊化集裝箱、服務(wù)器和網(wǎng)絡(luò)交換機(jī)，這一點(diǎn)對(duì)我們來說非常有吸引力。 ——Matthieu BlumbergCriteo基礎(chǔ)設(shè)施業(yè)務(wù)工程總監(jiān)

2017-08-08 16:39:49

HADOOP1.X中HDFS工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系統(tǒng)。是根據(jù)google發(fā)表的論文翻版的。論文為GFS(Google File System)Google 文件系統(tǒng)(中文，英文)。

2017-08-03 10:38:32

HADOOP1.X HDFS Hadoop

分布式數(shù)據(jù)庫和Hadoop都不夠好，于是我們?cè)O(shè)計(jì)了分布式SQL計(jì)算系統(tǒng)

為了解決分布式數(shù)據(jù)庫下，復(fù)雜的 SQL難以實(shí)現(xiàn)的問題;在有了一些分布式數(shù)據(jù)庫和 Hadoop 實(shí)際應(yīng)用經(jīng)驗(yàn)的基礎(chǔ)上，對(duì)比兩者的優(yōu)點(diǎn)和不足，加上自己的一些提煉和思考, 設(shè)計(jì)了一套綜合兩者的系統(tǒng)，利用兩者的優(yōu)點(diǎn)，補(bǔ)充兩者的不足。具體的說，使用數(shù)據(jù)庫水平分割的思想實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，使用 MapReduce的思想實(shí)現(xiàn) SQL 計(jì)算。

2017-07-20 13:17:35

大數(shù)據(jù)數(shù)據(jù)庫 SQL計(jì)算

聽Cloudera首席架構(gòu)師Doug Cutting談Hadoop與人工智能原創(chuàng)

Doug Cutting是開源界的技術(shù)大神，無論是2000年的Lucene，還是后來基于Lucene衍生的企業(yè)級(jí)搜索項(xiàng)目Solr以及ElasticSearch，當(dāng)然還包括后來風(fēng)靡全球的Hadoop，他經(jīng)手的每個(gè)開源項(xiàng)目都影響甚廣并表現(xiàn)出色，盡管筆者不是長期奮戰(zhàn)在技術(shù)一線的程序員，但也久聞大名，這次采訪讓筆者期待已久。

2017-07-20 10:31:33

Cloudera Doug Cuttin Hadoop

Hadoop會(huì)取代數(shù)倉嗎？看硅谷專家怎么說

一想數(shù)據(jù)管理世界中的那個(gè)偉大的存在–數(shù)據(jù)倉庫吧。在過去的二十年中，盡管其他的系統(tǒng)和軟件在許許多多的迭代、變革中演進(jìn)，甚至完全被新模型所拋棄，數(shù)據(jù)倉庫這個(gè)老骨干卻安然屹立。她可能會(huì)偷偷地給自己的面頰，皺紋整容，也可能會(huì)激起一些不那么令人深刻的模仿，但是沒有什么能長期的吸引她的注意力。

2017-07-13 09:48:22

Hadoop 數(shù)據(jù)倉庫

hadoop hbase集群斷電數(shù)據(jù)塊被破壞無法啟動(dòng)

集群機(jī)器意外斷電重啟，導(dǎo)致hbase 無法正常啟動(dòng)，拋出reflect invocation異常，可能是正在執(zhí)行的插入或合并等操作進(jìn)行到一半時(shí)中斷，導(dǎo)致部分?jǐn)?shù)據(jù)文件不完整格式不正確或在hdfs上block塊不完整。

2017-07-04 10:39:21

hadoop hbas 數(shù)據(jù)塊啟動(dòng)

上一頁 1 2 3 4 5 6 ··· 17 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營