自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<rt id="olnv0"><strong id="olnv0"></strong></rt>

<p id="olnv0"></p>

<sub id="olnv0"><p id="olnv0"></p></sub>

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Hadoop

839內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 157 條

利用QJM實(shí)現(xiàn)HDFS的HA策略部署與驗(yàn)證工作記錄分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了兩個重要功能，HA和Federation。HA解決了Hadoop1.X Namenode中一直存在的單點(diǎn)故障問題，HA策略通過熱備的方式為主NameNode提供一個備用者，并且這個備用者的狀態(tài)一直和主Namenode的元數(shù)據(jù)保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

hadoop 1.x升級至hadoop-2.2.0記錄

一、概述公司hadoop集群從1.2.1升級到2.2.0已經(jīng)有一段時間，這篇blog將總結(jié)一下我前段時間在升級至hadoop2.2.0版本過程中遇到的一些問題，以及具體的升級步驟。二、升級過程(1)停掉hadoop1.x集群。(2)備份namenode原數(shù)據(jù)，即備份dfs.namenode.name.dir指向的路徑。以免造成由于升級版本帶來的風(fēng)險。

2014-06-18 15:28:23

hadoop yarn MRv2

Hadoop2的ResourceManager高可用配置

Hadoop 2.2沒怎么關(guān)注過，太新，bug太多。2.4出來以后關(guān)注了一些東西，比如2.4里面直接帶了ResourceManager的高可用，這點(diǎn)比較吸引人。之前2.2沒注意有沒有，貌似是沒有，然后CDH自己出了一個解決方案，這次2.4的更新直接自己帶了，還不錯，這樣就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通過ZKFC自動做故障切換。大概從2.4開始，Ha

2014-06-06 23:04:15

運(yùn)維 ha hadoop

Hadoop運(yùn)維記錄系列(十三)

記錄一下在2.x里面不會很常見的報錯。只是在測試集群中發(fā)生，生產(chǎn)集群大概很少有人會去重啟Namenode吧，特別是做了HA的。場景是在2.x里做好了Namenode HA，以Namespace URI方式訪問HDFS時，報錯，然后兩個Namenode貌似都是standby，然后歷史任務(wù)服務(wù)器無法啟動，HBase的Master也無法啟動。其實(shí)這個故障很簡單。2014-06-0517:20

2014-06-05 17:57:33

部署開發(fā)運(yùn)維

namenode gc導(dǎo)致的故障一例

周末處理的一次故障，這里簡單記錄下。故障現(xiàn)象：6點(diǎn)1分左右開始，Hadoop集群異常，所有的hdfs操作都出現(xiàn)問題。幾十個job報以下錯FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

海量數(shù)據(jù)解決思路之BitMap

一、概述本文將講述Bit-Map算法的相關(guān)原理,Bit-Map算法的一些利用場景，例如BitMap解決海量數(shù)據(jù)尋找重復(fù)、判斷個別元素是否在海量數(shù)據(jù)當(dāng)中等問題.最后說說BitMap的特點(diǎn)已經(jīng)在各個場景的使用性。二、Bit-Map算法先看看這樣的一個場景：給一臺普通PC，2G內(nèi)存，要求處理一個包含40億個不重復(fù)并且沒有排過序的無符號的int整數(shù)，給出一個整數(shù)，問如果快速地判斷這個整數(shù)是

2014-04-28 17:19:38

mapreduce hadoop bitmap

cdh4.6.0升級測試2-distribute cache bug fix

distribute cache purge阻塞task的bug測試。cdh4.2.0:測試方法：local.cache.size=650因?yàn)閏achedir size和count是存在內(nèi)存中的HashMap中的，把local.cache.size值設(shè)置的足夠小，在每次job運(yùn)行時都會觸發(fā)delete distribute cache的操作。又因?yàn)槭莗rivate的，是同步刪除，會造成task阻塞

2014-04-23 22:46:17

給剛玩Hadoop的朋友一些建議

隨著兩會中間央視新聞天天說大數(shù)據(jù)，很多人紛紛開始關(guān)注大數(shù)據(jù)和Hadoop以及數(shù)據(jù)挖掘和數(shù)據(jù)可視化了，我現(xiàn)在創(chuàng)業(yè)，遇到很多傳統(tǒng)數(shù)據(jù)行業(yè)往Hadoop上面去轉(zhuǎn)型的公司和個人，提了很多問題，大多數(shù)問題還都是差不多的。所以我想整理一些，也可能是很多人都關(guān)注的問題。關(guān)于Hadoop版本的選擇？目前為止，作為半只腳邁進(jìn)Hadoop大門的人，我建議大家還是

2014-04-17 17:42:16

部署開發(fā)運(yùn)維

Ubuntu下利用Myeclipse開發(fā)hadoop程序

開發(fā)的大環(huán)境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安裝Myeclipse，在Ubuntu下安裝Myeclipse和windows環(huán)境下安裝的方法一樣，下載myeclipse-9.1-offline-installer-linux.run然后雙擊運(yùn)行就ok了。接下來安裝Myeclipse的Hadoop插件，在hadoop的安裝路徑里找到hadoop的ecl

2014-04-13 21:37:44

hadoop中MapReduce多種join實(shí)現(xiàn)實(shí)例分析

一、概述對于RDBMS中的join操作大伙一定非常熟悉，寫sql的時候要十分注意細(xì)節(jié)，稍有差池就會耗時巨久造成很大的性能瓶頸，而在Hadoop中使用MapReduce框架進(jìn)行join的操作時同樣耗時，但是由于hadoop的分布式設(shè)計理念的特殊性，因此對于這種join操作同樣也具備了一定的特殊性。本文主要對MapReduce框架對表之間的join操作的

2014-04-09 17:05:55

join mapreduce map join

su And sudo提權(quán)

1.su與sudo命令詳解命令：su功能：切換用戶語法：su [選項(xiàng)]... [-] [USER [ARG]...]選項(xiàng)：-, -l, --login：切換至目標(biāo)用戶，其用戶權(quán)限，環(huán)境變量都會隨之切換至目標(biāo)用戶；若無此選項(xiàng)，則只有用戶的權(quán)限切換至目標(biāo)用戶-c, --command=COMMAND：以指定用戶的身份執(zhí)行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

su sudo提權(quán)

impala集成kerberos問題一例

最近在折騰hadoop+kerberos，由于線上使用的組件比較多，遇到不少問題，記錄下來，碰到同樣問題的同學(xué)可以參考下。在hdfs+mapred+kerberos運(yùn)行正常后，開始嘗試集成impala.其中statestore的參數(shù)：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

hadoop之MapReduce自定義二次排序流程實(shí)例詳解

一、概述MapReduce框架對處理結(jié)果的輸出會根據(jù)key值進(jìn)行默認(rèn)的排序，這個默認(rèn)排序可以滿足一部分需求，但是也是十分有限的。在我們實(shí)際的需求當(dāng)中，往往有要對reduce輸出結(jié)果進(jìn)行二次排序的需求。對于二次排序的實(shí)現(xiàn)，網(wǎng)絡(luò)上已經(jīng)有很多人分享過了，但是對二次排序的實(shí)現(xiàn)的原理以及整個MapReduce框架的處理流程的分析還是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端數(shù)據(jù)流向 hadoop二次排序

zabbix value type導(dǎo)致的斷圖一例

最近老畢在加hbase的監(jiān)控，發(fā)現(xiàn)生成的graph有斷圖的情況。。因?yàn)橹坝写蝯abbix斷圖定位到了是proxy的性能問題，通過調(diào)整相應(yīng)的參數(shù)解決掉了。。再看這次的情況，發(fā)現(xiàn)有些item的graph是ok的，也就排除了proxy性能問題。。看來還是和item相關(guān)。整個數(shù)據(jù)鏈路是agent---proxy(db)----server(db)，從上游數(shù)據(jù)庫開始入手：1.找出正常的和斷圖

2014-03-15 03:17:15

zabbix 斷圖 v

Hadoop連載系列之四：數(shù)據(jù)收集分析系統(tǒng)Chukwa

系列前三篇文章中介紹了分布式存儲和計算系統(tǒng)Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。當(dāng)Hadoop集群的數(shù)量達(dá)到1000+時，集群自身的信息將會大量增加。Apache開發(fā)出一個開源的數(shù)據(jù)收集和分析系統(tǒng)—Chukwa來處理Hadoop集群的數(shù)據(jù)。Chukwa有幾個非常吸引人的特點(diǎn)：它架構(gòu)清晰，部署簡單；收集的數(shù)據(jù)類型廣泛，

2014-03-14 11:18:27

記一則Hadoop DataNode OOM故障,以及解決方案

一、故障癥狀最近公司一個集群跑大任務(wù)時，datanode日志報DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread異常，然后計算節(jié)點(diǎn)上的DataNode直接掛掉。DataNode異常日志截圖如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoop DataNode OO

寫幾個Hadoop部署用到的小腳本

最近拋棄非ssh連接的hadoop集群部署方式了，還是回到了用ssh key 驗(yàn)證的方式上了。這里面就有些麻煩，每臺機(jī)器都要上傳公鑰。恰恰我又是個很懶的人，所以寫幾個小腳本完成，只要在一臺機(jī)器上面就可以做公鑰的分發(fā)了。首先是生成ssh key腳本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shell hadoop deploy

hadoop 1.X資源管理機(jī)制缺陷分析和解決方案

一、概述用hadoop1.x版本已經(jīng)有一年多了，在使用的過程中發(fā)現(xiàn)hadoop1.X的資源管理機(jī)制存在諸多缺陷，甚至在這種資源管理機(jī)制下會造成服務(wù)器資源的嚴(yán)重浪費(fèi)，負(fù)載過高或者過低。本文主要介紹hdaoop1.X的資源管理機(jī)制，這種機(jī)制的缺點(diǎn)，總結(jié)一下自己在這方面遇到的實(shí)際問題，最后是自己對改進(jìn)hadoop資源管理機(jī)制的一些想法。二、hadoop 1.x資源管理機(jī)制&n

2014-02-22 16:19:57

slot hadoop 資源管理

hadoop之MapReduce框架JobTracker端心跳機(jī)制分析(源碼分析第七篇)

一、小概述JobTracker端的心跳機(jī)制主要任務(wù)是處理TaskTracker發(fā)送過來的心跳信息，判斷TaskTrakcer是否存活、及時讓JobTracker獲取到各個節(jié)點(diǎn)上的資源使用情況和任務(wù)運(yùn)行情況和為TaskTracker下達(dá)各種命令等功能。二、心跳處理過程詳解JobTracker端的心跳機(jī)制處

2014-02-17 17:20:01

心跳機(jī)制 heartbeat mapreduce

hadoop之MapReduce框架TaskTracker端心跳機(jī)制分析(源碼分析第六篇)

1、概述 MapReduce框架中的master/slave心跳機(jī)制是整個集群運(yùn)作的基礎(chǔ)，是溝通TaskTracker和JobTracker的橋梁。TaskTracker周期性地調(diào)用心跳RPC函數(shù)，匯報節(jié)點(diǎn)和任務(wù)運(yùn)行狀態(tài)信息。MapReduce框架中通過心跳機(jī)制可以實(shí)現(xiàn)給TaskTracker分配任務(wù)、使JobTracker能夠及時獲取各個節(jié)點(diǎn)的資源使用情況和任務(wù)運(yùn)行狀態(tài)

2014-01-23 17:34:08

mapreduce hadoop heartbeart

hadoop作業(yè)初始化過程詳解（源碼分析第三篇）

（一）概述我們在上一篇blog已經(jīng)詳細(xì)的分析了一個作業(yè)從用戶輸入提交命令到到達(dá)JobTracker之前的各個過程。在作業(yè)到達(dá)JobTracker之后初始化之前，JobTracker會通過submitJob方法，為每個作業(yè)都創(chuàng)建一個JobInProgress對象(本文以后簡稱JIP)，用于維護(hù)作業(yè)的運(yùn)行時信息以及監(jiān)控正在運(yùn)行作業(yè)的運(yùn)行狀態(tài)和進(jìn)度。然后檢查提交作業(yè)的用戶是否

2014-01-09 16:26:22

集群 map hadoop

hadoop1.x作業(yè)提交過程分析（源碼分析第二篇）

（一）概述本文基于Hadoop1.0.0版本的源代進(jìn)行分析，研究用戶從輸入作業(yè)提交命令到作業(yè)提交到j(luò)obTracker的整個流程，其中涉及到的組件JobClient和JobTracker的具體工作細(xì)節(jié)。（二）具體分析從源代碼來看，hadoop作業(yè)的提交過程是比較簡單的，主要包含了幾個過程：運(yùn)行提交作業(yè)腳本、創(chuàng)建目錄、上傳作業(yè)文件以及產(chǎn)生Input

2014-01-06 21:59:15

作業(yè)提交 hadoop初始化 hadoop運(yùn)行過程

hadoop作業(yè)分片處理以及任務(wù)本地性分析（源碼分析第一篇）

(一) Map輸入數(shù)據(jù)塊的切分算法（基于hadoop源碼 1.0.1）：（1）分片算法MapTask的個數(shù)據(jù)主要取決于InputFormat通過對輸入數(shù)據(jù)調(diào)用getSplit()方法分割為若干個分片數(shù)據(jù)，即InputSplit數(shù)。hadoop中切片大小主要由以下幾個因素：blockSize:塊大小minSize:最小分片大小，由參數(shù)ma

2014-01-02 17:02:59

hadoop 任務(wù)調(diào)度切片

Hadoop自動化運(yùn)維之創(chuàng)建deb包

2014第一篇博文，將來也會逐步寫成一個系列，新年新氣象。將hadoop及其周邊生態(tài)系統(tǒng)deb/rpm化對于自動化運(yùn)維來說意義重大，建立好整個生態(tài)的rpm和deb然后再創(chuàng)建本地yum或者apt的源，可大大簡化hadoop的部署和運(yùn)維。實(shí)際上，cloudera和hortonworks都是這么做的。本來想把rpm和deb都寫了，不過估計篇幅不夠，還是分開吧，先從deb講起。deb創(chuàng)建比較容易一些，不需

2014-01-01 13:27:35

運(yùn)維自動化 rpm

煮酒品茶：大晚上的，有氣無力的呻吟，讓你深深的感覺聽我的聲音是一種折磨。沒錄好，筆記本聲音也沒錄好，將就著聽吧。哈哈# Install Hadoop Master# DownLoad Hadoop and Jdk packetsOne : stop all hosts Selinux and iptables.# service iptables stop# chkconfig iptables

2013-11-12 11:24:28

Hadoop虛擬化擴(kuò)展(HVE)之資源擴(kuò)展技術(shù)

背景在虛擬化的云環(huán)境中，Hadoop可以有更好的“彈性”，這是云計算的一個重要優(yōu)勢，例如亞馬遜的EMR(ElasticMapReduce)服務(wù), 用戶可以迅速的在云中根據(jù)需求部署一個Hadoop集群，運(yùn)行計算任務(wù)，并且用戶可以向集群動態(tài)的添加或刪除計算節(jié)點(diǎn)。這里存在著一個潛在問題，Haodop的數(shù)據(jù)節(jié)點(diǎn)并非天生的“有彈性”，刪除一個數(shù)據(jù)節(jié)點(diǎn)意味著需要重新復(fù)制存儲在這個節(jié)點(diǎn)的數(shù)據(jù)，這是一個緩慢的過程

2013-11-06 16:38:35

hadoop vSphere 虛擬化擴(kuò)展;資源管理

深入Hadoop節(jié)點(diǎn)部署的策略

簡介每個Hadoop集群都包括不止一個節(jié)點(diǎn)。這些節(jié)點(diǎn)可以按功能分成幾個組，比如master組，worker組，client組等等。每個組里面的節(jié)點(diǎn)都有不同的資源要求，比如CPU，內(nèi)存，存儲。在虛擬數(shù)據(jù)中心（DataCenter）中有一個或多個虛擬集群（Cluster），每個虛擬集群中有一個或多個主機(jī)（Host）。節(jié)點(diǎn)部署是在保證每個節(jié)點(diǎn)資源需求的前提下，按照一定策略將Hadoop集群中的所有節(jié)點(diǎn)部

2013-10-28 14:14:43

hadoop vSphere 大數(shù)據(jù)

0.16版本salt的安裝與日常應(yīng)用

現(xiàn)在分享一下我對0.16版本salt的學(xué)習(xí)筆記一、安裝1、在ubuntu系統(tǒng)安裝添加源debhttp://debian.saltstack.com/debian wheezy-saltstack main把這個源放到/etc/apt/sources.list更新源apt-get update安裝服務(wù)端或者客戶端apt-get installsalt-masterapt-get installsal

2013-10-21 10:35:28

salt安裝 salt應(yīng)用 salt日常命令

Hadoop運(yùn)維記錄系列(十一)

記錄一些Hive的優(yōu)化點(diǎn)，和能夠提升的效率差異。Hive是目前應(yīng)用最多最廣的SQL on Hadoop工具，近期很多專業(yè)的大數(shù)據(jù)公司推出了很多新的，基于列式或者內(nèi)存熱數(shù)據(jù)的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最廣的SQL on Hadoop的工具。在以前淘寶羅李的報告中，淘寶90%的業(yè)務(wù)跑在Hive上面。暴風(fēng)影音的比例更高一些，大概95%以上

2013-09-12 18:19:35

系統(tǒng)性能調(diào)優(yōu)

Hadoop運(yùn)維記錄系列(十)

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這里，花了一會解決了一下，估計這是我給暴風(fēng)的集群解決的最后的故障了，以后就不定給誰解決問題去了。只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

2013-09-04 16:31:43

記錄運(yùn)維 hadoop

Pig自定義過濾UDF和加載UDF

Pig是一種數(shù)據(jù)流編程語言，由一系列操作和變換構(gòu)成，每一個操作或者變換都對輸入進(jìn)行處理，然后產(chǎn)生輸出結(jié)果，整體操作表示一個數(shù)據(jù)流。Pig的執(zhí)行環(huán)境將數(shù)據(jù)流翻譯為可執(zhí)行的內(nèi)部表示，在Pig內(nèi)部，這些變換操作被轉(zhuǎn)換為一系列的MapReduce作業(yè)。 Pig自身有許多個方法，有時候需要我們自己定制特定的處

2013-09-04 09:26:02

Pig自定義過濾UDF 加載UDF

MapReduce工作的基本流程

Hadoop0.2之前版本和之后版本在Job中有很大的改進(jìn)，本次采用的版本是Hadoop1.1.2版本。現(xiàn)在作為作業(yè)驅(qū)動器，可以直接繼承Configured以及實(shí)現(xiàn)Tool，這種方式可以很便捷的獲取啟動時候命令行中輸入的作業(yè)配置參數(shù)，常規(guī)的Job啟動如下：public class SortByHash extend

2013-09-02 20:58:46

工作流程 mapreduce hadoop

datanode單塊盤故障導(dǎo)致節(jié)點(diǎn)失效之腳本解決

問題：在hadoop的1.2.0中由于單個磁盤故障導(dǎo)致datanode節(jié)點(diǎn)失效，生產(chǎn)環(huán)境中datanode節(jié)點(diǎn)大多都有多塊磁盤，我們現(xiàn)在需要一種方法，讓datanode不會被單塊磁盤的故障導(dǎo)致整個節(jié)點(diǎn)失效。解決方法及適用場景： 1、修改hadoop源代碼(介個在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，將故障盤的掛載點(diǎn)刪除并重啟(推薦在手動部署的hadoop

2013-08-29 11:59:16

datanode hadoop.shel

Hadoop數(shù)據(jù)分析平臺搭建

一．配置安裝環(huán)境1> 在虛擬機(jī)Vmware上搭建三臺Red Hat Enterprise linux，其中一臺為master，另外兩臺位slaves。2> 下載相關(guān)的軟件，如java jdk、hadoop-0.20.2等。二．安裝和配置步驟1> 要是hadoop能過正常的免密碼在各個節(jié)點(diǎn)中連接傳輸數(shù)據(jù)，最重要的是配置SSH，生成密鑰。2> jdk的安裝，修改/etc/pro

2013-08-27 23:58:05

是否需要追逐潮流！基于Hadoop的感想

近幾年大數(shù)據(jù)的概念被炒的紅紅火火，各種云應(yīng)運(yùn)而生，也有不少企業(yè)開始搭載自己的云，但是真的什么企業(yè)都需要嗎？下面我要說的也僅僅是基于我目前工作的一些感想，歡迎拍磚！公司的主要數(shù)據(jù)是利用HBase收集的報文，整個到目前運(yùn)行了一年零一兩個月的時間。目前數(shù)據(jù)量是266GB（其中包含一份完全副本，實(shí)際業(yè)務(wù)數(shù)據(jù)133GB），在7月出進(jìn)行數(shù)據(jù)統(tǒng)計時，該平臺

2013-08-16 05:01:28

統(tǒng)計 Hadoop 潮流

Hadoop周邊生態(tài)軟件和簡要工作原理(二)

接著Hadoop周邊生態(tài)軟件和簡要工作原理(一)Sqoop：sqoop在hadoop生態(tài)系統(tǒng)中也是應(yīng)用率比較高的軟件，主要是用來做ETL工具，由yadoo研發(fā)并提交給Apache。Hadoop整個生態(tài)圈里面，大部分的應(yīng)用都是Yadoo研發(fā)的，貢獻(xiàn)非常大。Yahoo里面出來兩撥人，分別組建了Cloudera和Hortonworks。所謂ETL，就是數(shù)據(jù)的抽取(extract)加載(load)轉(zhuǎn)換(t

2013-07-19 16:58:15

hadoop mahout sqoop

Apache BigTop試用感想

Bigtop是去年apache基金會推出的一個對Hadoop及其周邊生態(tài)進(jìn)行打包，分發(fā)和測試的工具。推出的時間不長，加上官方的文檔很簡單，只告訴你如何用bigtop安裝hadoop，其他都不講。這兩天深入的玩了一下，就個人體會來說，Bigtop算是個比較有趣的玩具。實(shí)用價值不大，尤其是對準(zhǔn)備在hadoop本身上做文章的公司和個人來說，是一個看上去很美，但實(shí)際部署是很值得商榷的玩意。Bigtop，本

2013-07-06 17:55:23

運(yùn)維 hadoop bigtop

Hadoop運(yùn)維記錄系列(六)

這兩天有業(yè)務(wù)部門反饋，總有hive跑某天的log失敗?？戳艘幌耹og，雖然各種報錯不一樣，但基本都是OOM，追了一下午，終于追出來原因了，特此記錄一下。這個問題很詭異，map階段oom，按說map的時候一個map對應(yīng)一個數(shù)據(jù)塊，最大也就占用128M內(nèi)存，怎么會溢出呢，通常都應(yīng)該是reduce溢出才對。先看看各個hadoop節(jié)點(diǎn)的tasktracker報的錯誤log。節(jié)點(diǎn)一2013-05-08 20

2013-05-08 22:44:47

運(yùn)維 hadoop 故障分析

Hadoop運(yùn)維記錄系列(四)

記錄一下，可能算是個比較典型的故障，磁盤滿導(dǎo)致的task tracker無法啟動。故障是一臺tasktracker掛了，怎么也起不來，報錯信息如下。 2013-03-2617:34:57,620ERRORorg.apache.hadoop.mapred.TaskTracker:Cannotstart&nb

2013-03-26 19:04:00

運(yùn)維 hadoop 故障分析

Hadoop之zookeeper快速安裝

查看jdk環(huán)境的版本執(zhí)行java–version和javac–version命令[root@node10~]#java-versionjavaversion"1.6.0_37"Java(TM)SERuntimeEnvironment

2013-03-26 17:01:47

hadoop zookeeper 安裝zookeeper

pycurl實(shí)現(xiàn)hadoop的客戶端功能

pycurl實(shí)現(xiàn)hadoop的客戶端功能目前在測試一個hadoop的功能，需要頻繁的和hadoop打交道。剛開始采用的python的subprocess模塊來調(diào)用底層的hadoop提供的命令行工具實(shí)現(xiàn)的。一，hadoop提供的命令行格式說明： hadoop fs [cmd]具體的命令有: hadoop fs [-fs <local | file sys

2013-03-11 14:30:27

Hadoop運(yùn)維記錄系列(三)

Hive 0.10發(fā)布了，修正了一些bug，搞了一些新特性，對提高工作效率很有幫助，于是嘗試升級了一下，然后遇到了一些問題，記錄一下。主要是看上了下面幾個feature，打算換上看看。 1.AllowSELECT<col>withoutamapreducejob

2013-01-30 15:06:36

運(yùn)維 hadoop 故障分析

Hadoop系列之四：MapReduce進(jìn)階

MapReduce中的map、reduce、partition、shuffle & sort等。

2013-01-02 16:15:22

mapreduce hadoop hbase

Hadoop配置項(xiàng)整理(core-site.xml)

記錄一下Hadoop的配置和說明，用到新的配置項(xiàng)會補(bǔ)充進(jìn)來，不定期更新。以配置文件名劃分以hadoop 1.x配置為例 core-site.xml name value Description

2012-12-26 15:36:19

配置 hadoop 大數(shù)據(jù)

Hadoop的虛擬化之戀-【軟件和信息服務(wù)】2012.12

Apache Hadoop這朵奇葩日益吸引了企業(yè)界的目光，大量企業(yè)都在思考如何把Hadoop這個美麗的新娘娶回自己的數(shù)據(jù)中心

2012-12-17 10:10:42

Apache 虛擬化 VMware

ubuntu安裝與測試hadoop1.1.0版本

最近沒什么事，就使用之前測試openstack的機(jī)器，測試一下hadoop，看看他到底是干嘛的？測試環(huán)境為ubuntu 12.04 64位系統(tǒng)，hadoop版本是1.1.0 下面是安裝過程 1、安裝jdk apt-getinstallopenjdk-7-jdk 安裝完成后測試一下 root@openstack:~/hadoop/conf#&nbsp

2012-11-28 13:24:58

ubuntu ubuntu安裝had 測試hadoop

EasyHadoop軟件開發(fā)總結(jié)和知識點(diǎn)整理

之前一直忙于寫代碼，也沒有整理一下思路來做一個技術(shù)點(diǎn)的分享，也該整理一下技術(shù)相關(guān)的東西。分兩篇吧，一篇太長了也不利于閱讀，廢話寫多了，大家看著困。當(dāng)然我的技術(shù)水平也很爛，懂行的不要見笑就好了。第一篇寫EasyHadoop，第二篇寫phpHiveAdminEasyHadoop最早只是一個hadoop的安裝Shell腳本，這就沒有什么可說的了，界面化的分布式安裝還有有些知識點(diǎn)可以總結(jié)和分享下的，或許能

2012-11-14 18:05:31

知識點(diǎn)hadoop 技術(shù)分享

開源項(xiàng)目第二蛋EasyHadoop

繼phpHiveAdmin之后，推出第二個開源項(xiàng)目：EasyHadoop。和phpHiveAdmin一樣，EasyHadoop也是個為懶惰而生的項(xiàng)目。簡而言之，就是在一個網(wǎng)頁上對Hadoop集群進(jìn)行安裝，重啟，修改配置文件，查看log等功能。后續(xù)還會加入hive，hbase，pig之類的。當(dāng)然，Cloudera Manager是個不錯的選擇，不過一旦集群數(shù)量超過50，當(dāng)然仍然可以使用hadoop，

2012-09-04 20:53:49

php easy 云計算

使用FreeBSD的ports安裝hadoop

3月初寫過FreeBSD下安裝hadoop的文章，那會hadoop還沒有進(jìn)入FreeBSD的ports，剛寫完沒多久，3月27日。FreeBSD的ports樹就引入了hadoop，安裝就太方便了。怎么更新ports樹就略過了，直接跳到安裝hadoop#cd /usr/ports/devel/hadoop#make install clean等著完事就行了。都是編譯安裝，非常優(yōu)化，而且自動解決依賴關(guān)

2012-06-11 16:26:54

安裝配置 FreeBSD

用Hadoop管理界面來分析Map-Reduce作業(yè)

如果我們只是在IDE里面跑Hadoop作業(yè)，那么這個作業(yè)的運(yùn)行過程不會顯示在Hadoop 管理界面上，但是如果我們把作業(yè)上傳到服務(wù)器上運(yùn)行，那么作業(yè)的運(yùn)行過程就會顯示在管理界面上。還是以上次的分析最高氣溫的Map-Reduce為例，源代碼可以見http://supercharles888.blog.51cto.com/609344/878422這

2012-06-02 14:55:20

Hadoop 管理界面

上一頁 1 2 3 4 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

<sub id="38vi3"></sub>