自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<cite id="vop6n"></cite>

<blockquote id="vop6n"><i id="vop6n"></i></blockquote>

^{<thead id="vop6n"></thead>}<cite id="vop6n"></cite><style id="vop6n"></style>

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓

鴻蒙開發(fā)者社區(qū)

WOT技術大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設置退出

大數(shù)據(jù)

9161內(nèi)容??

關注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關的最新資訊、前沿技術、使用技巧、應用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領域。

文章博文帖子課程

共 226 條

Hadoop運維記錄系列(十七)

上個月通過email，幫朋友的朋友解決了一個Cloudera的Spark-SQL無法訪問HBase做數(shù)據(jù)分析的問題，記錄一下。

2015-11-13 19:00:35

運維 hadoop spark

使用flume替代原有的scribe服務

以前很多業(yè)務都是用scribe做日志收集的支撐的，后來fb停止了對scribe的開發(fā)支持。而且scribe在機器上編譯一次的代價太大了，各種坑，正好后來flume從1.3.0開始加入了對scribe的支持。就可以把原來scribe上面接入的數(shù)據(jù)轉用flume收集了。雖然我很喜歡scribe，但是失去了官方支持畢竟還是很鬧心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

記錄一則Spark讀寫和Lost Excutor錯誤的分析和解決過程

一、概述上篇blog記錄了些在用spark-sql時遇到的一些問題，今天繼續(xù)記錄用Spark提供的RDD轉化方法開發(fā)公司第一期標簽分析系統(tǒng)（一部分scala作業(yè)邏輯代碼后面blog再給大家分享）遇到的一些SPARK作業(yè)錯誤信息。其中有些問題可能一些數(shù)據(jù)量或者shuffle量比較小的作業(yè)時不會遇到的，我們整套標簽系統(tǒng)的初級輸入數(shù)據(jù)大概是8T左右，這里也是個參考。(下面的Spark部署模

2015-02-27 18:10:20

去除Hadoop-Streaming行末多余的TAB

單位有一組業(yè)務一直都是使用Streaming壓縮文本日志，大體上就是設置作業(yè)輸出為BZ2格式，怎么輸入就怎么輸出，沒有任何處理功能在里面。但是每行結尾都多出來一個TAB。終于，有一個業(yè)務需要使用TAB前的最后一個字段，不去掉不行了。雖然是個小問題，但是網(wǎng)上搜了一圈，也沒有很好的解決。很多人都遇到了，但是單位的業(yè)務比較特殊，只有map沒有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的應用

在hadoop中很多地方都用到了servlet，并且使用jetty作為servlet的容器來提供http的服務，其主要是通過org.apache.hadoop.http.HttpServer類實現(xiàn)的，HttpServer類是對Jetty的簡單封裝，通過調(diào)用HttpServer類的addServlet方法增加可以實現(xiàn)增加servlet到jetty的功能：publ

2014-12-22 21:57:20

使用shell并發(fā)上傳文件到hdfs

從本地到hdfs的并發(fā)腳本相關說明及代碼實現(xiàn)。

2014-12-14 16:09:08

shell put hadoop

利用開源日志收集軟件fluentd收集日志到HDFS文件系統(tǒng)中

利用開源的日志收集系統(tǒng)fluentd，把日志寫入到HDFS文件系統(tǒng)中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode與NameNode交互機制相關代碼分析

HDFS Federation是為解決HDFS單點故障而提出的NameNode水平擴展方案，該方案允許HDFS創(chuàng)建多個Namespace以提高集群的擴展性和隔離性。在Federation中新增了block-pool的概念，block-pool就是屬于單個Namespace的一組block,每個DataNode為所有的block-pool存儲block

2014-11-25 11:23:18

DataNode文件系統(tǒng)源碼分析

在DataNode的本地存儲空間上，與存儲服務密切相關的，比如創(chuàng)建數(shù)據(jù)塊，恢復數(shù)據(jù)塊，數(shù)據(jù)塊校驗等相關的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.1)首先說下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源碼分析

利用pig分析cdn訪問日志內(nèi)指定時間段的url訪問次數(shù)

利用pig分析cdn訪問日志，找到指定時間段內(nèi)，各個url訪問次數(shù)，并且按照從大到小的次序排列！

2014-11-03 09:55:03

MRv2內(nèi)存監(jiān)控強殺Container問題解決

線上某個hive job運行失敗,報錯如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug導致的zabbix斷圖問題

線上使用zabbix的host update來監(jiān)測監(jiān)控值是否完整（關于host update的實現(xiàn)請參考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直發(fā)現(xiàn)有機器過一段時間update值就會莫名其妙變低，之前一直沒有找到rc，只是簡單通過重啟agent來進行修復，最近同事細心地發(fā)現(xiàn)可能是和sudo的bug有關系?；剡^頭再來

2014-10-22 23:53:02

sudo bug zabbix丟失值

hadoop插件sqoop使用案例

sqoop是hadoop項目中一個插件，可以把分布式文件系統(tǒng)hdfs中內(nèi)容導入到mysql指定表里面，也可以把mysql中內(nèi)容導入到hdfs文件系統(tǒng)中進行后續(xù)操作。測試環(huán)境說明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特別說明：因為我安裝的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysql hadoop hdfs

你用pig分析access_log日志中ip訪問次數(shù)

你用pig分析web訪問日志demo

2014-10-14 13:52:43

Hadoop1.x和2.X的HDFS fsimage和edits文件運行機制對比

一、概述之前寫過一篇非常詳細的,利用QJM在HDFS2.0部署HA策略的文章，主要說了利用QJM進行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中沒有詳細描述HADOOP2.x通過QJM部署HA完畢之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax與hadoop2.x兼容部署與實際項目應用工作記錄分享

一、概述Hadoop的版本更新挺快的，已經(jīng)到了2.4，但是其周邊工具的更新速度還是比較慢的，一些舊的周邊工具版本對hadoop2.x的兼容性做得還不完善，特別是sqoop。最近，在為hadoop2.2.0找適合的sqoop版本時遇到了很多問題。嘗試了多個sqoop1.4.x版本的直接簡單粗暴的報版本不兼容問題，其中測了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

利用QJM實現(xiàn)HDFS的HA策略部署與驗證工作記錄分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了兩個重要功能，HA和Federation。HA解決了Hadoop1.X Namenode中一直存在的單點故障問題，HA策略通過熱備的方式為主NameNode提供一個備用者，并且這個備用者的狀態(tài)一直和主Namenode的元數(shù)據(jù)保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

hadoop 1.x升級至hadoop-2.2.0記錄

一、概述公司hadoop集群從1.2.1升級到2.2.0已經(jīng)有一段時間，這篇blog將總結一下我前段時間在升級至hadoop2.2.0版本過程中遇到的一些問題，以及具體的升級步驟。二、升級過程(1)停掉hadoop1.x集群。(2)備份namenode原數(shù)據(jù)，即備份dfs.namenode.name.dir指向的路徑。以免造成由于升級版本帶來的風險。

2014-06-18 15:28:23

hadoop yarn MRv2

Hadoop2的ResourceManager高可用配置

Hadoop 2.2沒怎么關注過，太新，bug太多。2.4出來以后關注了一些東西，比如2.4里面直接帶了ResourceManager的高可用，這點比較吸引人。之前2.2沒注意有沒有，貌似是沒有，然后CDH自己出了一個解決方案，這次2.4的更新直接自己帶了，還不錯，這樣就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通過ZKFC自動做故障切換。大概從2.4開始，Ha

2014-06-06 23:04:15

運維 ha hadoop

Hadoop運維記錄系列(十三)

記錄一下在2.x里面不會很常見的報錯。只是在測試集群中發(fā)生，生產(chǎn)集群大概很少有人會去重啟Namenode吧，特別是做了HA的。場景是在2.x里做好了Namenode HA，以Namespace URI方式訪問HDFS時，報錯，然后兩個Namenode貌似都是standby，然后歷史任務服務器無法啟動，HBase的Master也無法啟動。其實這個故障很簡單。2014-06-0517:20

2014-06-05 17:57:33

部署開發(fā)運維

namenode gc導致的故障一例

周末處理的一次故障，這里簡單記錄下。故障現(xiàn)象：6點1分左右開始，Hadoop集群異常，所有的hdfs操作都出現(xiàn)問題。幾十個job報以下錯FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

海量數(shù)據(jù)解決思路之BitMap

一、概述本文將講述Bit-Map算法的相關原理,Bit-Map算法的一些利用場景，例如BitMap解決海量數(shù)據(jù)尋找重復、判斷個別元素是否在海量數(shù)據(jù)當中等問題.最后說說BitMap的特點已經(jīng)在各個場景的使用性。二、Bit-Map算法先看看這樣的一個場景：給一臺普通PC，2G內(nèi)存，要求處理一個包含40億個不重復并且沒有排過序的無符號的int整數(shù)，給出一個整數(shù)，問如果快速地判斷這個整數(shù)是

2014-04-28 17:19:38

mapreduce hadoop bitmap

cdh4.6.0升級測試2-distribute cache bug fix

distribute cache purge阻塞task的bug測試。cdh4.2.0:測試方法：local.cache.size=650因為cachedir size和count是存在內(nèi)存中的HashMap中的，把local.cache.size值設置的足夠小，在每次job運行時都會觸發(fā)delete distribute cache的操作。又因為是private的，是同步刪除，會造成task阻塞

2014-04-23 22:46:17

給剛玩Hadoop的朋友一些建議

隨著兩會中間央視新聞天天說大數(shù)據(jù)，很多人紛紛開始關注大數(shù)據(jù)和Hadoop以及數(shù)據(jù)挖掘和數(shù)據(jù)可視化了，我現(xiàn)在創(chuàng)業(yè)，遇到很多傳統(tǒng)數(shù)據(jù)行業(yè)往Hadoop上面去轉型的公司和個人，提了很多問題，大多數(shù)問題還都是差不多的。所以我想整理一些，也可能是很多人都關注的問題。關于Hadoop版本的選擇？目前為止，作為半只腳邁進Hadoop大門的人，我建議大家還是

2014-04-17 17:42:16

部署開發(fā)運維

Ubuntu下利用Myeclipse開發(fā)hadoop程序

開發(fā)的大環(huán)境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安裝Myeclipse，在Ubuntu下安裝Myeclipse和windows環(huán)境下安裝的方法一樣，下載myeclipse-9.1-offline-installer-linux.run然后雙擊運行就ok了。接下來安裝Myeclipse的Hadoop插件，在hadoop的安裝路徑里找到hadoop的ecl

2014-04-13 21:37:44

hadoop中MapReduce多種join實現(xiàn)實例分析

一、概述對于RDBMS中的join操作大伙一定非常熟悉，寫sql的時候要十分注意細節(jié)，稍有差池就會耗時巨久造成很大的性能瓶頸，而在Hadoop中使用MapReduce框架進行join的操作時同樣耗時，但是由于hadoop的分布式設計理念的特殊性，因此對于這種join操作同樣也具備了一定的特殊性。本文主要對MapReduce框架對表之間的join操作的

2014-04-09 17:05:55

join mapreduce map join

su And sudo提權

1.su與sudo命令詳解命令：su功能：切換用戶語法：su [選項]... [-] [USER [ARG]...]選項：-, -l, --login：切換至目標用戶，其用戶權限，環(huán)境變量都會隨之切換至目標用戶；若無此選項，則只有用戶的權限切換至目標用戶-c, --command=COMMAND：以指定用戶的身份執(zhí)行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

impala集成kerberos問題一例

最近在折騰hadoop+kerberos，由于線上使用的組件比較多，遇到不少問題，記錄下來，碰到同樣問題的同學可以參考下。在hdfs+mapred+kerberos運行正常后，開始嘗試集成impala.其中statestore的參數(shù)：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

hadoop之MapReduce自定義二次排序流程實例詳解

一、概述MapReduce框架對處理結果的輸出會根據(jù)key值進行默認的排序，這個默認排序可以滿足一部分需求，但是也是十分有限的。在我們實際的需求當中，往往有要對reduce輸出結果進行二次排序的需求。對于二次排序的實現(xiàn)，網(wǎng)絡上已經(jīng)有很多人分享過了，但是對二次排序的實現(xiàn)的原理以及整個MapReduce框架的處理流程的分析還是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端數(shù)據(jù)流向 hadoop二次排序

zabbix value type導致的斷圖一例

最近老畢在加hbase的監(jiān)控，發(fā)現(xiàn)生成的graph有斷圖的情況。。因為之前有次zabbix斷圖定位到了是proxy的性能問題，通過調(diào)整相應的參數(shù)解決掉了。。再看這次的情況，發(fā)現(xiàn)有些item的graph是ok的，也就排除了proxy性能問題。?？磥磉€是和item相關。整個數(shù)據(jù)鏈路是agent---proxy(db)----server(db)，從上游數(shù)據(jù)庫開始入手：1.找出正常的和斷圖

2014-03-15 03:17:15

zabbix 斷圖 v

Hadoop連載系列之四：數(shù)據(jù)收集分析系統(tǒng)Chukwa

系列前三篇文章中介紹了分布式存儲和計算系統(tǒng)Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。當Hadoop集群的數(shù)量達到1000+時，集群自身的信息將會大量增加。Apache開發(fā)出一個開源的數(shù)據(jù)收集和分析系統(tǒng)—Chukwa來處理Hadoop集群的數(shù)據(jù)。Chukwa有幾個非常吸引人的特點：它架構清晰，部署簡單；收集的數(shù)據(jù)類型廣泛，

2014-03-14 11:18:27

記一則Hadoop DataNode OOM故障,以及解決方案

一、故障癥狀最近公司一個集群跑大任務時，datanode日志報DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread異常，然后計算節(jié)點上的DataNode直接掛掉。DataNode異常日志截圖如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoop DataNode OO

寫幾個Hadoop部署用到的小腳本

最近拋棄非ssh連接的hadoop集群部署方式了，還是回到了用ssh key 驗證的方式上了。這里面就有些麻煩，每臺機器都要上傳公鑰。恰恰我又是個很懶的人，所以寫幾個小腳本完成，只要在一臺機器上面就可以做公鑰的分發(fā)了。首先是生成ssh key腳本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shell hadoop deploy

hadoop 1.X資源管理機制缺陷分析和解決方案

一、概述用hadoop1.x版本已經(jīng)有一年多了，在使用的過程中發(fā)現(xiàn)hadoop1.X的資源管理機制存在諸多缺陷，甚至在這種資源管理機制下會造成服務器資源的嚴重浪費，負載過高或者過低。本文主要介紹hdaoop1.X的資源管理機制，這種機制的缺點，總結一下自己在這方面遇到的實際問題，最后是自己對改進hadoop資源管理機制的一些想法。二、hadoop 1.x資源管理機制&n

2014-02-22 16:19:57

slot hadoop 資源管理

hadoop之MapReduce框架JobTracker端心跳機制分析(源碼分析第七篇)

一、小概述JobTracker端的心跳機制主要任務是處理TaskTracker發(fā)送過來的心跳信息，判斷TaskTrakcer是否存活、及時讓JobTracker獲取到各個節(jié)點上的資源使用情況和任務運行情況和為TaskTracker下達各種命令等功能。二、心跳處理過程詳解JobTracker端的心跳機制處

2014-02-17 17:20:01

心跳機制 heartbeat mapreduce

hadoop之MapReduce框架TaskTracker端心跳機制分析(源碼分析第六篇)

1、概述 MapReduce框架中的master/slave心跳機制是整個集群運作的基礎，是溝通TaskTracker和JobTracker的橋梁。TaskTracker周期性地調(diào)用心跳RPC函數(shù)，匯報節(jié)點和任務運行狀態(tài)信息。MapReduce框架中通過心跳機制可以實現(xiàn)給TaskTracker分配任務、使JobTracker能夠及時獲取各個節(jié)點的資源使用情況和任務運行狀態(tài)

2014-01-23 17:34:08

mapreduce hadoop heartbeart

hadoop作業(yè)初始化過程詳解（源碼分析第三篇）

（一）概述我們在上一篇blog已經(jīng)詳細的分析了一個作業(yè)從用戶輸入提交命令到到達JobTracker之前的各個過程。在作業(yè)到達JobTracker之后初始化之前，JobTracker會通過submitJob方法，為每個作業(yè)都創(chuàng)建一個JobInProgress對象(本文以后簡稱JIP)，用于維護作業(yè)的運行時信息以及監(jiān)控正在運行作業(yè)的運行狀態(tài)和進度。然后檢查提交作業(yè)的用戶是否

2014-01-09 16:26:22

集群 map hadoop

hadoop1.x作業(yè)提交過程分析（源碼分析第二篇）

（一）概述本文基于Hadoop1.0.0版本的源代進行分析，研究用戶從輸入作業(yè)提交命令到作業(yè)提交到jobTracker的整個流程，其中涉及到的組件JobClient和JobTracker的具體工作細節(jié)。（二）具體分析從源代碼來看，hadoop作業(yè)的提交過程是比較簡單的，主要包含了幾個過程：運行提交作業(yè)腳本、創(chuàng)建目錄、上傳作業(yè)文件以及產(chǎn)生Input

2014-01-06 21:59:15

作業(yè)提交 hadoop初始化 hadoop運行過程

hadoop作業(yè)分片處理以及任務本地性分析（源碼分析第一篇）

(一) Map輸入數(shù)據(jù)塊的切分算法（基于hadoop源碼 1.0.1）：（1）分片算法MapTask的個數(shù)據(jù)主要取決于InputFormat通過對輸入數(shù)據(jù)調(diào)用getSplit()方法分割為若干個分片數(shù)據(jù)，即InputSplit數(shù)。hadoop中切片大小主要由以下幾個因素：blockSize:塊大小minSize:最小分片大小，由參數(shù)ma

2014-01-02 17:02:59

hadoop 任務調(diào)度切片

Hadoop自動化運維之創(chuàng)建deb包

2014第一篇博文，將來也會逐步寫成一個系列，新年新氣象。將hadoop及其周邊生態(tài)系統(tǒng)deb/rpm化對于自動化運維來說意義重大，建立好整個生態(tài)的rpm和deb然后再創(chuàng)建本地yum或者apt的源，可大大簡化hadoop的部署和運維。實際上，cloudera和hortonworks都是這么做的。本來想把rpm和deb都寫了，不過估計篇幅不夠，還是分開吧，先從deb講起。deb創(chuàng)建比較容易一些，不需

2014-01-01 13:27:35

運維自動化 rpm

利用saltstack的api接口和modules實現(xiàn)實時監(jiān)控

前言：其實一說起實時監(jiān)控，我就有很多的感想 ~ 以前也做過幾個類似的全網(wǎng)流量監(jiān)控的項目，用過websocket的模式的，還有就是redis pubsub模式，還有就是從同事的nagios獲取流量數(shù)據(jù)（這個結果很郁悶，nagios加了Ndoutils插件后可以把數(shù)據(jù)存入到mysql里面，當時水平不到位，獲取的數(shù)據(jù)有斷鏈，原因不明）。這些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

煮酒品茶：大晚上的，有氣無力的呻吟，讓你深深的感覺聽我的聲音是一種折磨。沒錄好，筆記本聲音也沒錄好，將就著聽吧。哈哈# Install Hadoop Master# DownLoad Hadoop and Jdk packetsOne : stop all hosts Selinux and iptables.# service iptables stop# chkconfig iptables

2013-11-12 11:24:28

Hadoop虛擬化擴展(HVE)之資源擴展技術

背景在虛擬化的云環(huán)境中，Hadoop可以有更好的“彈性”，這是云計算的一個重要優(yōu)勢，例如亞馬遜的EMR(ElasticMapReduce)服務, 用戶可以迅速的在云中根據(jù)需求部署一個Hadoop集群，運行計算任務，并且用戶可以向集群動態(tài)的添加或刪除計算節(jié)點。這里存在著一個潛在問題，Haodop的數(shù)據(jù)節(jié)點并非天生的“有彈性”，刪除一個數(shù)據(jù)節(jié)點意味著需要重新復制存儲在這個節(jié)點的數(shù)據(jù)，這是一個緩慢的過程

2013-11-06 16:38:35

hadoop vSphere 虛擬化擴展;資源管理

深入Hadoop節(jié)點部署的策略

簡介每個Hadoop集群都包括不止一個節(jié)點。這些節(jié)點可以按功能分成幾個組，比如master組，worker組，client組等等。每個組里面的節(jié)點都有不同的資源要求，比如CPU，內(nèi)存，存儲。在虛擬數(shù)據(jù)中心（DataCenter）中有一個或多個虛擬集群（Cluster），每個虛擬集群中有一個或多個主機（Host）。節(jié)點部署是在保證每個節(jié)點資源需求的前提下，按照一定策略將Hadoop集群中的所有節(jié)點部

2013-10-28 14:14:43

hadoop vSphere 大數(shù)據(jù)

0.16版本salt的安裝與日常應用

現(xiàn)在分享一下我對0.16版本salt的學習筆記一、安裝1、在ubuntu系統(tǒng)安裝添加源debhttp://debian.saltstack.com/debian wheezy-saltstack main把這個源放到/etc/apt/sources.list更新源apt-get update安裝服務端或者客戶端apt-get installsalt-masterapt-get installsal

2013-10-21 10:35:28

salt安裝 salt應用 salt日常命令

Hadoop運維記錄系列(十一)

記錄一些Hive的優(yōu)化點，和能夠提升的效率差異。Hive是目前應用最多最廣的SQL on Hadoop工具，近期很多專業(yè)的大數(shù)據(jù)公司推出了很多新的，基于列式或者內(nèi)存熱數(shù)據(jù)的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最廣的SQL on Hadoop的工具。在以前淘寶羅李的報告中，淘寶90%的業(yè)務跑在Hive上面。暴風影音的比例更高一些，大概95%以上

2013-09-12 18:19:35

系統(tǒng)性能調(diào)優(yōu)

Hadoop運維記錄系列(十)

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這里，花了一會解決了一下，估計這是我給暴風的集群解決的最后的故障了，以后就不定給誰解決問題去了。只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

2013-09-04 16:31:43

記錄運維 hadoop

Pig自定義過濾UDF和加載UDF

Pig是一種數(shù)據(jù)流編程語言，由一系列操作和變換構成，每一個操作或者變換都對輸入進行處理，然后產(chǎn)生輸出結果，整體操作表示一個數(shù)據(jù)流。Pig的執(zhí)行環(huán)境將數(shù)據(jù)流翻譯為可執(zhí)行的內(nèi)部表示，在Pig內(nèi)部，這些變換操作被轉換為一系列的MapReduce作業(yè)。 Pig自身有許多個方法，有時候需要我們自己定制特定的處

2013-09-04 09:26:02

Pig自定義過濾UDF 加載UDF

MapReduce工作的基本流程

Hadoop0.2之前版本和之后版本在Job中有很大的改進，本次采用的版本是Hadoop1.1.2版本。現(xiàn)在作為作業(yè)驅動器，可以直接繼承Configured以及實現(xiàn)Tool，這種方式可以很便捷的獲取啟動時候命令行中輸入的作業(yè)配置參數(shù)，常規(guī)的Job啟動如下：public class SortByHash extend

2013-09-02 20:58:46

工作流程 mapreduce hadoop

datanode單塊盤故障導致節(jié)點失效之腳本解決

問題：在hadoop的1.2.0中由于單個磁盤故障導致datanode節(jié)點失效，生產(chǎn)環(huán)境中datanode節(jié)點大多都有多塊磁盤，我們現(xiàn)在需要一種方法，讓datanode不會被單塊磁盤的故障導致整個節(jié)點失效。解決方法及適用場景： 1、修改hadoop源代碼(介個在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，將故障盤的掛載點刪除并重啟(推薦在手動部署的hadoop

2013-08-29 11:59:16

datanode hadoop.shel

上一頁 1 2 3 4 5 下一頁

51CTO技術棧公眾號

業(yè)務
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學堂精培企業(yè)培訓 CTO訓練營

<legend id="9vsd6"><track id="9vsd6"></track></legend><sub id="9vsd6"><p id="9vsd6"></p></sub>