自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<tfoot id="ulylp"></tfoot>

<legend id="ulylp"><track id="ulylp"><dfn id="ulylp"></dfn></track></legend>

51CTO首頁(yè)

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會(huì)

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Hadoop

839內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 157 條

各組件配置LDAP認(rèn)證手冊(cè)

注：本手冊(cè)以CM&CDH5.7.6為例1、Hive配置LDAP認(rèn)證目前單個(gè)Hive Server2只能支持一種客戶端認(rèn)證方式，或者是Kerberos認(rèn)證，或者是LDAP認(rèn)證，所以要在一個(gè)集群內(nèi)部同時(shí)支持兩種認(rèn)證方式，必須配置兩個(gè)HiveServer 2。注：目前新版本CDH已經(jīng)可以同時(shí)支持兩種認(rèn)證方式，在CDH5.14.4上已驗(yàn)證過(guò)。1.1、開啟“啟用LDAP身份驗(yàn)證”搜索“啟用 LDAP

2021-10-13 15:45:10

hue hive impala

0009 - 基于MapReduce的應(yīng)用案例

大數(shù)據(jù)夢(mèng)工廠（0009基于MapReduce的應(yīng)用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce詞頻統(tǒng)計(jì)案例1.1樣本數(shù)據(jù)這是一個(gè)經(jīng)典的詞頻統(tǒng)計(jì)的案例：統(tǒng)計(jì)如下樣本數(shù)據(jù)中每個(gè)單詞出現(xiàn)的次數(shù)。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大數(shù)據(jù)

0007 - MapReduce入門指南

大數(shù)據(jù)夢(mèng)工廠（0007MapReduce入門指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce簡(jiǎn)介HadoopMapReduce是一個(gè)分布式計(jì)算框架（也稱為編程模型）。基于它編寫的應(yīng)用程序能夠以一種可靠、容錯(cuò)的方式在大規(guī)模集群（數(shù)千個(gè)節(jié)點(diǎn)）上并行處理TB級(jí)別的海量數(shù)據(jù)集。MapReduceTask過(guò)程分為兩個(gè)處理階段：M

2021-09-13 23:00:58

Hadoop MapReduce 大數(shù)據(jù)

CDH 集群使用 JindoFS SDK 訪問(wèn) OSS

CDH 集群使用 JindoFS SDK 訪問(wèn) OSS CDH（Cloudera's Distribution, including Apache Hadoop）是眾多Hadoop發(fā)行版本中的一種，本文以CDH 5.16.2為例介紹如何配置CDH支持使用JindoFS SDK訪問(wèn)OSS。步驟 1. 安裝 jar 包下載最新的jar包 jindofs-sdk-x.x.x.jar (下載頁(yè)面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大數(shù)據(jù)夢(mèng)工廠（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive創(chuàng)建一個(gè)Hadoop歸檔文件，其擴(kuò)展名是.har。創(chuàng)建archive是一個(gè)Map/Reduce任務(wù)。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大數(shù)據(jù)

0005 - Hadoop-Shell命令指南大全

大數(shù)據(jù)夢(mèng)工廠（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令簡(jiǎn)介bash適用于任何文件系統(tǒng)hadoopfs<args只能用于HDFS分布式文件系統(tǒng)hadoopdfs<args（推薦）和上面的命令作用相同，當(dāng)使用hadoopdfs時(shí)內(nèi)部會(huì)被轉(zhuǎn)為hdfsdfs命令hdfsdf

2021-09-06 22:06:04

0004 - DataNode工作機(jī)制解析

大數(shù)據(jù)夢(mèng)工廠（0004DataNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每個(gè)節(jié)點(diǎn)部署一個(gè)，用于存儲(chǔ)數(shù)據(jù)，負(fù)責(zé)提供客戶端的讀寫請(qǐng)求，并且根據(jù)NameNode的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除、追加和復(fù)制等操作。DataNode三大功能：負(fù)責(zé)管理所在節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)的讀寫，及存儲(chǔ)每個(gè)文件的數(shù)據(jù)

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，機(jī)架感知策略、寫數(shù)據(jù)流程、降副本后刪除冗余數(shù)據(jù)時(shí)間和心跳機(jī)制

2021-09-04 22:58:07

機(jī)架感知策略 Hadoop寫數(shù)據(jù)流程降副本后刪除冗余數(shù)據(jù)時(shí)

0003 - NameNode工作機(jī)制解析

大數(shù)據(jù)夢(mèng)工廠（0003NameNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服務(wù)，它管理和維護(hù)著整個(gè)HDFS分布式文件系統(tǒng)，主要有以下作用：負(fù)責(zé)接收客戶端的操作請(qǐng)求；負(fù)責(zé)管理文件系統(tǒng)命名空間（NameSpace）、集群配置信息及存儲(chǔ)塊的復(fù)制等；負(fù)責(zé)文件目錄樹的維護(hù)以及文件對(duì)應(yīng)Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個(gè)企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。 Apache Atlas為組織提供了開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對(duì)這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。如果沒有Atlas大數(shù)據(jù)表依賴問(wèn)題不好解決，元數(shù)據(jù)管理需要自

2021-08-21 15:46:53

大數(shù)據(jù)—— YARN

源碼見：https://github.com/hiszm/hadooptrainYARN產(chǎn)生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群資源管理系統(tǒng)。用戶可以將各種服務(wù)框架部署在YARN上，由YARN進(jìn)行統(tǒng)一地管理和資源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#導(dǎo)入MD文檔圖片#學(xué)完大數(shù)據(jù),來(lái)測(cè)測(cè)你大數(shù)據(jù)技術(shù)掌握程度?

問(wèn)題1：Rowkey如何設(shè)計(jì)，設(shè)計(jì)規(guī)則是什么？ - 業(yè)務(wù)原則：貼合業(yè)務(wù)，保證前綴是最常用的查詢字段 - 唯一原則：每條rowkey唯一表示一條數(shù)據(jù) - 組合原則：常用的查詢條件組合作為Rowkey - 散列原則：rowkey構(gòu)建不能連續(xù) - 長(zhǎng)度原則：滿足業(yè)務(wù)需求越短越好

2021-08-07 11:27:18

大數(shù)據(jù)面試題

CDH6.3.0上配置各種對(duì)象存儲(chǔ)

cm-hdfs: ufile: 還需添加jar包 ? ? S3:是自帶jar包 ? ? OSS: CDH6不需要下載包, CDH5需要 core-site.xml 的群集范圍高級(jí)配置代碼段（安全閥） ? ? ? ? fs.oss.endpoint oss-eu-west-1.aliyuncs.com? ? ? ? ? ? ? #oss的外網(wǎng)地址fs.oss.accessKeyId?fs.

2021-07-27 17:54:03

Hadoop基礎(chǔ)-12-Hive

源碼見：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ? data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

數(shù)據(jù)庫(kù)大數(shù)據(jù)hadoop

Hadoop 官方WordCount案例帶你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超級(jí)經(jīng)典的SQL練習(xí)題（MySQL版本），你還怕SQL不過(guò)關(guān)嗎？

微信搜索公眾號(hào)【C you again】，回復(fù)“SQL”下載無(wú)水印PDF版本，方便收藏 ## 1 數(shù)據(jù)表 #### 1.1 學(xué)生表 Student（SId，Sname，Sage，Ssex） > SId 學(xué)生編號(hào)，Sname 學(xué)生姓名，Sage 出生年月，Ssex 學(xué)生性別 #### 1.2 課程表 Course（CId，Cname，TId） > CId 課程編號(hào)，Cname 課程名稱，

2021-07-09 13:36:50

flume的集群部署與測(cè)試

flume的集群部署標(biāo)簽（空格分隔）：協(xié)作框架[toc]##一：flume介紹：1.1flume的介紹Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。當(dāng)前Flume有兩個(gè)版本Flume0.9X版本的統(tǒng)稱Flume

2021-05-26 16:30:24

數(shù)棧技術(shù)分享：一文帶你了解Flink jm、tm啟動(dòng)過(guò)程和資源分配

一、JM啟動(dòng)過(guò)程1、從日志角度分析啟動(dòng)流程1）client生成jobGraph詳情請(qǐng)參考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到請(qǐng)求(和yarn交互不重點(diǎn)分析)3）在被分配的節(jié)點(diǎn)上的工作目錄下啟動(dòng)launch_container.sh4）在perJob模式下，最終調(diào)用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大數(shù)據(jù)開源項(xiàng)目

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：hadoopHDFSHA與yarnHA的概述二：部署環(huán)境概述三：部署zookeeper四：部署HDFSHA與yarnHA五：關(guān)于HA的測(cè)試一：hadoopHDFSHA與yarnHA的概述1.1HA的概述HA概述1）所謂HA（HighAvailable），即高可用（7*24小時(shí)不中斷服務(wù)）。2）實(shí)現(xiàn)高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

OLAP引擎：基于Druid組件進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析

與現(xiàn)在相對(duì)熱門的Clickhouse引擎相比，Druid對(duì)高并發(fā)的支持相對(duì)較好和穩(wěn)定，但是Clickhouse在任務(wù)隊(duì)列模式中的數(shù)據(jù)查詢能力十分出色，但是對(duì)高并發(fā)支持不夠友好，需要做好很多服務(wù)監(jiān)控和預(yù)警。大數(shù)據(jù)組件中OLAP引擎的選型有很多，在數(shù)據(jù)的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業(yè)務(wù)需求是優(yōu)先原則。

2021-04-05 11:09:29

Druid OLAP 大數(shù)據(jù)

數(shù)據(jù)調(diào)度組件：基于Azkaban協(xié)調(diào)時(shí)序任務(wù)執(zhí)行

Azkaban是由Linkedin公司推出的可以管理批量工作流任務(wù)的調(diào)度器，用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。

2021-03-30 08:26:23

Azkaban 大數(shù)據(jù)任務(wù)調(diào)度

記錄一次事故處理50%kudu表無(wú)法進(jìn)行正常訪問(wèn)

記錄一次事故處理50%kudu表無(wú)法進(jìn)行正常訪問(wèn)測(cè)試環(huán)境kudu集群事故，影響：測(cè)試效果，測(cè)試進(jìn)度，生產(chǎn)發(fā)布延遲，需警惕，特此寫出過(guò)程操作需謹(jǐn)慎！操作需謹(jǐn)慎！操作需謹(jǐn)慎！任務(wù)環(huán)境都要以生產(chǎn)環(huán)境而對(duì)待！事故原因：昨天于上午10點(diǎn)，業(yè)務(wù)說(shuō)kudu表無(wú)法使用后，影響測(cè)試，無(wú)法正常發(fā)布。去scm平臺(tái)發(fā)現(xiàn)kudu_tablet掛了5臺(tái)運(yùn)維查看信息日志后，做近一步處理1.重啟kudu—tablet發(fā)現(xiàn)無(wú)法啟動(dòng)

2020-12-21 15:27:43

kudu表無(wú)法訪問(wèn)kudu規(guī)范 kudu_tablet

prometheus + grafana 對(duì)flink 進(jìn)行監(jiān)控

prometheus+grafana對(duì)flink進(jìn)行監(jiān)控標(biāo)簽（空格分隔）：flink系列一：flink監(jiān)控簡(jiǎn)介二：Flink的Metric架構(gòu)三：prometheus+grafana的對(duì)flink的監(jiān)控部署構(gòu)建一：flink監(jiān)控簡(jiǎn)介1.1前言Flink提供的Metrics可以在Flink內(nèi)部收集一些指標(biāo)，通過(guò)這些指標(biāo)讓開發(fā)人員更好地理解作業(yè)或集群的狀態(tài)。由于集群運(yùn)行后很難發(fā)現(xiàn)內(nèi)部的實(shí)際狀況，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：系統(tǒng)環(huán)境二：CDH6.3.2集成freeipa的Kerberos一：系統(tǒng)環(huán)境1.2系統(tǒng)配置要求大數(shù)據(jù)的所有主機(jī)注入到FreeIPA當(dāng)中cdh最低版本為CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

將大數(shù)據(jù)學(xué)習(xí)門檻降到了地平線

可能是Hadoop hdfs mapreduce最親民的介紹

2020-10-29 21:14:14

hadoop hdfs mapreduce

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH運(yùn)維 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS產(chǎn)出背景及定義隨著數(shù)據(jù)量越來(lái)越大，在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來(lái)管理多臺(tái)機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。HDFS（HadoopDistributedFileSystem），它是一個(gè)文件系統(tǒng)，用于存儲(chǔ)文件，通過(guò)目錄樹來(lái)定位文件；其次，它是分布式

2019-09-07 00:55:36

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

2018-04-08 22:36:04

大數(shù)據(jù)Hadoop MapReduce

詳解Linux運(yùn)維工程師高級(jí)篇（大數(shù)據(jù)安全方向）

詳解linux運(yùn)維工程師高級(jí)篇（大數(shù)據(jù)安全方向）

2018-02-07 18:57:15

大數(shù)據(jù)安全 kerberos

Hadoop運(yùn)維記錄系列(二十一)

Zeppelin啟用https過(guò)程和Hack內(nèi)核以滿足客戶需求的記錄。原因是這客戶很有意思，該客戶中國(guó)分公司的人為了驗(yàn)證內(nèi)網(wǎng)安全性，從國(guó)外找了一個(gè)滲透測(cè)試小組對(duì)Zeppelin和其他產(chǎn)品進(jìn)行黑客測(cè)試，結(jié)果發(fā)現(xiàn)Zeppelin主要倆問(wèn)題，一個(gè)是在內(nèi)網(wǎng)沒用https，一個(gè)是zeppelin里面可以執(zhí)行shell命令和python語(yǔ)句。其實(shí)這不算大問(wèn)題，zeppelin本來(lái)就是干這個(gè)用的。但是滲透小組不

2017-11-02 19:25:32

hadoop zeppelin hack

大數(shù)據(jù)實(shí)踐總結(jié)－－兩個(gè)故障的處理及思路總結(jié)

已經(jīng)有一段時(shí)間沒有更新實(shí)踐內(nèi)容了，不是因?yàn)闆]有在學(xué)習(xí)。而是工作上出現(xiàn)一個(gè)新的挑戰(zhàn)，又在忙論文查重，論文也是大數(shù)據(jù)方向的，主要是ICT方向的一個(gè)技術(shù)（若有人感興趣，我會(huì)另開一個(gè)帖子來(lái)詳細(xì)談這個(gè)內(nèi)容）。而且最近，把之前所有的實(shí)踐環(huán)境換了一臺(tái)電腦來(lái)重新搭建。按理說(shuō)會(huì)很順利，但沒想到，還是出了許多問(wèn)題。一些簡(jiǎn)單的問(wèn)題就直接解決了，但仍是有兩

2017-09-26 23:24:31

實(shí)踐大數(shù)據(jù)

Apache Bigtop再論與賣書求生存

快一年沒寫博客了，終于回來(lái)了，最近因公司業(yè)務(wù)需要，要基于cdh發(fā)行版打包自定義patch的rpm，于是又搞起了bigtop，就是那個(gè)hadoop編譯打包rpm和deb的工具，由于國(guó)內(nèi)基本沒有相關(guān)的資料和文檔，所以覺得有必要把閱讀bigtop源碼和修改的思路分享一下。我記得很早以前，bigtop在1.0.0以前版本吧，是用make進(jìn)行打包的，其實(shí)這個(gè)0.9.0以前的版本，擱我覺得就不應(yīng)該出現(xiàn)在apa

2016-12-30 15:22:50

apache hadoop bigtop

hadoop源碼解析---INodeReference機(jī)制

本文主要介紹了hadoop源碼中hdfs的INodeReference機(jī)制。在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設(shè)計(jì)也有一定的改造。一個(gè)重要的更新就是引入了快照功能。但是當(dāng)HDFS文件或者目錄處于某個(gè)快照中，并且這個(gè)文件或者目錄被重命名或者移動(dòng)到其他路徑時(shí)，該文件或者目錄就會(huì)存在多條訪問(wèn)路徑。INodeReference就是為了解決這個(gè)問(wèn)題產(chǎn)生的。問(wèn)題描述/a是hdfs中的

2016-07-07 00:27:38

源代碼快照 hdfs

logstash將Kafka中的日志數(shù)據(jù)訂閱到HDFS

前言：通常情況下，我們將Kafka的日志數(shù)據(jù)通過(guò)logstash訂閱輸出到ES，然后用Kibana來(lái)做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實(shí)時(shí)分析，日志存?zhèn)€十天半個(gè)月都會(huì)刪掉。那么在一些情況下，我需要將日志數(shù)據(jù)也存一份到我HDFS，積累到比較久的時(shí)間做半年、一年甚至更長(zhǎng)時(shí)間的大數(shù)據(jù)分析。下面就來(lái)說(shuō)如何最簡(jiǎn)單的通過(guò)logstash將kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper實(shí)現(xiàn)namenode的高可用

Hadoop+zookeepker安裝與配置:在hadoop-env.sh中添加export JAVA的環(huán)境變量修改hostname文件的名稱，/etc/hosts文件配置主機(jī)名和ip的映射關(guān)系，將mstaer，slave的主機(jī)名和ip地址都添加進(jìn)來(lái)配置ssh免密鑰配置Ssh-keygen –t rsa在./.ssh文件中生成兩個(gè)文件id_rsa（私鑰），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

Hadoop運(yùn)維記錄系列(十七)

上個(gè)月通過(guò)email，幫朋友的朋友解決了一個(gè)Cloudera的Spark-SQL無(wú)法訪問(wèn)HBase做數(shù)據(jù)分析的問(wèn)題，記錄一下。

2015-11-13 19:00:35

運(yùn)維 hadoop spark

使用flume替代原有的scribe服務(wù)

以前很多業(yè)務(wù)都是用scribe做日志收集的支撐的，后來(lái)fb停止了對(duì)scribe的開發(fā)支持。而且scribe在機(jī)器上編譯一次的代價(jià)太大了，各種坑，正好后來(lái)flume從1.3.0開始加入了對(duì)scribe的支持。就可以把原來(lái)scribe上面接入的數(shù)據(jù)轉(zhuǎn)用flume收集了。雖然我很喜歡scribe，但是失去了官方支持畢竟還是很鬧心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

去除Hadoop-Streaming行末多余的TAB

單位有一組業(yè)務(wù)一直都是使用Streaming壓縮文本日志，大體上就是設(shè)置作業(yè)輸出為BZ2格式，怎么輸入就怎么輸出，沒有任何處理功能在里面。但是每行結(jié)尾都多出來(lái)一個(gè)TAB。終于，有一個(gè)業(yè)務(wù)需要使用TAB前的最后一個(gè)字段，不去掉不行了。雖然是個(gè)小問(wèn)題，但是網(wǎng)上搜了一圈，也沒有很好的解決。很多人都遇到了，但是單位的業(yè)務(wù)比較特殊，只有map沒有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的應(yīng)用

在hadoop中很多地方都用到了servlet，并且使用jetty作為servlet的容器來(lái)提供http的服務(wù)，其主要是通過(guò)org.apache.hadoop.http.HttpServer類實(shí)現(xiàn)的，HttpServer類是對(duì)Jetty的簡(jiǎn)單封裝，通過(guò)調(diào)用HttpServer類的addServlet方法增加可以實(shí)現(xiàn)增加servlet到j(luò)etty的功能：publ

2014-12-22 21:57:20

使用shell并發(fā)上傳文件到hdfs

從本地到hdfs的并發(fā)腳本相關(guān)說(shuō)明及代碼實(shí)現(xiàn)。

2014-12-14 16:09:08

shell put hadoop

利用開源日志收集軟件fluentd收集日志到HDFS文件系統(tǒng)中

利用開源的日志收集系統(tǒng)fluentd，把日志寫入到HDFS文件系統(tǒng)中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode與NameNode交互機(jī)制相關(guān)代碼分析

HDFS Federation是為解決HDFS單點(diǎn)故障而提出的NameNode水平擴(kuò)展方案，該方案允許HDFS創(chuàng)建多個(gè)Namespace以提高集群的擴(kuò)展性和隔離性。在Federation中新增了block-pool的概念，block-pool就是屬于單個(gè)Namespace的一組block,每個(gè)DataNode為所有的block-pool存儲(chǔ)block

2014-11-25 11:23:18

DataNode文件系統(tǒng)源碼分析

在DataNode的本地存儲(chǔ)空間上，與存儲(chǔ)服務(wù)密切相關(guān)的，比如創(chuàng)建數(shù)據(jù)塊，恢復(fù)數(shù)據(jù)塊，數(shù)據(jù)塊校驗(yàn)等相關(guān)的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.1)首先說(shuō)下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源碼分析

利用pig分析cdn訪問(wèn)日志內(nèi)指定時(shí)間段的url訪問(wèn)次數(shù)

利用pig分析cdn訪問(wèn)日志，找到指定時(shí)間段內(nèi)，各個(gè)url訪問(wèn)次數(shù)，并且按照從大到小的次序排列！

2014-11-03 09:55:03

MRv2內(nèi)存監(jiān)控強(qiáng)殺Container問(wèn)題解決

線上某個(gè)hive job運(yùn)行失敗,報(bào)錯(cuò)如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug導(dǎo)致的zabbix斷圖問(wèn)題

線上使用zabbix的host update來(lái)監(jiān)測(cè)監(jiān)控值是否完整（關(guān)于host update的實(shí)現(xiàn)請(qǐng)參考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直發(fā)現(xiàn)有機(jī)器過(guò)一段時(shí)間update值就會(huì)莫名其妙變低，之前一直沒有找到rc，只是簡(jiǎn)單通過(guò)重啟agent來(lái)進(jìn)行修復(fù)，最近同事細(xì)心地發(fā)現(xiàn)可能是和sudo的bug有關(guān)系?；剡^(guò)頭再來(lái)

2014-10-22 23:53:02

sudo bug zabbix丟失值

hadoop插件sqoop使用案例

sqoop是hadoop項(xiàng)目中一個(gè)插件，可以把分布式文件系統(tǒng)hdfs中內(nèi)容導(dǎo)入到mysql指定表里面，也可以把mysql中內(nèi)容導(dǎo)入到hdfs文件系統(tǒng)中進(jìn)行后續(xù)操作。測(cè)試環(huán)境說(shuō)明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特別說(shuō)明：因?yàn)槲野惭b的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysql hadoop hdfs

你用pig分析access_log日志中ip訪問(wèn)次數(shù)

你用pig分析web訪問(wèn)日志demo

2014-10-14 13:52:43

Hadoop1.x和2.X的HDFS fsimage和edits文件運(yùn)行機(jī)制對(duì)比

一、概述之前寫過(guò)一篇非常詳細(xì)的,利用QJM在HDFS2.0部署HA策略的文章，主要說(shuō)了利用QJM進(jìn)行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中沒有詳細(xì)描述HADOOP2.x通過(guò)QJM部署HA完畢之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax與hadoop2.x兼容部署與實(shí)際項(xiàng)目應(yīng)用工作記錄分享

一、概述Hadoop的版本更新挺快的，已經(jīng)到了2.4，但是其周邊工具的更新速度還是比較慢的，一些舊的周邊工具版本對(duì)hadoop2.x的兼容性做得還不完善，特別是sqoop。最近，在為hadoop2.2.0找適合的sqoop版本時(shí)遇到了很多問(wèn)題。嘗試了多個(gè)sqoop1.4.x版本的直接簡(jiǎn)單粗暴的報(bào)版本不兼容問(wèn)題，其中測(cè)了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

上一頁(yè) 1 2 3 4 下一頁(yè)

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)