自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<cite id="2a97u"><rp id="2a97u"><form id="2a97u"></form></rp></cite>

^{<blockquote id="2a97u"></blockquote>}

<sub id="2a97u"></sub>

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9161內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 226 條

0005 - Hadoop-Shell命令指南大全

大數(shù)據(jù)夢工廠（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令簡介bash適用于任何文件系統(tǒng)hadoopfs<args只能用于HDFS分布式文件系統(tǒng)hadoopdfs<args（推薦）和上面的命令作用相同，當(dāng)使用hadoopdfs時(shí)內(nèi)部會被轉(zhuǎn)為hdfsdfs命令hdfsdf

2021-09-06 22:06:04

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過 Shuffle 過程將數(shù)據(jù)輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網(wǎng)絡(luò) I/O，因此 Shuffle 性能的高低直接影響整個(gè)程序的性能。 Spark 也有 Map 階段和 Reduce 階段，因此也會出現(xiàn) Shuffle 。文章都會首發(fā)在公眾號【五

2021-09-05 10:53:34

0004 - DataNode工作機(jī)制解析

大數(shù)據(jù)夢工廠（0004DataNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每個(gè)節(jié)點(diǎn)部署一個(gè)，用于存儲數(shù)據(jù)，負(fù)責(zé)提供客戶端的讀寫請求，并且根據(jù)NameNode的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除、追加和復(fù)制等操作。DataNode三大功能：負(fù)責(zé)管理所在節(jié)點(diǎn)上存儲數(shù)據(jù)的讀寫，及存儲每個(gè)文件的數(shù)據(jù)

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，機(jī)架感知策略、寫數(shù)據(jù)流程、降副本后刪除冗余數(shù)據(jù)時(shí)間和心跳機(jī)制

2021-09-04 22:58:07

機(jī)架感知策略 Hadoop寫數(shù)據(jù)流程降副本后刪除冗余數(shù)據(jù)時(shí)

0003 - NameNode工作機(jī)制解析

大數(shù)據(jù)夢工廠（0003NameNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服務(wù)，它管理和維護(hù)著整個(gè)HDFS分布式文件系統(tǒng)，主要有以下作用：負(fù)責(zé)接收客戶端的操作請求；負(fù)責(zé)管理文件系統(tǒng)命名空間（NameSpace）、集群配置信息及存儲塊的復(fù)制等；負(fù)責(zé)文件目錄樹的維護(hù)以及文件對應(yīng)Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個(gè)企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。 Apache Atlas為組織提供了開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。如果沒有Atlas大數(shù)據(jù)表依賴問題不好解決，元數(shù)據(jù)管理需要自

2021-08-21 15:46:53

大數(shù)據(jù)—— YARN

源碼見：https://github.com/hiszm/hadooptrainYARN產(chǎn)生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群資源管理系統(tǒng)。用戶可以將各種服務(wù)框架部署在YARN上，由YARN進(jìn)行統(tǒng)一地管理和資源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#導(dǎo)入MD文檔圖片#學(xué)完大數(shù)據(jù),來測測你大數(shù)據(jù)技術(shù)掌握程度?

問題1：Rowkey如何設(shè)計(jì)，設(shè)計(jì)規(guī)則是什么？ - 業(yè)務(wù)原則：貼合業(yè)務(wù)，保證前綴是最常用的查詢字段 - 唯一原則：每條rowkey唯一表示一條數(shù)據(jù) - 組合原則：常用的查詢條件組合作為Rowkey - 散列原則：rowkey構(gòu)建不能連續(xù) - 長度原則：滿足業(yè)務(wù)需求越短越好

2021-08-07 11:27:18

大數(shù)據(jù)面試題

CDH6.3.0上配置各種對象存儲

cm-hdfs: ufile: 還需添加jar包 ? ? S3:是自帶jar包 ? ? OSS: CDH6不需要下載包, CDH5需要 core-site.xml 的群集范圍高級配置代碼段（安全閥） ? ? ? ? fs.oss.endpoint oss-eu-west-1.aliyuncs.com? ? ? ? ? ? ? #oss的外網(wǎng)地址fs.oss.accessKeyId?fs.

2021-07-27 17:54:03

Hadoop基礎(chǔ)-12-Hive

源碼見：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ? data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

數(shù)據(jù)庫大數(shù)據(jù)hadoop

用戶路徑分析之利器“?；鶊D”

本文帶你走一遭，講講?；鶊D的前世今生，?；鶊D在互聯(lián)網(wǎng)產(chǎn)品分析領(lǐng)域的應(yīng)用，以及如何用python將一個(gè)常見埋點(diǎn)數(shù)據(jù)CSV文件做出漂亮的?；鶊D。

2021-07-10 21:36:04

大數(shù)據(jù)

Hadoop 官方WordCount案例帶你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超級經(jīng)典的SQL練習(xí)題（MySQL版本），你還怕SQL不過關(guān)嗎？

微信搜索公眾號【C you again】，回復(fù)“SQL”下載無水印PDF版本，方便收藏 ## 1 數(shù)據(jù)表 #### 1.1 學(xué)生表 Student（SId，Sname，Sage，Ssex） > SId 學(xué)生編號，Sname 學(xué)生姓名，Sage 出生年月，Ssex 學(xué)生性別 #### 1.2 課程表 Course（CId，Cname，TId） > CId 課程編號，Cname 課程名稱，

2021-07-09 13:36:50

面試系列五之項(xiàng)目涉及技術(shù)Spark

面試系列五之項(xiàng)目涉及技術(shù)Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基礎(chǔ)環(huán)境

Spark Day02：Spark 基礎(chǔ)環(huán)境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次課程內(nèi)容回顧主要講解2個(gè)方面的內(nèi)容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子進(jìn)階（轉(zhuǎn)換算子、行動算子、緩存、持久化）

0x00 教程內(nèi)容0x01 進(jìn)階算子操作1. 創(chuàng)建RDD2. 轉(zhuǎn)換算子3. 行動算子0x02 RDD的緩存與持久化1. 緩存與持久化的意義2. 緩存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

帶你深入淺出，徹底了解什么是Spark？

????????大數(shù)據(jù)專業(yè)，或者人工智能，深度學(xué)習(xí)方向的小伙伴們一定對Spark這個(gè)名詞不陌生吧~不認(rèn)識也沒有關(guān)系，今天Alice為大家?guī)黻P(guān)于Spark的一個(gè)詳細(xì)介紹。文章目錄激動人心的Spark發(fā)展史Spark為什么流行？1：優(yōu)秀的數(shù)據(jù)模型和計(jì)算抽象2：完善的生態(tài)圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)面試殺招——Spark高頻考點(diǎn)，必知必會!

關(guān)于大數(shù)據(jù)面試中Spark的高頻考點(diǎn)，快來學(xué)習(xí)!

2021-06-01 17:20:31

flume的集群部署與測試

flume的集群部署標(biāo)簽（空格分隔）：協(xié)作框架[toc]##一：flume介紹：1.1flume的介紹Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。當(dāng)前Flume有兩個(gè)版本Flume0.9X版本的統(tǒng)稱Flume

2021-05-26 16:30:24

數(shù)棧技術(shù)分享：一文帶你了解Flink jm、tm啟動過程和資源分配

一、JM啟動過程1、從日志角度分析啟動流程1）client生成jobGraph詳情請參考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到請求(和yarn交互不重點(diǎn)分析)3）在被分配的節(jié)點(diǎn)上的工作目錄下啟動launch_container.sh4）在perJob模式下，最終調(diào)用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大數(shù)據(jù)開源項(xiàng)目

如何監(jiān)控Azure Databricks集群資源使用率

Azure Databricks可以監(jiān)控嗎？如何監(jiān)控Azure Databricks呢？這篇文章給你答案！

2021-05-21 15:19:58

Azure Datab Databricks 監(jiān)控

網(wǎng)易Spark Kyuubi核心架構(gòu)設(shè)計(jì)與源碼實(shí)現(xiàn)剖析

本文較為系統(tǒng)、全面并且由淺入深地介紹了網(wǎng)易Spark Kyuubi出現(xiàn)的背景、核心架構(gòu)設(shè)計(jì)與關(guān)鍵源碼實(shí)現(xiàn)，是學(xué)習(xí)、應(yīng)用和對Kyuubi進(jìn)行二次開發(fā)不可多得的技術(shù)干貨。

2021-05-17 03:41:26

大數(shù)據(jù)Spark Kyuubi

prometheus+ Grafana監(jiān)控全家桶

普羅米修斯監(jiān)控操作系統(tǒng)，elasticsearch、kafka、flink

2021-05-13 10:04:17

普羅米修斯監(jiān)控es prometheus prometheus

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：hadoopHDFSHA與yarnHA的概述二：部署環(huán)境概述三：部署zookeeper四：部署HDFSHA與yarnHA五：關(guān)于HA的測試一：hadoopHDFSHA與yarnHA的概述1.1HA的概述HA概述1）所謂HA（HighAvailable），即高可用（7*24小時(shí)不中斷服務(wù)）。2）實(shí)現(xiàn)高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

實(shí)時(shí)計(jì)算框架：Flink集群搭建與運(yùn)行機(jī)制

Flink是一個(gè)框架和分布式處理引擎，用于對無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算。Flink被設(shè)計(jì)在所有常見的集群環(huán)境中運(yùn)行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計(jì)算。主要特性包括：批流一體化、精密的狀態(tài)管理、事件時(shí)間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運(yùn)行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署。在啟用高可用選項(xiàng)的情況下，它不存在單點(diǎn)失效問題。

2021-05-09 19:33:48

Flink Spark 大數(shù)據(jù)

實(shí)時(shí)計(jì)算框架：Spark集群搭建與入門案例

Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的，基于內(nèi)存快速通用,可擴(kuò)展的集群計(jì)算引擎，實(shí)現(xiàn)了高效的DAG執(zhí)行引擎,可以通過基于內(nèi)存來高效處理數(shù)據(jù)流，運(yùn)算速度相比于MapReduce得到了顯著的提高。

2021-04-26 08:32:07

Spark 大數(shù)據(jù)實(shí)時(shí)計(jì)算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit類圖分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

OLAP引擎：基于Druid組件進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析

與現(xiàn)在相對熱門的Clickhouse引擎相比，Druid對高并發(fā)的支持相對較好和穩(wěn)定，但是Clickhouse在任務(wù)隊(duì)列模式中的數(shù)據(jù)查詢能力十分出色，但是對高并發(fā)支持不夠友好，需要做好很多服務(wù)監(jiān)控和預(yù)警。大數(shù)據(jù)組件中OLAP引擎的選型有很多，在數(shù)據(jù)的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業(yè)務(wù)需求是優(yōu)先原則。

2021-04-05 11:09:29

Druid OLAP 大數(shù)據(jù)

數(shù)據(jù)調(diào)度組件：基于Azkaban協(xié)調(diào)時(shí)序任務(wù)執(zhí)行

Azkaban是由Linkedin公司推出的可以管理批量工作流任務(wù)的調(diào)度器，用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。

2021-03-30 08:26:23

Azkaban 大數(shù)據(jù)任務(wù)調(diào)度

Spark性能調(diào)優(yōu)-Shuffle調(diào)優(yōu)及故障排除篇

Spark調(diào)優(yōu)之Shuffle調(diào)優(yōu)本節(jié)開始先講解Shuffle核心概念；然后針對HashShuffle、SortShuffle進(jìn)行調(diào)優(yōu)；接下來對map端、reduce端調(diào)優(yōu)；再針對Spark中的數(shù)據(jù)傾斜問題進(jìn)行剖析及調(diào)優(yōu)；最后是Spark運(yùn)行過程中的故障排除。本文首發(fā)于公眾號【五分鐘學(xué)大數(shù)據(jù)】，本公號專注于大數(shù)據(jù)技術(shù)，分享高質(zhì)量大數(shù)據(jù)原創(chuàng)技術(shù)文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大數(shù)據(jù)spark

Spark性能調(diào)優(yōu)-RDD算子調(diào)優(yōu)篇（深度好文，面試常問，建議收藏）

Spark調(diào)優(yōu)之RDD算子調(diào)優(yōu)不廢話，直接進(jìn)入正題！1. RDD復(fù)用在對RDD進(jìn)行算子時(shí)，要避免相同的算子和計(jì)算邏輯之下對RDD進(jìn)行重復(fù)的計(jì)算，如下圖所示：RDD的重復(fù)計(jì)算對上圖中的RDD計(jì)算架構(gòu)進(jìn)行修改，得到如下圖所示的優(yōu)化結(jié)果：RDD架構(gòu)優(yōu)化2. 盡早filter獲取到初始RDD后，應(yīng)該考慮盡早地過濾掉不需要的數(shù)據(jù)，進(jìn)而減少對內(nèi)存的占用，從而提升Spark作業(yè)的運(yùn)行效率。本文首發(fā)于公眾號：五分

2021-03-06 09:43:48

大數(shù)據(jù)spark 大數(shù)據(jù)面試

Flink實(shí)戰(zhàn)，APP推廣情況分析

接著https://blog.51cto.com/mapengfei/2581240這里用Flink來實(shí)現(xiàn)對APP在每個(gè)渠道的推廣情況包括下載、查看、卸載等等行為的分析因?yàn)橹暗奈恼露际怯胹cala寫的，這篇用java來實(shí)現(xiàn)一波，分別演示下用aggregate聚合方式和process方式的實(shí)現(xiàn)和效果整體思路1、準(zhǔn)備好數(shù)據(jù)源：這里用SimulatedSource來自己隨機(jī)造一批數(shù)據(jù)2、準(zhǔn)備數(shù)據(jù)輸入樣

2021-01-10 21:13:17

flink APP統(tǒng)計(jì)flink java

Flink實(shí)戰(zhàn)，實(shí)時(shí)流量統(tǒng)計(jì) TOPN訪問URL

跟https://blog.51cto.com/mapengfei/2580330類似場景，來從Nginx、Apache等web服務(wù)器的日志中讀取數(shù)據(jù)，實(shí)時(shí)統(tǒng)計(jì)出來訪問熱度最高的TOPN訪問URL，并且要確保數(shù)據(jù)亂序的處理，lag等情況下，還要確認(rèn)數(shù)據(jù)的準(zhǔn)確性目標(biāo)：從log文件中讀取數(shù)據(jù)（也可以參考上一篇從kakfa中），取http的method為get的請求，并且把靜態(tài)文件訪問過濾掉，進(jìn)行實(shí)時(shí)統(tǒng)

2021-01-03 17:09:18

flink統(tǒng)計(jì)熱門ur 實(shí)時(shí)流量統(tǒng)計(jì)

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問測試環(huán)境kudu集群事故，影響：測試效果，測試進(jìn)度，生產(chǎn)發(fā)布延遲，需警惕，特此寫出過程操作需謹(jǐn)慎！操作需謹(jǐn)慎！操作需謹(jǐn)慎！任務(wù)環(huán)境都要以生產(chǎn)環(huán)境而對待！事故原因：昨天于上午10點(diǎn)，業(yè)務(wù)說kudu表無法使用后，影響測試，無法正常發(fā)布。去scm平臺發(fā)現(xiàn)kudu_tablet掛了5臺運(yùn)維查看信息日志后，做近一步處理1.重啟kudu—tablet發(fā)現(xiàn)無法啟動

2020-12-21 15:27:43

kudu表無法訪問 kudu規(guī)范 kudu_tablet

prometheus + grafana 對flink 進(jìn)行監(jiān)控

prometheus+grafana對flink進(jìn)行監(jiān)控標(biāo)簽（空格分隔）：flink系列一：flink監(jiān)控簡介二：Flink的Metric架構(gòu)三：prometheus+grafana的對flink的監(jiān)控部署構(gòu)建一：flink監(jiān)控簡介1.1前言Flink提供的Metrics可以在Flink內(nèi)部收集一些指標(biāo)，通過這些指標(biāo)讓開發(fā)人員更好地理解作業(yè)或集群的狀態(tài)。由于集群運(yùn)行后很難發(fā)現(xiàn)內(nèi)部的實(shí)際狀況，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：系統(tǒng)環(huán)境二：CDH6.3.2集成freeipa的Kerberos一：系統(tǒng)環(huán)境1.2系統(tǒng)配置要求大數(shù)據(jù)的所有主機(jī)注入到FreeIPA當(dāng)中cdh最低版本為CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

Flink從入門到真香(16、Flink內(nèi)置的一些Process Function)

之前的轉(zhuǎn)換算子是無法訪問事件的時(shí)間戳信息和水位線信息的，而這在一些應(yīng)用場景下，極為重要。例如MapFunction這樣子的map轉(zhuǎn)換算子就無法訪問時(shí)間戳或者當(dāng)前事件的事件事件?；诖?，DataStreamAPI提供了一系列LOW-LEVEL的轉(zhuǎn)換算子調(diào)用。可以訪問時(shí)間戳，watermark以及注冊定時(shí)事件，還可以輸出特定的一些事件，例如超時(shí)時(shí)間等。processfunction用來構(gòu)建事件驅(qū)動的應(yīng)

2020-11-25 21:54:42

Flink check checkpoint 狀態(tài)后端

將大數(shù)據(jù)學(xué)習(xí)門檻降到了地平線

可能是Hadoop hdfs mapreduce最親民的介紹

2020-10-29 21:14:14

hadoop hdfs mapreduce

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH運(yùn)維 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS產(chǎn)出背景及定義隨著數(shù)據(jù)量越來越大，在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來管理多臺機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。HDFS（HadoopDistributedFileSystem），它是一個(gè)文件系統(tǒng)，用于存儲文件，通過目錄樹來定位文件；其次，它是分布式

2019-09-07 00:55:36

生產(chǎn)SparkStreaming數(shù)據(jù)零丟失最佳實(shí)踐(含代碼)

生產(chǎn)上保證數(shù)據(jù)零丟失(斷批還原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive實(shí)戰(zhàn)案例與常見問題解決

Spark on Yarn with Hive實(shí)戰(zhàn)案例與常見問題解決

2018-10-09 11:14:27

Spark Yarn Hive

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

2018-04-08 22:36:04

大數(shù)據(jù)Hadoop MapReduce

詳解Linux運(yùn)維工程師高級篇（大數(shù)據(jù)安全方向）

詳解linux運(yùn)維工程師高級篇（大數(shù)據(jù)安全方向）

2018-02-07 18:57:15

大數(shù)據(jù)安全 kerberos

Hadoop運(yùn)維記錄系列(二十一)

Zeppelin啟用https過程和Hack內(nèi)核以滿足客戶需求的記錄。原因是這客戶很有意思，該客戶中國分公司的人為了驗(yàn)證內(nèi)網(wǎng)安全性，從國外找了一個(gè)滲透測試小組對Zeppelin和其他產(chǎn)品進(jìn)行黑客測試，結(jié)果發(fā)現(xiàn)Zeppelin主要倆問題，一個(gè)是在內(nèi)網(wǎng)沒用https，一個(gè)是zeppelin里面可以執(zhí)行shell命令和python語句。其實(shí)這不算大問題，zeppelin本來就是干這個(gè)用的。但是滲透小組不

2017-11-02 19:25:32

hadoop zeppelin hack

大數(shù)據(jù)實(shí)踐總結(jié)－－兩個(gè)故障的處理及思路總結(jié)

已經(jīng)有一段時(shí)間沒有更新實(shí)踐內(nèi)容了，不是因?yàn)闆]有在學(xué)習(xí)。而是工作上出現(xiàn)一個(gè)新的挑戰(zhàn)，又在忙論文查重，論文也是大數(shù)據(jù)方向的，主要是ICT方向的一個(gè)技術(shù)（若有人感興趣，我會另開一個(gè)帖子來詳細(xì)談這個(gè)內(nèi)容）。而且最近，把之前所有的實(shí)踐環(huán)境換了一臺電腦來重新搭建。按理說會很順利，但沒想到，還是出了許多問題。一些簡單的問題就直接解決了，但仍是有兩

2017-09-26 23:24:31

實(shí)踐大數(shù)據(jù)

Apache Bigtop再論與賣書求生存

快一年沒寫博客了，終于回來了，最近因公司業(yè)務(wù)需要，要基于cdh發(fā)行版打包自定義patch的rpm，于是又搞起了bigtop，就是那個(gè)hadoop編譯打包rpm和deb的工具，由于國內(nèi)基本沒有相關(guān)的資料和文檔，所以覺得有必要把閱讀bigtop源碼和修改的思路分享一下。我記得很早以前，bigtop在1.0.0以前版本吧，是用make進(jìn)行打包的，其實(shí)這個(gè)0.9.0以前的版本，擱我覺得就不應(yīng)該出現(xiàn)在apa

2016-12-30 15:22:50

apache hadoop bigtop

hadoop源碼解析---INodeReference機(jī)制

本文主要介紹了hadoop源碼中hdfs的INodeReference機(jī)制。在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設(shè)計(jì)也有一定的改造。一個(gè)重要的更新就是引入了快照功能。但是當(dāng)HDFS文件或者目錄處于某個(gè)快照中，并且這個(gè)文件或者目錄被重命名或者移動到其他路徑時(shí)，該文件或者目錄就會存在多條訪問路徑。INodeReference就是為了解決這個(gè)問題產(chǎn)生的。問題描述/a是hdfs中的

2016-07-07 00:27:38

源代碼快照 hdfs

logstash將Kafka中的日志數(shù)據(jù)訂閱到HDFS

前言：通常情況下，我們將Kafka的日志數(shù)據(jù)通過logstash訂閱輸出到ES，然后用Kibana來做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實(shí)時(shí)分析，日志存?zhèn)€十天半個(gè)月都會刪掉。那么在一些情況下，我需要將日志數(shù)據(jù)也存一份到我HDFS，積累到比較久的時(shí)間做半年、一年甚至更長時(shí)間的大數(shù)據(jù)分析。下面就來說如何最簡單的通過logstash將kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper實(shí)現(xiàn)namenode的高可用

Hadoop+zookeepker安裝與配置:在hadoop-env.sh中添加export JAVA的環(huán)境變量修改hostname文件的名稱，/etc/hosts文件配置主機(jī)名和ip的映射關(guān)系，將mstaer，slave的主機(jī)名和ip地址都添加進(jìn)來配置ssh免密鑰配置Ssh-keygen –t rsa在./.ssh文件中生成兩個(gè)文件id_rsa（私鑰），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

上一頁 1 2 3 4 5 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

<sub id="wwofb"><p id="wwofb"><strong id="wwofb"></strong></p></sub>

<cite id="wwofb"></cite>

<legend id="wwofb"><track id="wwofb"></track></legend>

<sub id="wwofb"></sub>

<sub id="wwofb"></sub><sub id="wwofb"></sub>

^{<blockquote id="wwofb"></blockquote>}

<abbr id="wwofb"><form id="wwofb"></form></abbr>