自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9161內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 226 條

#Word文檔導(dǎo)入#大數(shù)據(jù)presto+Alluxio?

大數(shù)據(jù)presto+Alluxio? 1.Presto安裝? 角色分配?IP地址?HOSTNAME?NodeID?角色?172.16.16.241?incubator-test-dc-001?presto-cdh01?coordinator?172.16.16.246?incubator-test-dc-002?presto-cdh02?worker?172.16.16.25

2022-05-16 16:55:10

cloudera hive apache

MacOS下安裝Apache Flink及測試WordCount

1.安裝java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flink apache java

干貨?。』赟park Graph的社交關(guān)系圖譜項目實戰(zhàn)

原創(chuàng)干貨，基于spark graphframes圖計算的社交關(guān)系圖譜

2022-05-05 08:46:14

spark 圖計算社交關(guān)系圖譜

深入理解Spark原理，從性能優(yōu)化入手

1 Spark任務(wù)文件初始化調(diào)優(yōu)首先進行性能測試，發(fā)現(xiàn)這個視頻圖譜N度級聯(lián)關(guān)系應(yīng)用分為5個job，最后一個job為保存結(jié)果到HDFS，其余job為同樣計算過程的反復(fù)迭代。但是發(fā)現(xiàn)第一個job比其他job又多了個計算階段stage，如圖中紅圈所示。通過閱讀程序代碼，發(fā)現(xiàn)第一個job需要初始化一個空數(shù)組，從而產(chǎn)生了一個stage，但是這個stage在性能測試結(jié)果上顯示，花費了14秒的時間，遠遠超出合理

2022-04-29 22:40:14

服務(wù)器 spark 網(wǎng)絡(luò)通信

Spark SQL 字段血緣在 vivo 互聯(lián)網(wǎng)的實踐

字段血緣可以很好的幫助我們了解數(shù)據(jù)生成的處理過程，在探索中我們發(fā)現(xiàn)了可以通過Spark的擴展來優(yōu)雅的實現(xiàn)這一功能

2022-04-25 10:15:07

sql spark sparksql

linux硬核知識點

man 是 manual 的縮寫，將指令的具體信息顯示出來。當執(zhí)行`man date`時，有 DATE(1) 出現(xiàn)，其中的數(shù)字代表指令的類型，常用的數(shù)字及其類型如下

2022-04-23 17:02:38

bash 文件系統(tǒng)子進程

Shell腳本進階

if 判斷條件 1 ; then 條件為真的分支代碼 elif 判斷條件 2 ; then 條件為真的分支代碼 elif 判斷條件 3 ; then 條件為真的分支代碼 else 以上條件都為假的分支代碼 fi

2022-04-22 20:49:44

bash 賦值 ip地址

用戶行為指標淺析

前言用戶行為分析是對用戶在產(chǎn)品或觸點上產(chǎn)生的行為及行為背后的數(shù)據(jù)進行分析，通過構(gòu)建用戶行為數(shù)據(jù)分析體系或者用戶畫像，來改變產(chǎn)品、營銷、運營決策，實現(xiàn)精細化運營，指導(dǎo)業(yè)務(wù)增長。總之，很重要。先來看下用戶類行為指標說明，然后下面詳解常寫的指標。僅供參考，實際開發(fā)邏輯還是按業(yè)務(wù)需求為標準。指標名稱解釋說明:新增用戶首次聯(lián)網(wǎng)使用應(yīng)用的用戶，如果一個用戶首次打開某APP，那這個用戶定義為新增用戶：卸載再安裝

2022-04-19 16:28:49

sql 唯一標識業(yè)務(wù)需求

一文玩轉(zhuǎn)Linux(NAT)網(wǎng)絡(luò)配置(保姆級別教程)

VMWare提供了三種工作模式，它們是bridged(橋接模式)、NAT(網(wǎng)絡(luò)地址轉(zhuǎn)換模式)和host-only(主機模式)，bridged(橋接模式) 是 VMWare 虛擬出來的操作系統(tǒng)就像是局域網(wǎng)中的一臺獨立的主機，它可以訪問網(wǎng)內(nèi)任何一臺機器。在橋接模式下，需要手工為虛擬系統(tǒng)配置IP地址、子網(wǎng)掩碼，而且還要和宿主機器處于同一網(wǎng)段，這樣虛擬系統(tǒng)才能和宿主機器進行通信。同時，由于這個虛擬系統(tǒng)是局域網(wǎng)中的一個獨立的主機系統(tǒng)，那么就可以手工配置它的TCP/IP配置信息，以實現(xiàn)通過局域網(wǎng)的網(wǎng)關(guān)或路由器訪問互聯(lián)網(wǎng)。使用橋接模式的虛擬系統(tǒng)和宿主機器的關(guān)系，就像連接在同一個Hub上的兩臺電腦。想讓它們相互通訊，需要為虛擬系統(tǒng)配置IP地址和子網(wǎng)掩碼，否則就無法通信。

2022-04-15 00:12:57

centos Linux NAT網(wǎng)絡(luò)配置

詳解Apache Hudi如何配置各種類型分區(qū)

1. 引入??Apache??Hudi支持多種分區(qū)方式數(shù)據(jù)集，如多級分區(qū)、單分區(qū)、時間日期分區(qū)、無分區(qū)數(shù)據(jù)集等，用戶可根據(jù)實際需求選擇合適的分區(qū)方式，下面來詳細了解Hudi如何配置何種類型分區(qū)。2. 分區(qū)處理為說明Hudi對不同分區(qū)類型的處理，假定寫入Hudi的??Schema??如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hive apache 字段

用 GraphScope 像 NetworkX 一樣做圖分析

NetworkX 是 Python 上最常用的圖分析包，GraphScoep 兼容 NetworkX 接口。本文中我們將分享如何用 GraphScope 像 NetworkX 一樣在（大）圖上進行分析?？焖僭L問graphscope：??https://github.com/alibaba/GraphScope??NetworkX 是什么NetworkX 是一個用 Python 語言開發(fā)的圖論與復(fù)雜

2022-04-11 15:02:53

twitter 數(shù)據(jù)聚類

都2022年了，HDFS為何還如此能戰(zhàn)！

HDFS也許不是最好的大數(shù)據(jù)存儲技術(shù)，但依然是最重要的大數(shù)據(jù)存儲技術(shù)。

2022-04-11 14:12:13

hdfs 數(shù)據(jù)HDFS

MapReduce編程模型和計算框架

1 概述源于Google的MapReduce論文，發(fā)表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop問世前，已有分布式計算，但都是專用系統(tǒng)，僅處理某一類計算，比如進行大規(guī)模數(shù)據(jù)排序。這樣的系統(tǒng)無法復(fù)用到其他大數(shù)據(jù)計算場景，每種應(yīng)用都需要開發(fā)與維護專門系統(tǒng)。而Hadoop MapReduce造就了大數(shù)據(jù)計算通用編程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce 數(shù)據(jù)服務(wù)器

數(shù)倉建?！狾neID

今天是我在上海租房的小區(qū)被封的第三天，由于我的大意，沒有屯吃的，外賣今天完全點不到了，中午的時候我找到了一包快過期的肉松餅，才補充了1000焦耳的能量。但是中午去做核酸的時候，我感覺走路有點不穩(wěn)，我看到大白的棉簽深入我的嘴里，我竟然以為是吃的，差點咬住了，還好我有僅存的一點意識。下午我收到女朋友給我點的外賣——面包（我不知道她是怎么點到的外賣，我很感動），很精致的面包，擱平時我基本不喜歡吃面包，但

2022-03-31 17:39:18

數(shù)據(jù)建模 spark

GC：垃圾回收機制，不用手動回收釋放#yyds干貨盤點#

GC：垃圾回收機制，不用手動回收釋放什么是垃圾？對象被判定為垃圾的標準沒有被其他對象引用怎么判斷垃圾？判定對象是否為垃圾的算法引用計數(shù)算法通過判斷對象的引用數(shù)量來決定對象是否可以被回收每個對象實例都有一個引用計數(shù)器，被引用則+1，完成引用則1任何引用計數(shù)為0的對象實例可以被當作垃圾收集優(yōu)點:執(zhí)行效率高，程序執(zhí)行受影響較小缺點︰無法檢測出循環(huán)引用的情況，導(dǎo)致內(nèi)存泄露javapackagecom.in

2022-03-02 08:23:48

引用計數(shù)java 方法區(qū)

最強Flink算子大全手冊，面試拿捏了~

Flink基于流編程模型，內(nèi)置了很多強大功能的算子，可以幫助我們快速開發(fā)應(yīng)用程序。特此整理Flink算子手冊，趕快拿去！

2022-03-01 21:43:20

flink scala 面試

Hadoop Kerberos 集成

官網(wǎng)參考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、創(chuàng)建Hadoop系統(tǒng)用戶為Hadoop開啟Kerberos，需為不同服務(wù)準備不同的用戶，啟動服務(wù)時需要使用相應(yīng)的用戶。須在所有節(jié)點創(chuàng)建以下用戶和

2022-02-19 13:55:44

hadoop hdfs xml

第02講：Flink 入門程序 WordCount 和 SQL 實現(xiàn)

Flink系列文章

2022-02-10 21:59:52

第12講：Flink 常用的 Source 和 Connector

Flink系列文章1.第01講：Flink的應(yīng)用場景和架構(gòu)模型(https://www.ikeguang.com/?p=1976)2.第02講：Flink入門程序WordCount和SQL實現(xiàn)(https://www.ikeguang.com/?p=1977)3.第03講：Flink的編程模型與其他框架比較(https://www.ikeguang.com/?p=1978)4.第04講：Flink

2022-01-29 10:24:47

flink redis apache

漫畫趣解Flink實時數(shù)倉

Flink實時數(shù)倉架構(gòu)一文打盡

2022-01-28 23:36:57

flink 實時數(shù)倉

我是Flink，現(xiàn)在"背"感壓力~

我是Flink，現(xiàn)在“背”感壓力，我太難了~

2022-01-19 21:18:44

flink kafka 實時計算

萬字長文玩轉(zhuǎn)Spark面試: 進大廠必看！#yyds干貨盤點#

大數(shù)據(jù)Spark大廠面試一條龍，硬核干貨~

2022-01-12 00:06:23

spark 實時計算大數(shù)據(jù)

萬字詳解實時計算一致性機制：對比Flink和Spark#yyds干貨盤點#

海量數(shù)據(jù)實時計算：Spark和Flink引擎是如何保證Exactly-Once一致性？

2022-01-11 07:48:20

spark 數(shù)據(jù)kafka

YYDS|不得不看的Spark內(nèi)存管理機制

萬字最全Spark內(nèi)存管理深度剖析

2022-01-09 11:00:37

spark 內(nèi)存管理實時計算

十分鐘手撕Flink雙流JOIN面試

某年某日某君，于某都面試，為Flink雙流JOIN所惑~ 有感而發(fā)，遂下筆，為君解惑~

2022-01-04 22:53:30

Flink 大數(shù)據(jù)程序員

數(shù)倉建?！笜梭w系#yyds干貨盤點#

指標體系提起指標這個詞，每個人似乎都可以說出幾個指標，像經(jīng)常在工作中會聽到的日活、月活、注冊率、轉(zhuǎn)化率、交易量等事實上指標就是用來量化事物的一個工具，幫助我們?nèi)⒁恍┏橄蟮氖录贸鲆粋€輪廓上的描述。例如我們可以從指標上判斷一個產(chǎn)品的好壞，用戶粘性等等，例如我們通過日活能去判斷出我們整個產(chǎn)品的用戶量，從而能反應(yīng)出我們這個產(chǎn)品的一個健康程度，也就是否處于增長過程中。一個好的數(shù)據(jù)指標體系可以助力業(yè)務(wù)快速

2021-12-22 17:10:10

數(shù)據(jù)搜索二級

OPPO大數(shù)據(jù)離線計算平臺架構(gòu)演進

OPPO大數(shù)據(jù)離線計算平臺演進道路上，遇到了很多經(jīng)典的大數(shù)據(jù)問題，比如說：shuffle失敗、小文件問題、元數(shù)據(jù)切分、多集群資源協(xié)調(diào)、spark 任務(wù)提交門戶建設(shè)。OPPO大數(shù)據(jù)離線計算平臺團隊依托自身的資源和技術(shù)，不斷探索，務(wù)實的解決平臺發(fā)展中遇到的各種問題。本文圍繞前面提到的五個問題，逐步介紹我們的大數(shù)據(jù)平臺演進之路。

2021-12-22 15:32:33

大數(shù)據(jù)spark yarn

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、環(huán)境準備1.環(huán)境準備：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平臺二.編譯hudi（這個編譯是以前的一個測試版本，編譯大同小異）1.使用git命令下載hudi0.10的代碼steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flink hive 數(shù)據(jù)

「Spark 從精通到重新入門(二)」Spark 中不可不知的動態(tài)資源分配

資源是影響 Spark 應(yīng)用執(zhí)行效率的一個重要因素。Spark 應(yīng)用中真正執(zhí)行 task 的組件是 Executor，可以通過spark.executor.instances 指定 Spark 應(yīng)用的 Executor 的數(shù)量。在運行過程中，無論 Executor上是否有 task 在執(zhí)行，都會被一直占有直到此 Spark 應(yīng)用結(jié)束。

2021-12-15 13:44:25

spark sql 動態(tài)分配

sqoop用法之mysql與hive數(shù)據(jù)導(dǎo)入導(dǎo)出#yyds干貨盤點#

一.Sqoop介紹Sqoop是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL、Oracle、Postgres等）中的數(shù)據(jù)導(dǎo)進到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。對于某些NoSQL數(shù)據(jù)庫它也提供了連接器。Sqoop，類似于其他ETL工具，使用元數(shù)據(jù)模型來判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Hadoop時確保類型安

2021-12-06 22:38:37

hive mysql 數(shù)據(jù)

萬字詳解 Spark 數(shù)據(jù)傾斜及解決方案

本文目錄：一、調(diào)優(yōu)概述\二、數(shù)據(jù)傾斜發(fā)生時的現(xiàn)象\三、數(shù)據(jù)傾斜發(fā)生的原理\四、如何定位導(dǎo)致數(shù)據(jù)傾斜的代碼\五、某個task執(zhí)行特別慢的情況\六、某個task莫名其妙內(nèi)存溢出的情況\七、查看導(dǎo)致數(shù)據(jù)傾斜的key的數(shù)據(jù)分布情況\八、數(shù)據(jù)傾斜的解決方案：解決方案一：使用HiveETL預(yù)處理數(shù)據(jù)解決方案二：過濾少數(shù)導(dǎo)致傾斜的key解決方案三：提高shuffle操作的并行度解決方案四：兩階段聚合（局部聚合+

2021-12-06 10:56:01

數(shù)據(jù)數(shù)據(jù)傾斜 spark

大數(shù)據(jù)面試吹牛草稿V2.0

面試吹牛之前先打個草稿！各位面試官好!本文首發(fā)于微信公眾號【五分鐘學(xué)大數(shù)據(jù)】，公眾號上有很多大數(shù)據(jù)學(xué)習方法，學(xué)習文檔，最全的大數(shù)據(jù)面試八股文等1.我叫xxx，畢業(yè)于xxx，之前在xxx公司待了1年多，期間?直從事的是IT行業(yè)，剛開始的時候做的是Java開發(fā)后來轉(zhuǎn)崗到大數(shù)據(jù)方向做大數(shù)據(jù)開發(fā);剛轉(zhuǎn)行到大數(shù)據(jù)開發(fā)的時候開始比較困難的，大數(shù)據(jù)并不像Java那樣?套框架基本可以搞定所有的問題，而是不同的業(yè)務(wù)

2021-12-01 16:55:31

kafka 大數(shù)據(jù)離線

0012 - YARN三種資源調(diào)度器解析

大數(shù)據(jù)夢工廠（0012YARN三種資源調(diào)度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN資源調(diào)度器簡介資源調(diào)度器（ResourceScheduler）是HadoopYARN中最核心的組件之一，且是ResourceManager中的一個服務(wù)組件，負責整個Hadoop集群資源的分配和管理，用于解決各應(yīng)用程序之間集群資源搶占的問題。

2021-11-30 23:19:04

Hadoop YARN 大數(shù)據(jù)

#yyds干貨盤點#Hadoop企業(yè)級生產(chǎn)調(diào)優(yōu)手冊(二)

上節(jié)：Hadoop企業(yè)級生產(chǎn)調(diào)優(yōu)手冊(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存儲優(yōu)化注：演示糾刪碼和異構(gòu)存儲需要一共5臺虛擬機。盡量拿另外一套集群。提前準備5臺服務(wù)器的集群。5.1糾刪碼5.1.1糾刪碼原理HDFS默認情況下，一個文件有3個副本，這樣提高了數(shù)據(jù)的可靠性，但也帶來了2倍的冗余開銷。Hadoop3.x引入了糾刪碼，采用計算

2021-11-27 11:28:03

hadoop hdfs mapreduce

#yyds干貨盤點#Hadoop企業(yè)級生產(chǎn)調(diào)優(yōu)手冊(一)

一、HDFS核心參數(shù)1.1NameNode內(nèi)存生產(chǎn)配置1.NameNode內(nèi)存計算每個文件塊大概占用150byte，一臺服務(wù)器128G內(nèi)存為例，能存儲多少文件塊呢？12812810241024/150Byte≈9.1億2.Hadoop2.x系列，配置NameNode內(nèi)存NameNode內(nèi)存默認2000m，如果服務(wù)器內(nèi)存4G，NameNode內(nèi)存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoop hdfs 數(shù)據(jù)

Spark SQL知識點大全與實戰(zhàn)

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于結(jié)構(gòu)化數(shù)據(jù)(structureddata)處理的Spark模塊。與基本的SparkRDDAPI不同，SparkSQL的抽象數(shù)據(jù)類型為Spark提供了關(guān)于數(shù)據(jù)結(jié)構(gòu)和正在執(zhí)行的計算的更多信息。在內(nèi)部，SparkSQL使用這些額外的信息去做一些額外的優(yōu)化，有多種方式與SparkSQL進行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark調(diào)優(yōu) | Spark OOM問題常見解決方式

Spark OOM 問題分析Spark常見的問題不外乎OOM。我們首先看一下Spark 的內(nèi)存模型：Spark在一個Executor中的內(nèi)存分為三塊，一塊是execution內(nèi)存，一塊是storage內(nèi)存，一塊是other內(nèi)存。Execution內(nèi)存是執(zhí)行內(nèi)存，文檔中說join，aggregate都在這部分內(nèi)存中執(zhí)行，shuffle的數(shù)據(jù)也會先緩存在這個內(nèi)存中，滿了再寫入磁盤，能夠減少IO。其實m

2021-11-19 08:48:22

spark 數(shù)據(jù)調(diào)優(yōu)

HBase面試題整理

1、HBase的特點是什么？1）大：一個表可以有數(shù)十億行，上百萬列；2）無模式：每行都有一個可排序的主鍵和任意多的列，列可以根據(jù)需要動態(tài)的增加，同一張表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存儲和權(quán)限控制，列（族）獨立檢索；4）稀疏：空（null）列并不占用存儲空間，表可以設(shè)計的非常稀疏；5）數(shù)據(jù)多版本：每個單元中的數(shù)據(jù)可以有多個版本，默認情況下版本號自動分配，是單元格插入時的時

2021-11-14 14:27:35

數(shù)據(jù)緩存 hive

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置標簽（空格分隔）：大數(shù)據(jù)運維專欄toc一：hive集成openldap1.1CDH6.3.2的主機節(jié)點安裝openldap的客戶端openldap服務(wù)端已經(jīng)配置完成，不會看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安裝openldapclient裝包：yumyinstallopenlda

2021-11-11 17:44:50

openladp cdh hive

Flink計算pv和uv的通用方法

PV(訪問量)：即PageView,即頁面瀏覽量或點擊量，用戶每次刷新即被計算一次。UV(獨立訪客)：即UniqueVisitor,訪問您網(wǎng)站的一臺電腦客戶端為一個訪客。00:0024:00內(nèi)相同的客戶端只被計算一次。計算網(wǎng)站App的實時pv和uv，是很常見的統(tǒng)計需求，這里提供通用的計算方法，不同的業(yè)務(wù)需求只需要小改即可拿來即用。需求利用Flink實時統(tǒng)計，從0點到當前的pv、uv。一、需求分析從

2021-11-01 11:26:25

Spark讀取MongoDB數(shù)據(jù)的方法與優(yōu)化

1.本文主要介紹了Spark讀區(qū)MongoDB數(shù)據(jù)的方法及自定義分區(qū)抽取數(shù)據(jù)的優(yōu)化方式

2021-10-28 10:36:53

Spark MongoDB 讀取

kafka分區(qū)擴容和修改三個副本數(shù)

Kafka是Apache旗下的一款分布式流媒體平臺，Kafka是一種高吞吐量、持久性、分布式的發(fā)布訂閱的消息隊列系統(tǒng)。它最初由LinkedIn(領(lǐng)英)公司發(fā)布，使用Scala語言編寫，與2010年12月份開源，成為Apache的頂級子項目。它主要用于處理消費者規(guī)模網(wǎng)站中的所有動作流數(shù)據(jù)。動作指(網(wǎng)頁瀏覽、搜索和其它用戶行動所產(chǎn)生的數(shù)據(jù))。?消息系統(tǒng)分類我們知道常見的消息系統(tǒng)有Kafka、Rabbi

2021-10-27 11:28:04

cloudera jar kafka

Flink狀態(tài)管理與狀態(tài)一致性（超級詳細）

!Flink狀態(tài)(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

耗時一個月，整理出這份Hadoop吐血寶典

本文目錄：一、HDFS\二、MapReduce\三、Yarn\四、Hadoop3.x新特性\五、Hadoop大廠面試真題解析Hadoop涉及的知識點如下圖所示，本文將逐一講解：!(https://s4.51cto.com/images/blog/202110/22145555_6172607b946f17173.png?xossprocess=image/watermark,size_14,tex

2021-10-22 14:57:18

hadoop 大數(shù)據(jù)

Dolphinscheduler1.3.8集群部署

1.集群節(jié)點規(guī)劃及說明主機部署服務(wù)說明172.16.53.179masterserver,alertserver,zookeeper,mysql數(shù)據(jù)庫也在該主機172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服務(wù)端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

各組件配置LDAP認證手冊

注：本手冊以CM&CDH5.7.6為例1、Hive配置LDAP認證目前單個Hive Server2只能支持一種客戶端認證方式，或者是Kerberos認證，或者是LDAP認證，所以要在一個集群內(nèi)部同時支持兩種認證方式，必須配置兩個HiveServer 2。注：目前新版本CDH已經(jīng)可以同時支持兩種認證方式，在CDH5.14.4上已驗證過。1.1、開啟“啟用LDAP身份驗證”搜索“啟用 LDAP

2021-10-13 15:45:10

hue hive impala

0009 - 基于MapReduce的應(yīng)用案例

大數(shù)據(jù)夢工廠（0009基于MapReduce的應(yīng)用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce詞頻統(tǒng)計案例1.1樣本數(shù)據(jù)這是一個經(jīng)典的詞頻統(tǒng)計的案例：統(tǒng)計如下樣本數(shù)據(jù)中每個單詞出現(xiàn)的次數(shù)。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大數(shù)據(jù)

0007 - MapReduce入門指南

大數(shù)據(jù)夢工廠（0007MapReduce入門指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce簡介HadoopMapReduce是一個分布式計算框架（也稱為編程模型）。基于它編寫的應(yīng)用程序能夠以一種可靠、容錯的方式在大規(guī)模集群（數(shù)千個節(jié)點）上并行處理TB級別的海量數(shù)據(jù)集。MapReduceTask過程分為兩個處理階段：M

2021-09-13 23:00:58

Hadoop MapReduce 大數(shù)據(jù)

CDH 集群使用 JindoFS SDK 訪問 OSS

CDH 集群使用 JindoFS SDK 訪問 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是眾多Hadoop發(fā)行版本中的一種，本文以CDH 5.16.2為例介紹如何配置CDH支持使用JindoFS SDK訪問OSS。步驟 1. 安裝 jar 包下載最新的jar包 jindofs-sdk-x.x.x.jar (下載頁面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大數(shù)據(jù)夢工廠（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive創(chuàng)建一個Hadoop歸檔文件，其擴展名是.har。創(chuàng)建archive是一個Map/Reduce任務(wù)。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大數(shù)據(jù)

上一頁 1 2 3 4 5 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營