自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會(huì)

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫

賬號(hào)設(shè)置退出

Hadoop

839內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 157 條

詳解 Flink Catalog 在 ChunJun 中的實(shí)踐之路

我們知道 Flink 有Table（表）、View（視圖）、Function（函數(shù)/算子）、Database（數(shù)據(jù)庫）的概念，相對(duì)于這些耳熟能詳?shù)母拍睿現(xiàn)link 里還有一個(gè) Catalog（目錄）的概念。本文將為大家?guī)?Flink Catalog 的介紹以及 Flink Catalog 在 ChunJun 中的實(shí)踐之路。Flink Catalog 簡(jiǎn)介Catalog 提供元數(shù)據(jù)，如數(shù)據(jù)庫、表

2023-04-07 14:25:37

MapReduce報(bào)錯(cuò)：「MKDirs failed to create file」

MapReduce報(bào)錯(cuò)：「MKDirs failed to create file」??0. 寫在前面???1. 程序代碼及報(bào)錯(cuò)信息???輸入、輸出路徑????程序代碼????報(bào)錯(cuò)信息??2. 查找資料??3. 原因分析????4. 參考??0. 寫在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代碼及報(bào)錯(cuò)信息輸入、輸出路徑zhangsan@had

2023-03-15 09:44:59

java hadoop Mapreduce

使用Maven構(gòu)建Hadoop工程并實(shí)現(xiàn)詞頻統(tǒng)計(jì)案例(詳細(xì)篇)

使用Maven構(gòu)建Hadoop工程并實(shí)現(xiàn)詞頻統(tǒng)計(jì)案例(詳細(xì)篇)一、實(shí)驗(yàn)環(huán)境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3偽分布式二、使用Maven構(gòu)建Hadoop工程1.解壓Maven到自己的安裝目錄tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven環(huán)境變量vim /etc/profile.d

2023-02-14 08:39:07

hadoop maven 大數(shù)據(jù)

springboot：java實(shí)現(xiàn)郵件及附件發(fā)送、HTML正文的三種方式（三）【附帶源碼】

從代碼可以看出spring-boot-starter-mail與javax.mail的實(shí)現(xiàn)類似，都是通過類實(shí)現(xiàn)，但一定不要盲目的復(fù)制粘貼，理解，自己一行一行的復(fù)寫一遍代碼，這是千萬不能省的！

2023-02-05 09:27:58

java spring boot html

大數(shù)據(jù)Hadoop-04.高可用集群安裝

Hadoop 3.3.4 高可用集群安裝

2023-01-23 19:45:52

Hadoop 大數(shù)據(jù)數(shù)據(jù)分析

HDFS機(jī)架感知

HDFS機(jī)架感知

2023-01-16 16:22:15

機(jī)架感知 Hadoop

大數(shù)據(jù)平臺(tái)datasophon 測(cè)試部署

標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：datasophon的介紹1.1datasophon的介紹DataSophon是近日開源的一款國(guó)產(chǎn)自研大數(shù)據(jù)管理平臺(tái)，致力于快速實(shí)現(xiàn)部署、管理、監(jiān)控以及自動(dòng)化運(yùn)維大數(shù)據(jù)服務(wù)組件和節(jié)點(diǎn)的能力，幫助你快速構(gòu)建起穩(wěn)定、高效的大數(shù)據(jù)集群服務(wù)。主要有以下特性:極易部署，1小時(shí)可完成300節(jié)點(diǎn)的大數(shù)據(jù)集群部署國(guó)產(chǎn)化兼容，兼容ARM服務(wù)器和常用國(guó)產(chǎn)化操作系統(tǒng)監(jiān)控指標(biāo)全面豐富，

2023-01-11 15:36:41

大數(shù)據(jù)平臺(tái)dataso datasophon hadoop

HDFS，MapReduce，Yarn的架構(gòu)思想和設(shè)計(jì)原理

Hadoop 三大組件：HDFS，MapReduce，Yarn 的架構(gòu)分析和原理1引子????????大數(shù)據(jù)就是將各種數(shù)據(jù)統(tǒng)一收集起來進(jìn)行計(jì)算，發(fā)掘其中的價(jià)值。這些數(shù)據(jù)，既包括數(shù)據(jù)庫的數(shù)據(jù)，也包括日志數(shù)據(jù)，還包括專門采集的用戶行為數(shù)據(jù)；既包括企業(yè)內(nèi)部自己產(chǎn)生的數(shù)據(jù)，也包括從第三方采購(gòu)的數(shù)據(jù)，還包括使用網(wǎng)絡(luò)爬蟲獲取的各種

2023-01-07 00:14:02

數(shù)據(jù)服務(wù)器 HDFS

Flink SQL管理平臺(tái)flink-streaming-platform-web安裝搭建

我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的頁面管理平臺(tái)，大致看了下，嘗試安裝使用，比原生的flinksql界面確實(shí)好用多了，我們看下原生的，通過bin/sqlclient.sh命令進(jìn)入那個(gè)黑框，一只松鼠，對(duì)，就是那個(gè)界面。。。。這個(gè)工具不是Flink官方出的，是一個(gè)國(guó)內(nèi)的小伙伴寫的，Github地址

2022-12-06 14:55:07

flink sql kafka

三大實(shí)例帶你搞定 Prometheus API 使用

作為一位優(yōu)秀的技術(shù)人員，往往能通過對(duì)數(shù)據(jù)的最大化利用來產(chǎn)生更多價(jià)值。而 Prometheus 的監(jiān)控?cái)?shù)據(jù)則是可以為我們所用的重要數(shù)據(jù)，它并不只能用于日常的監(jiān)控和告警使用，也可以用于數(shù)據(jù)分析、成本管理等企業(yè)需求。在這種場(chǎng)景下，需要我們從 Prometheus 去獲取相關(guān)的數(shù)據(jù)，并對(duì)其進(jìn)行處理加工。關(guān)于數(shù)據(jù)的獲取方法，通常會(huì)使用 Prometheus 提供的 API 來操作，本文將會(huì)對(duì)此進(jìn)行講解介紹。

2022-11-30 10:19:45

數(shù)據(jù)時(shí)間戳獲取數(shù)據(jù)

CDH5部署三部曲之二：部署和設(shè)置

本文是《CDH5部署三部曲》的第二篇，前文將集群所有機(jī)器做了必要的設(shè)置，今天一起來完成CDH的部署、啟動(dòng)、設(shè)置等操作

2022-11-28 00:06:12

cloudera CDH 大數(shù)據(jù)

CDH5部署三部曲之一：準(zhǔn)備工作

CDH5部署前的準(zhǔn)備工作，包括系統(tǒng)設(shè)置、安裝文件下載等

2022-11-27 14:15:11

cloudera java cdh

Hadoop總結(jié)——Hadoop基礎(chǔ)

Hadoop基礎(chǔ)

2022-11-06 15:26:12

hadoop 數(shù)據(jù)mapreduce

字節(jié)跳動(dòng)開源數(shù)據(jù)集成引擎 BitSail 的演進(jìn)歷程與能力解析

導(dǎo)讀BitSail 是字節(jié)跳動(dòng)開源數(shù)據(jù)集成引擎，支持多種異構(gòu)數(shù)據(jù)源間的數(shù)據(jù)同步，并提供離線、實(shí)時(shí)、全量、增量場(chǎng)景下全域數(shù)據(jù)集成解決方案，目前支撐了字節(jié)內(nèi)部和火山引擎多個(gè)客戶的數(shù)據(jù)集成需求。經(jīng)過字節(jié)跳動(dòng)各大業(yè)務(wù)線海量數(shù)據(jù)的考驗(yàn)，在性能、穩(wěn)定性上得到較好驗(yàn)證。10 月 26 日，字節(jié)跳動(dòng)宣布 BitSail 項(xiàng)目正式在 GitHub 開源，為更多的企業(yè)和開發(fā)者帶來便利，降低數(shù)據(jù)建設(shè)的成本，讓數(shù)據(jù)高效地

2022-11-03 11:51:33

數(shù)據(jù)flink 數(shù)據(jù)集成

使用Hadoop patch包修復(fù)的一次經(jīng)歷

原因：因?yàn)楣镜钠脚_(tái)的數(shù)據(jù)量在30P左右，使用了Hadoop3.1.2的版本，而且使用的糾刪碼功能，報(bào)錯(cuò)信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

2022-10-11 18:02:20

hadoop hdfs java

字節(jié)跳動(dòng)基于Doris的湖倉(cāng)分析探索實(shí)踐

更多技術(shù)交流、求職機(jī)會(huì)，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群Doris簡(jiǎn)介Doris是一種MPP架構(gòu)的分析型數(shù)據(jù)庫，主要面向多維分析，數(shù)據(jù)報(bào)表，用戶畫像分析等場(chǎng)景。自帶分析引擎和存儲(chǔ)引擎，支持向量化執(zhí)行引擎，不依賴其他組件，兼容MySQL協(xié)議。Apache Doris具備以下幾個(gè)特點(diǎn)：良好的架構(gòu)設(shè)計(jì)，支持高并發(fā)低延時(shí)的查詢服務(wù)，支持高吞吐量的交互式分析。多FE均可對(duì)外提供服

2022-09-29 15:01:03

Presto安裝集成kerberos

解壓presto-server包tar -zxvf presto-server-0.276.tar.gz件目錄結(jié)構(gòu)如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...

2022-09-27 06:12:38

hive hadoop hdfs

開源交流丨一站式大數(shù)據(jù)平臺(tái)運(yùn)維管家ChengYing安裝原理剖析

本期我們帶大家回顧一下漫路同學(xué)的直播分享《ChengYing 安裝原理剖析》。本期內(nèi)容多為實(shí)戰(zhàn)演示，歡迎有興趣的同學(xué)去 B 站配合視頻觀看，便于理解。一、ChengYing 安裝原理ChengYing 安裝主要分為下面八個(gè)模塊的內(nèi)容，下面為大家介紹一下每個(gè)模塊主要能做的事情：1、主機(jī)編排一個(gè)組件包里面有很多服務(wù)，指定服務(wù)安裝到哪些主機(jī)。2、沖突校驗(yàn)根據(jù)組件包之間的依賴關(guān)系，校驗(yàn)編排結(jié)果是否符合部署

2022-09-09 14:17:36

自定義配置信息配置文件

終于有人把不同標(biāo)簽的加工內(nèi)容與落庫講明白了丨DTVision分析洞察篇

上一篇文章詳細(xì)給大家介紹了標(biāo)簽的設(shè)計(jì)與加工，在標(biāo)簽生命周期流程中，標(biāo)簽體系設(shè)計(jì)完成后，便進(jìn)入標(biāo)簽加工與上線運(yùn)行階段，一般來說數(shù)據(jù)開發(fā)團(tuán)隊(duì)會(huì)主導(dǎo)此過程，但我們需要關(guān)心以下幾個(gè)問題：?標(biāo)簽如何快速創(chuàng)建和實(shí)現(xiàn)標(biāo)簽邏輯的在線化管理?業(yè)務(wù)人員怎么參與到標(biāo)簽建設(shè)流程中?百萬級(jí)別的標(biāo)簽如何落表一、加工方式：傳統(tǒng) VS 在線當(dāng)企業(yè)無標(biāo)簽系統(tǒng)時(shí)，一般由數(shù)據(jù)開發(fā)在離線數(shù)倉(cāng)中完成標(biāo)簽的加工和運(yùn)行，運(yùn)營(yíng)或市場(chǎng)同學(xué)需要某個(gè)

2022-09-08 16:39:42

數(shù)據(jù)sql hive

Hadoop總結(jié)

一、Hadoop是什么？Hadoop是一個(gè)Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。在工業(yè)界，Hadoop已經(jīng)是公認(rèn)的大數(shù)據(jù)通用存儲(chǔ)和分析平臺(tái)，它實(shí)現(xiàn)了分布式文件系統(tǒng)HDFS（?Hadoop Distributed File System）、分布式運(yùn)行程序編程框架MapReduce以及資源管理系統(tǒng)YARN（ Yet Another Resource Negotiator），其中HDF

2022-09-02 20:13:59

mapreduce hadoop 大數(shù)據(jù)

（1）sparkstreaming結(jié)合sparksql讀取socket實(shí)時(shí)數(shù)據(jù)流

Spark Streaming是構(gòu)建在Spark Core的RDD基礎(chǔ)之上的，與此同時(shí)Spark Streaming引入了一個(gè)新的概念：DStream（Discretized Stream，離散化數(shù)據(jù)流)，表示連續(xù)不斷的數(shù)據(jù)流。DStream抽象是Spark Streaming的流處理模型，在內(nèi)部實(shí)現(xiàn)上，Spark Streaming會(huì)對(duì)輸入數(shù)據(jù)按照時(shí)間間隔（如1秒）分段，每一段數(shù)據(jù)轉(zhuǎn)換為Spar

2022-08-31 11:56:08

spark java spark sql

MMA安裝及使用優(yōu)化

公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要遷移數(shù)據(jù)到新環(huán)境中，阿里提供眾多的遷移方案，在經(jīng)過我們的實(shí)踐后，最終選擇了MMA，遷移數(shù)據(jù)Hive到Maxcompute。

2022-08-03 13:41:40

hive hdfs 數(shù)據(jù)遷移

一文看懂大數(shù)據(jù)生態(tài)圈完整知識(shí)體系【大數(shù)據(jù)技術(shù)及架構(gòu)圖解實(shí)戰(zhàn)派】

一文看懂大數(shù)據(jù)生態(tài)圈完整知識(shí)體系徐葳隨著大數(shù)據(jù)行業(yè)的發(fā)展，大數(shù)據(jù)生態(tài)圈中相關(guān)的技術(shù)也在一直迭代進(jìn)步，作者有幸親身經(jīng)歷了國(guó)內(nèi)大數(shù)據(jù)行業(yè)從零到一的發(fā)展歷程，通過本文希望能夠幫助大家快速構(gòu)建大數(shù)據(jù)生態(tài)圈完整知識(shí)體系。目前大數(shù)據(jù)生態(tài)圈中的核心技術(shù)總結(jié)下來如圖1所示，分為以下9類，下面分別介紹。圖1 一、數(shù)據(jù)采集技術(shù)框架數(shù)據(jù)采集也被稱為數(shù)據(jù)同步。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的興起，產(chǎn)生了海

2022-08-03 11:28:08

數(shù)據(jù)大數(shù)據(jù)技術(shù)框架

大數(shù)據(jù)Hadoop之——任務(wù)調(diào)度器Oozie（Oozie環(huán)境部署）

Oozie是一個(gè)基于工作流引擎的開源框架，依賴于MapReduce來實(shí)現(xiàn)，是一個(gè)管理 Apache Hadoop 作業(yè)的工作流調(diào)度系統(tǒng)。是由Cloudera公司貢獻(xiàn)給Apache的，它能夠提供對(duì)Hadoop MapReduce和Pig Jobs的任務(wù)調(diào)度與協(xié)調(diào)。Oozie需要部署到Java Servlet容器中運(yùn)行。

2022-07-16 19:01:00

大數(shù)據(jù)Oozie

大數(shù)據(jù)Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2環(huán)境部署）

在眾多 Hadoop 版本中， CDH（Cloudera Hadoop）是 Hadoop 眾多分支中比較出色的版本，它由Cloudera 發(fā)行和維護(hù)。CDH 基于 Apache 的 Hadoop 進(jìn)行重新構(gòu)建，提供了基于 Web 頁面的群集部署和管理操作。Hadoop發(fā)行版除了社區(qū)的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、華為等都提供自己的商業(yè)版本。

2022-07-08 23:38:26

hadoop CDH 大數(shù)據(jù)

#Word文檔導(dǎo)入#大數(shù)據(jù)presto+Alluxio?

大數(shù)據(jù)presto+Alluxio? 1.Presto安裝? 角色分配?IP地址?HOSTNAME?NodeID?角色?172.16.16.241?incubator-test-dc-001?presto-cdh01?coordinator?172.16.16.246?incubator-test-dc-002?presto-cdh02?worker?172.16.16.25

2022-05-16 16:55:10

cloudera hive apache

MacOS下安裝Apache Flink及測(cè)試WordCount

1.安裝java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flink apache java

linux硬核知識(shí)點(diǎn)

man 是 manual 的縮寫，將指令的具體信息顯示出來。當(dāng)執(zhí)行`man date`時(shí)，有 DATE(1) 出現(xiàn)，其中的數(shù)字代表指令的類型，常用的數(shù)字及其類型如下

2022-04-23 17:02:38

bash 文件系統(tǒng)子進(jìn)程

Shell腳本進(jìn)階

if 判斷條件 1 ; then 條件為真的分支代碼 elif 判斷條件 2 ; then 條件為真的分支代碼 elif 判斷條件 3 ; then 條件為真的分支代碼 else 以上條件都為假的分支代碼 fi

2022-04-22 20:49:44

bash 賦值 ip地址

用戶行為指標(biāo)淺析

前言用戶行為分析是對(duì)用戶在產(chǎn)品或觸點(diǎn)上產(chǎn)生的行為及行為背后的數(shù)據(jù)進(jìn)行分析，通過構(gòu)建用戶行為數(shù)據(jù)分析體系或者用戶畫像，來改變產(chǎn)品、營(yíng)銷、運(yùn)營(yíng)決策，實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)，指導(dǎo)業(yè)務(wù)增長(zhǎng)?？傊?，很重要。先來看下用戶類行為指標(biāo)說明，然后下面詳解常寫的指標(biāo)。僅供參考，實(shí)際開發(fā)邏輯還是按業(yè)務(wù)需求為標(biāo)準(zhǔn)。指標(biāo)名稱解釋說明:新增用戶首次聯(lián)網(wǎng)使用應(yīng)用的用戶，如果一個(gè)用戶首次打開某APP，那這個(gè)用戶定義為新增用戶：卸載再安裝

2022-04-19 16:28:49

sql 唯一標(biāo)識(shí)業(yè)務(wù)需求

一文玩轉(zhuǎn)Linux(NAT)網(wǎng)絡(luò)配置(保姆級(jí)別教程)

VMWare提供了三種工作模式，它們是bridged(橋接模式)、NAT(網(wǎng)絡(luò)地址轉(zhuǎn)換模式)和host-only(主機(jī)模式)，bridged(橋接模式) 是 VMWare 虛擬出來的操作系統(tǒng)就像是局域網(wǎng)中的一臺(tái)獨(dú)立的主機(jī)，它可以訪問網(wǎng)內(nèi)任何一臺(tái)機(jī)器。在橋接模式下，需要手工為虛擬系統(tǒng)配置IP地址、子網(wǎng)掩碼，而且還要和宿主機(jī)器處于同一網(wǎng)段，這樣虛擬系統(tǒng)才能和宿主機(jī)器進(jìn)行通信。同時(shí)，由于這個(gè)虛擬系統(tǒng)是局域網(wǎng)中的一個(gè)獨(dú)立的主機(jī)系統(tǒng)，那么就可以手工配置它的TCP/IP配置信息，以實(shí)現(xiàn)通過局域網(wǎng)的網(wǎng)關(guān)或路由器訪問互聯(lián)網(wǎng)。使用橋接模式的虛擬系統(tǒng)和宿主機(jī)器的關(guān)系，就像連接在同一個(gè)Hub上的兩臺(tái)電腦。想讓它們相互通訊，需要為虛擬系統(tǒng)配置IP地址和子網(wǎng)掩碼，否則就無法通信。

2022-04-15 00:12:57

centos Linux NAT網(wǎng)絡(luò)配置

詳解Apache Hudi如何配置各種類型分區(qū)

1. 引入??Apache??Hudi支持多種分區(qū)方式數(shù)據(jù)集，如多級(jí)分區(qū)、單分區(qū)、時(shí)間日期分區(qū)、無分區(qū)數(shù)據(jù)集等，用戶可根據(jù)實(shí)際需求選擇合適的分區(qū)方式，下面來詳細(xì)了解Hudi如何配置何種類型分區(qū)。2. 分區(qū)處理為說明Hudi對(duì)不同分區(qū)類型的處理，假定寫入Hudi的??Schema??如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hive apache 字段

用 GraphScope 像 NetworkX 一樣做圖分析

NetworkX 是 Python 上最常用的圖分析包，GraphScoep 兼容 NetworkX 接口。本文中我們將分享如何用 GraphScope 像 NetworkX 一樣在（大）圖上進(jìn)行分析?？焖僭L問graphscope：??https://github.com/alibaba/GraphScope??NetworkX 是什么NetworkX 是一個(gè)用 Python 語言開發(fā)的圖論與復(fù)雜

2022-04-11 15:02:53

twitter 數(shù)據(jù)聚類

都2022年了，HDFS為何還如此能戰(zhàn)！

HDFS也許不是最好的大數(shù)據(jù)存儲(chǔ)技術(shù)，但依然是最重要的大數(shù)據(jù)存儲(chǔ)技術(shù)。

2022-04-11 14:12:13

hdfs 數(shù)據(jù)HDFS

MapReduce編程模型和計(jì)算框架

1 概述源于Google的MapReduce論文，發(fā)表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop問世前，已有分布式計(jì)算，但都是專用系統(tǒng)，僅處理某一類計(jì)算，比如進(jìn)行大規(guī)模數(shù)據(jù)排序。這樣的系統(tǒng)無法復(fù)用到其他大數(shù)據(jù)計(jì)算場(chǎng)景，每種應(yīng)用都需要開發(fā)與維護(hù)專門系統(tǒng)。而Hadoop MapReduce造就了大數(shù)據(jù)計(jì)算通用編程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce 數(shù)據(jù)服務(wù)器

數(shù)倉(cāng)建?！狾neID

今天是我在上海租房的小區(qū)被封的第三天，由于我的大意，沒有屯吃的，外賣今天完全點(diǎn)不到了，中午的時(shí)候我找到了一包快過期的肉松餅，才補(bǔ)充了1000焦耳的能量。但是中午去做核酸的時(shí)候，我感覺走路有點(diǎn)不穩(wěn)，我看到大白的棉簽深入我的嘴里，我竟然以為是吃的，差點(diǎn)咬住了，還好我有僅存的一點(diǎn)意識(shí)。下午我收到女朋友給我點(diǎn)的外賣——面包（我不知道她是怎么點(diǎn)到的外賣，我很感動(dòng)），很精致的面包，擱平時(shí)我基本不喜歡吃面包，但

2022-03-31 17:39:18

數(shù)據(jù)建模 spark

GC：垃圾回收機(jī)制，不用手動(dòng)回收釋放#yyds干貨盤點(diǎn)#

GC：垃圾回收機(jī)制，不用手動(dòng)回收釋放什么是垃圾？對(duì)象被判定為垃圾的標(biāo)準(zhǔn)沒有被其他對(duì)象引用怎么判斷垃圾？判定對(duì)象是否為垃圾的算法引用計(jì)數(shù)算法通過判斷對(duì)象的引用數(shù)量來決定對(duì)象是否可以被回收每個(gè)對(duì)象實(shí)例都有一個(gè)引用計(jì)數(shù)器，被引用則+1，完成引用則1任何引用計(jì)數(shù)為0的對(duì)象實(shí)例可以被當(dāng)作垃圾收集優(yōu)點(diǎn):執(zhí)行效率高，程序執(zhí)行受影響較小缺點(diǎn)︰無法檢測(cè)出循環(huán)引用的情況，導(dǎo)致內(nèi)存泄露javapackagecom.in

2022-03-02 08:23:48

引用計(jì)數(shù)java 方法區(qū)

Hadoop Kerberos 集成

官網(wǎng)參考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、創(chuàng)建Hadoop系統(tǒng)用戶為Hadoop開啟Kerberos，需為不同服務(wù)準(zhǔn)備不同的用戶，啟動(dòng)服務(wù)時(shí)需要使用相應(yīng)的用戶。須在所有節(jié)點(diǎn)創(chuàng)建以下用戶和

2022-02-19 13:55:44

hadoop hdfs xml

第12講：Flink 常用的 Source 和 Connector

Flink系列文章1.第01講：Flink的應(yīng)用場(chǎng)景和架構(gòu)模型(https://www.ikeguang.com/?p=1976)2.第02講：Flink入門程序WordCount和SQL實(shí)現(xiàn)(https://www.ikeguang.com/?p=1977)3.第03講：Flink的編程模型與其他框架比較(https://www.ikeguang.com/?p=1978)4.第04講：Flink

2022-01-29 10:24:47

flink redis apache

數(shù)倉(cāng)建?！笜?biāo)體系#yyds干貨盤點(diǎn)#

指標(biāo)體系提起指標(biāo)這個(gè)詞，每個(gè)人似乎都可以說出幾個(gè)指標(biāo)，像經(jīng)常在工作中會(huì)聽到的日活、月活、注冊(cè)率、轉(zhuǎn)化率、交易量等事實(shí)上指標(biāo)就是用來量化事物的一個(gè)工具，幫助我們?nèi)⒁恍┏橄蟮氖录贸鲆粋€(gè)輪廓上的描述。例如我們可以從指標(biāo)上判斷一個(gè)產(chǎn)品的好壞，用戶粘性等等，例如我們通過日活能去判斷出我們整個(gè)產(chǎn)品的用戶量，從而能反應(yīng)出我們這個(gè)產(chǎn)品的一個(gè)健康程度，也就是否處于增長(zhǎng)過程中。一個(gè)好的數(shù)據(jù)指標(biāo)體系可以助力業(yè)務(wù)快速

2021-12-22 17:10:10

數(shù)據(jù)搜索二級(jí)

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、環(huán)境準(zhǔn)備1.環(huán)境準(zhǔn)備：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平臺(tái)二.編譯hudi（這個(gè)編譯是以前的一個(gè)測(cè)試版本，編譯大同小異）1.使用git命令下載hudi0.10的代碼steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flink hive 數(shù)據(jù)

sqoop用法之mysql與hive數(shù)據(jù)導(dǎo)入導(dǎo)出#yyds干貨盤點(diǎn)#

一.Sqoop介紹Sqoop是一個(gè)用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫（例如：MySQL、Oracle、Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。對(duì)于某些NoSQL數(shù)據(jù)庫它也提供了連接器。Sqoop，類似于其他ETL工具，使用元數(shù)據(jù)模型來判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Hadoop時(shí)確保類型安

2021-12-06 22:38:37

hive mysql 數(shù)據(jù)

0012 - YARN三種資源調(diào)度器解析

大數(shù)據(jù)夢(mèng)工廠（0012YARN三種資源調(diào)度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN資源調(diào)度器簡(jiǎn)介資源調(diào)度器（ResourceScheduler）是HadoopYARN中最核心的組件之一，且是ResourceManager中的一個(gè)服務(wù)組件，負(fù)責(zé)整個(gè)Hadoop集群資源的分配和管理，用于解決各應(yīng)用程序之間集群資源搶占的問題。

2021-11-30 23:19:04

Hadoop YARN 大數(shù)據(jù)

#yyds干貨盤點(diǎn)#Hadoop企業(yè)級(jí)生產(chǎn)調(diào)優(yōu)手冊(cè)(二)

上節(jié)：Hadoop企業(yè)級(jí)生產(chǎn)調(diào)優(yōu)手冊(cè)(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存儲(chǔ)優(yōu)化注：演示糾刪碼和異構(gòu)存儲(chǔ)需要一共5臺(tái)虛擬機(jī)。盡量拿另外一套集群。提前準(zhǔn)備5臺(tái)服務(wù)器的集群。5.1糾刪碼5.1.1糾刪碼原理HDFS默認(rèn)情況下，一個(gè)文件有3個(gè)副本，這樣提高了數(shù)據(jù)的可靠性，但也帶來了2倍的冗余開銷。Hadoop3.x引入了糾刪碼，采用計(jì)算

2021-11-27 11:28:03

hadoop hdfs mapreduce

#yyds干貨盤點(diǎn)#Hadoop企業(yè)級(jí)生產(chǎn)調(diào)優(yōu)手冊(cè)(一)

一、HDFS核心參數(shù)1.1NameNode內(nèi)存生產(chǎn)配置1.NameNode內(nèi)存計(jì)算每個(gè)文件塊大概占用150byte，一臺(tái)服務(wù)器128G內(nèi)存為例，能存儲(chǔ)多少文件塊呢？12812810241024/150Byte≈9.1億2.Hadoop2.x系列，配置NameNode內(nèi)存NameNode內(nèi)存默認(rèn)2000m，如果服務(wù)器內(nèi)存4G，NameNode內(nèi)存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoop hdfs 數(shù)據(jù)

HBase面試題整理

1、HBase的特點(diǎn)是什么？1）大：一個(gè)表可以有數(shù)十億行，上百萬列；2）無模式：每行都有一個(gè)可排序的主鍵和任意多的列，列可以根據(jù)需要?jiǎng)討B(tài)的增加，同一張表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存儲(chǔ)和權(quán)限控制，列（族）獨(dú)立檢索；4）稀疏：空（null）列并不占用存儲(chǔ)空間，表可以設(shè)計(jì)的非常稀疏；5）數(shù)據(jù)多版本：每個(gè)單元中的數(shù)據(jù)可以有多個(gè)版本，默認(rèn)情況下版本號(hào)自動(dòng)分配，是單元格插入時(shí)的時(shí)

2021-11-14 14:27:35

數(shù)據(jù)緩存 hive

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄toc一：hive集成openldap1.1CDH6.3.2的主機(jī)節(jié)點(diǎn)安裝openldap的客戶端openldap服務(wù)端已經(jīng)配置完成，不會(huì)看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安裝openldapclient裝包：yumyinstallopenlda

2021-11-11 17:44:50

openladp cdh hive

kafka分區(qū)擴(kuò)容和修改三個(gè)副本數(shù)

Kafka是Apache旗下的一款分布式流媒體平臺(tái)，Kafka是一種高吞吐量、持久性、分布式的發(fā)布訂閱的消息隊(duì)列系統(tǒng)。它最初由LinkedIn(領(lǐng)英)公司發(fā)布，使用Scala語言編寫，與2010年12月份開源，成為Apache的頂級(jí)子項(xiàng)目。它主要用于處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。動(dòng)作指(網(wǎng)頁瀏覽、搜索和其它用戶行動(dòng)所產(chǎn)生的數(shù)據(jù))。?消息系統(tǒng)分類我們知道常見的消息系統(tǒng)有Kafka、Rabbi

2021-10-27 11:28:04

cloudera jar kafka

耗時(shí)一個(gè)月，整理出這份Hadoop吐血寶典

本文目錄：一、HDFS\二、MapReduce\三、Yarn\四、Hadoop3.x新特性\五、Hadoop大廠面試真題解析Hadoop涉及的知識(shí)點(diǎn)如下圖所示，本文將逐一講解：!(https://s4.51cto.com/images/blog/202110/22145555_6172607b946f17173.png?xossprocess=image/watermark,size_14,tex

2021-10-22 14:57:18

hadoop 大數(shù)據(jù)

Dolphinscheduler1.3.8集群部署

1.集群節(jié)點(diǎn)規(guī)劃及說明主機(jī)部署服務(wù)說明172.16.53.179masterserver,alertserver,zookeeper,mysql數(shù)據(jù)庫也在該主機(jī)172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服務(wù)端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

1 2 3 4 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

<sub id="bwrb6"></sub>