Flink on Zeppelin 流計(jì)算處理最佳實(shí)踐
內(nèi)容框架:
大數(shù)據(jù)概覽
Flink 學(xué)習(xí)框架
EMR Studio 上的流計(jì)算最佳實(shí)踐
演示
一、大數(shù)據(jù)概覽
大數(shù)據(jù)處理 ETL (Data → Data)
大數(shù)據(jù)分析 BI (Data → Dashboard)
機(jī)器學(xué)習(xí) AI (Data → Model)
二、Flink 學(xué)習(xí)框架
Flink 要點(diǎn)
Stateful
Time
Flink Architecture
Flink API
Flink Configuration
Flink Log
Stateful:
Why
流計(jì)算的及時(shí)性
流計(jì)算的 unbounded
When
Window
Join
Pattern
How
statebackend
Time
Event time
Processing time
Watermark
Flink Architecture
Flink API
Flink Configuration
Cluster Configuration
Job Configuration
Statebackend
Resource Manager
SQL/Python
參考文檔:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/
Flink Log
三、EMR Studio 上的流計(jì)算最佳實(shí)踐
EMR Studio 特性:
兼容開源組件
EMR Studio 在開源軟件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基礎(chǔ)上優(yōu)化了做了優(yōu)化和增強(qiáng)。
支持連接多個(gè)集群
適配多個(gè)計(jì)算引擎
交互式開發(fā) + 作業(yè)調(diào)度無(wú)縫銜接
適用多種大數(shù)據(jù)應(yīng)用場(chǎng)景
計(jì)算存儲(chǔ)分離
Flink Clients
Flink on Zeppelin (Phase 1) - Interactive Flink Client
Flink on Zeppelin (Phase 2) - Interactive JobManager
Flinkon Zeppelin 主要 Feature
原文鏈接:http://click.aliyun.com/m/1000286010/