自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

大數據統(tǒng)一的批處理和流處理標準 Apache Beam

大數據
Apache Beam 的主要目標是統(tǒng)一批處理和流處理的編程范式,為無限,亂序,web-scale的數據集處理提供簡單靈活,功能豐富以及表達能力十分強大的SDK。

Apache Beam 是 Apache 軟件基金會越來越多的數據流項目中***增添的成員,是 Google 在2016年2月份貢獻給 Apache 基金會的孵化項目。

這個項目的名稱表明了設計:結合了批處理(Batch)模式和數據流(Stream)處理模式。它基于一種統(tǒng)一模式,用于定義和執(zhí)行數據并行處理管道(pipeline),這些管理隨帶一套針對特定語言的SDK用于構建管道,以及針對特定運行時環(huán)境的Runner用于執(zhí)行管道。

Apache Beam 的主要目標是統(tǒng)一批處理和流處理的編程范式,為***,亂序,web-scale的數據集處理提供簡單靈活,功能豐富以及表達能力十分強大的SDK。Apache Beam項目重點在于數據處理的編程范式和接口定義,并不涉及具體執(zhí)行引擎的實現(xiàn),Apache Beam希望基于Beam開發(fā)的數據處理程序可以執(zhí)行在任意的分布式計算引擎上。

 

責任編輯:武曉燕 來源: 網絡大數據
相關推薦

2016-11-14 18:17:42

Apache Beam大數據

2024-12-27 14:45:59

2024-08-14 08:11:41

2019-07-05 12:16:26

大數據IT互聯(lián)網

2017-08-09 13:30:21

大數據Apache Kafk實時處理

2024-05-06 08:41:05

Spring應用大數據

2023-08-22 08:01:42

SpringBatch事務管理

2017-04-11 09:17:07

Apache Beam剖析Flink

2016-11-15 09:34:14

Apache Kyli流處理引擎

2023-11-28 14:32:04

2017-01-12 14:50:15

大數據Spring Batc框架

2010-07-16 10:42:14

telnet批處理

2018-02-27 14:22:38

ETLKakfa數據集

2019-06-18 13:51:08

大數據流處理新興市場

2010-11-19 15:25:48

關閉Oracle服務

2022-03-01 18:23:17

架構大數據系統(tǒng)

2019-02-21 15:34:08

數據分析師大數據可視化

2017-02-28 10:54:40

Pandas

2017-01-11 08:37:07

Apache SparStreamingDataFrames

2023-11-29 13:56:00

數據技巧
點贊
收藏

51CTO技術棧公眾號