全球最大的開源軟件基金會 Apache 軟件基金會(以下簡稱 Apache)于北京時間 2021 年 4 月 9 日在官方渠道宣布 Apache DolphinScheduler 畢業(yè)成為 Apache 頂級項目。這是首個由國人主導并貢獻到 Apache 的大數(shù)據(jù)工作流調度領域的頂級項目。

DolphinScheduler™ 已經是聯(lián)通、IDG、IBM、京東物流、聯(lián)想、新東方、諾基亞、360、順豐和騰訊等 400+ 公司在使用的分布式可視化大數(shù)據(jù)工作流調度系統(tǒng)。

DolphinScheduler 于 2019 年 8 月 29 日由易觀捐贈給 Apache 并啟動孵化。之后在導師的指導下，由孵化器管理委員會成員進行輔導和孵化，在 2021 年 2 月 19 日在 Apache 孵化器以 8 票支持一次性通過畢業(yè)提案投票。3 月 18 日，Apache 董事會通過 DolphinScheduler 畢業(yè)決議，結束了為期 18 個月的孵化，正式確定 DolphinScheduler 成為 Apache 頂級項目。

2021 年 4 月 9 日由 Apache 市場副總裁 Sally Khudairi 在 Apache 軟件基金會各渠道官號上發(fā)布官方通告。

關于 Apache DolphinScheduler

Apache DolphinScheduler 是一個分布式易擴展的帶有強大可視化 DAG 界面的新一代工作流調度平臺，自 17 年在立項之初就確定了使命 - “解決大數(shù)據(jù)任務之間錯綜復雜的依賴關系，使整個數(shù)據(jù)處理過程直觀可見”，從此配置工作流程再也不需要寫代碼啦!

DolphinScheduler 架構

作為強大的帶有有向無環(huán)圖(DAG)可視化界面的分布式大數(shù)據(jù)工作流調度平臺，Dolphin Scheduler 解決了復雜的任務依賴關系和簡化了數(shù)據(jù)任務編排的工作。它以開箱即用的、易于擴展的方式將眾多大數(shù)據(jù)生態(tài)組件連接到可處理 100,000 級別的數(shù)據(jù)任務調度系統(tǒng)中來。

• Apache DolphinScheduler是全球頂尖架構師與社區(qū)認可的數(shù)據(jù)調度平臺，把復雜性留給自己，易用性留給用戶，整體有如下特征：
• 云原生設計：支持多云、多數(shù)據(jù)中心的跨端調度，同時也支持K8s Docker部署與擴展，性能上可以線性增長，在用戶測試情況下最高已經支持10萬的并行任務控制;
• 高可用：去中心化的多Master/Worker的架構，可以自動任務平衡，自動高可用，確保任務在任何節(jié)點死機的情況下可以具有完整性完成整體調度;
• 用戶友好的界面：可視化的DAG圖，包括子任務，條件調度、腳本管理、多租戶等方便功能，并具有讓運行任務實例與任務模板分開，讓你的平臺維護人員和數(shù)據(jù)科學家都有一個方便易用的開發(fā)和管理平臺;
• 支持多種數(shù)據(jù)場景：支持流數(shù)據(jù)處理，批數(shù)據(jù)處理，暫停、回復、多租戶等，對于spark，hive，MR，flink，clickhouse等等平臺都可以方便直接調用。

DolphinScheduler 在短短 1 年半孵化時間里就能收獲如此多用戶和其一直倡導的 Slogan 是分不開的：

最終Apache Dolphin Scheduler獲得大量用戶，例如中國聯(lián)通、IBM中國，京東物流，聯(lián)想，新東方，順豐快遞等等，400多個用戶都在線上使用：

是的，調用用的對，半夜真能安心睡!

Apache DolphinScheduler開始了新的起點!

DolphinScheduler 在設計之初就秉承著大道至簡、產品易用易維護的核心理念，以高可用、易擴展作為架構底座，經過諸多打磨，獲得了用戶群體的肯定，然后才在 2019年 3 月正式對外開源，8 月 29 日成功進入到 Apache 孵化器，成為國內首個 Apache 大數(shù)據(jù)調度項目，多次登陸 github 月度趨勢榜并引起 Hacker News 上的熱烈討論。在 2020 年, DolphinScheduler 也獲得了諸多贊譽，InfoQ 中國技術力量年度榜單評其為 “十大開源新銳項目” 和 “最具人氣開源新銳項目”，榮獲開源中國年度 “最佳技術團隊” 等稱號。DolphinScheduler社區(qū)已經有龐大的 4000+ 人的用戶群，據(jù)不完全統(tǒng)計，截止 2020 年 10 月，已經有 400+ 家公司將 DolphinScheduler 用在生產環(huán)境，DolphinScheduler 在各個領域上持續(xù)發(fā)光發(fā)熱!

DolphinScheduler 發(fā)展歷程

在 Apache 孵化過程中，學習并實踐 Apache Way, 真正體會到了 Apache 文化的精髓 “Comuunity Over Code”，社區(qū)基于代碼，卻又大于代碼，需要在代碼之上去思考如何協(xié)作、如何溝通，如何讓 Community 健康持續(xù)的向前發(fā)展。正是這不斷的思考，使得 DolphinScheduler 在結束孵化投票上沒有遇到任何 challenge，可以說是出乎意料的順利。

畢業(yè)成為頂級項目見證了過去一年半以來來自 Apache DolphinScheduler 社區(qū)眾多貢獻者和用戶的日日夜夜的努力，自從進入 Apache 孵化器以來，DolphinScheduler 社區(qū)共加入了 14 位 Commiter、2 位 PMC，也在社區(qū)的共同努力下發(fā)布了 8 個 Apache Releases，感謝給予辛勤支持和無數(shù)幫助的各位導師、貢獻者、用戶和及 Apache 孵化器的支持。

成為頂級項目，只是 Apache DolphinScheduler 新的起點，還有更多的挑戰(zhàn)等待著各位社區(qū)的小伙伴和用戶多多的支持，我們希望未來可以讓中國優(yōu)秀的開源項目走向世界，讓世界都了解國內也有頂尖的開源項目，最后也感謝各位大咖對于 Apache DolphinScheduler 項目的幫助和祝福。我們也在此拜謝各位，也希望各位一如既往的支持 Apache DolphinScheduler 項目走向全球!

新一代大數(shù)據(jù)調度 - DolphinScheduler 的相關資源

DolphinScheduler 官網(wǎng): https://dolphinscheduler.apache.org

DolphinScheduler github：https://github.com/apache/incubator-dolphinscheduler

DolphinScheduler Twitter: https://twitter.com/dolphinschedule

DolphinScheduler Slack 討論頻道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw

DolphinScheduler 微信公眾號: 海豚調度

微信用戶群添加微信號: easyworkflow