一、架構(gòu)概覽

在我的職業(yè)生涯里，接觸過如下 TimerTask 、Quartz 、SpringTask、 時間輪 HashWheelTimer 、Elastic-Job 、XXL-JOB、PowerJob、AirFlow 等任務調(diào)度系統(tǒng)，也曾在一家汽車租賃公司自研過基于 XXL-JOB 改造的任務調(diào)度系統(tǒng)。

不少同學對我原來的自研經(jīng)歷很感興趣，于是我編寫了一個教學型的任務調(diào)度系統(tǒng)（支持 10萬 + 調(diào)度任務），希望能幫助中高級工程師快速提升架構(gòu)思維。

經(jīng)過多輪思考，最終架構(gòu)圖如下 :

圖片

任務調(diào)度系統(tǒng)分為三個核心組件：

1、網(wǎng)關(guān)層負責應用的接入，任務的推送。

2、Admin 層負責任務的管理、任務的分片、UI 界面等。

3、Worker 層負責任務的調(diào)度，并將任務觸發(fā)到網(wǎng)關(guān)。

之所以這么設計，必須保證所有的組件是可水平擴展的 。

技術(shù)棧如下表：

項目倉庫截圖：

圖片

二、部署流程

勇哥將服務部署到 1 臺阿里云服務器上，數(shù)據(jù)庫部署在騰訊云。

圖片

1 數(shù)據(jù)庫 MySQL 和 Zookeeper

• 數(shù)據(jù)庫

創(chuàng)建數(shù)據(jù)庫 platform_schedule ，執(zhí)行 doc 目錄下的 SQL 腳本：

圖片

執(zhí)行完成后，如下圖：

圖片

• Zookeeper

下載 zookeeper-3.6.0 版本，解壓后復制一份 zoo_sample.cfg ，重命名為 zoo.cfg ，保持默認配置即可。

圖片

2 部署 Admin、GateWay、Worker

• 打包

在 Admin 模塊、GateWay 模塊、Worker 模塊執(zhí)行三個步驟：修改數(shù)據(jù)庫配置、打包、拷貝部署包到服務器。

圖片

• 啟動 Admin 服務

nohup java -Xms300m -Xmx350m -jar schedule-admin.jar  &

• 啟動 GateWay 服務

nohup java -Xms200m -Xmx400m -jar schedule-gateway.jar  &

• 啟動 Worker 服務

nohup java -Xms200m -Xmx300m -jar schedule-worker.jar  &

3.線上體驗

1）登錄

圖片

2）集群管理

圖片

因為 GateWay 、Woker 都需要向 Admin 注冊實例信息，我們可以將 Admin 當做簡單的注冊中心，所以需要配置如下信息：

• Admin 注冊服務地址 ，格式是：ip1:10001;ip2:10001。
• zk 集群地址 ，用于 Admin 集群，實現(xiàn)主從模式 。

3.添加應用

圖片

我們生產(chǎn)環(huán)境創(chuàng)建了1個應用，應用名是： mytest ， appKey 為 1400001，客戶端訪問任務調(diào)度系統(tǒng)需要配置 appKey 和 appSecret 。

4.添加任務

圖片

我們定義了一個任務 ，名稱是：測試任務，每 15 秒執(zhí)行一次，jobHandler 定義為 myJobHandler 。

5.測試任務

從 gitcode 下載源碼后 ，查看 Demo 模塊 ，模塊需要添加客戶端依賴和 編寫任務實現(xiàn)。

1）客戶端依賴

<!--  依賴 客戶端 start -->
 <dependency>
      <groupId>cn.javayong</groupId>
       <artifactId>schedule-client</artifactId>
       <version>${parent.version}</version>
 </dependency>
   <!--  依賴 客戶端 end -->

2）配置網(wǎng)關(guān)地址以及秘鑰

圖片

3）編寫任務實現(xiàn)

@Service
publicclass DemoJob {

    privatefinalstatic Logger logger = LoggerFactory.getLogger(DemoJob.class);

    // 1、添加任務調(diào)度的自定義注解 RSAnnotation , 值是 job 的 bean值
    // 2、ScheduleParam 調(diào)度參數(shù)
    // 3、ScheduleResult 調(diào)度結(jié)果 
    @RSAnnotation(value = "myJobHandler")
    public ScheduleResult doTestJob(ScheduleParam scheduleParam) {
        logger.info("myJobHandler:" + JSON.toJSONString(scheduleParam));
        try {
            Thread.sleep(10000);
        } catch (InterruptedException e) {
        }
        returnnew ScheduleResult(ScheduleResult.SUCCESS_CODE, "正常響應");
    }
    
}

4）啟動任務演示項目

圖片

展示了一個簡單的任務調(diào)度類 DemoJob，它包含一個可以被調(diào)度執(zhí)行的方法 doTestJob ，該方法的注解是： myJobHandler  , 與我們在 Admin 控制臺創(chuàng)建的測試任務保持一致。

啟動 DemoApplication ，本地執(zhí)行結(jié)果：

圖片

如圖，每隔 15 秒，我們的控制臺會打印執(zhí)行日志。

在 Admin 調(diào)度日志頁面，查看日志：

圖片

我們也發(fā)現(xiàn)啟動應用后，可以查看在線應用：

圖片

對于客戶端來講，任務執(zhí)行是網(wǎng)關(guān)推送過來的，所以我們在家運行代碼也可以執(zhí)行。網(wǎng)關(guān)會保存客戶端的出網(wǎng) IP ，在線應用列表可以展示所有在線客戶端。