1.XXL-JOB

XXL-JOB 是一個輕量級分散式任務排程框架，支援透過 Web 頁面對任務進行 CRUD 操作，支援動態修改任務狀態、暫停/恢復任務，以及終止執行中任務，支援線上配置排程任務入參和線上檢視排程結果。

主要特性

簡單：支援透過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；

排程中心HA（中心式）：排程採用中心式設計，“排程中心”基於叢集Quartz實現並支援叢集部署，可保證排程中心HA；

執行器HA（分散式）：任務分散式執行，任務"執行器"支援叢集部署，可保證任務執行HA；

彈性擴容縮容：一旦有新執行器機器上線或者下線，下次排程時將會重新分配任務；

分片廣播任務：執行器叢集部署時，任務路由策略選擇"分片廣播"情況下，一次任務排程將會廣播觸發叢集中所有執行器執行一次任務，可根據分片引數開發分片任務；

動態分片：分片廣播任務以執行器為維度進行分片，支援動態擴容執行器叢集從而動態增加分片數量，協同進行業務處理；在進行大資料量業務操作時可顯著提升任務處理能力和速度。

動態：支援動態修改任務狀態、暫停/恢復任務，以及終止執行中任務，即時生效；

註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時，也支援手動錄入執行器地址；

一致性：“排程中心”透過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行；

其他特性

路由策略：執行器叢集部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；

故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器叢集中某一臺機器故障，將會自動Failover切換到一臺正常的執行器傳送排程請求。

阻塞處理策略：排程過於密集執行器來不及處理時的處理策略，策略包括：單機序列（預設）、丟棄後續排程、覆蓋之前排程；

任務超時控制：支援自定義任務超時時間，任務執行超時將會主動中斷任務；

任務失敗重試：支援自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支援分片粒度的失敗重試；

任務失敗告警；預設提供郵件方式失敗告警，同時預留擴充套件介面，可方面的擴充套件簡訊、釘釘等告警方式；

事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。

任務進度監控：支援實時監控任務進度；

指令碼任務：支援以GLUE模式開發和執行指令碼任務，包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼;

排程執行緒池：排程系統多執行緒觸發排程執行，確保排程精確執行，不被堵塞；

資料加密：排程中心和執行器之間的通訊進行資料加密，提升排程資訊保安性；

郵件報警：任務失敗時支援郵件報警，支援配置多郵件地址群發報警郵件；

執行報表：支援實時檢視執行資料，如任務數量、排程次數、執行器數量等；以及排程報表，如排程日期分佈圖，排程成功分佈圖等；

全非同步：任務排程流程全非同步化設計實現，如非同步排程、非同步執行、非同步回撥等，有效對密集排程進行流量削峰，理論上支援任意時長任務的執行；

功能齊全，文件也很齊全，有使用教程，但是上手門檻稍微高了；

2.Elastic-Job

Elastic-Job 是一個分散式排程解決方案，由兩個相互獨立的子專案 Elastic-Job-Lite 和 Elastic-Job-Cloud 組成。

定位為輕量級無中心化解決方案，使用 jar 包的形式提供分散式任務的協調服務。

支援分散式排程協調、彈性擴容縮容、失效轉移、錯過執行作業重觸發、並行排程、自診斷和修復等等功能特性。

分散式排程解決方案，由兩個相互獨立的子專案Elastic-Job-Lite和Elastic-Job-Cloud組成。

Elastic-Job-Lite定位為輕量級無中心化解決方案，使用jar包的形式提供分散式任務的協調服務。選擇該專案可以滿足大多數it企業的需求。

Elastic-Job-Cloud使用Mesos + Docker的解決方案，額外提供資源治理、應用分發以及程序隔離等服務。

輕量級無中心化：Elastic-Job-Lite並無作業排程中心節點，而是基於部署作業框架的程式在到達相應時間點時各自觸發排程。

靈活的增刪改查作業，集中式管理排程作業

支援高可用：一旦執行作業的伺服器崩潰，等待執行的伺服器將會在下次作業啟動時替補執行。開啟失效轉移功能效果更好，可以保證在本次作業執行時崩潰，備機立即啟動替補執行。

支援分片：作業分片一致性，保證同一分片在分散式環境中僅一個執行例項

任務監控：透過監聽Elastic-Job-Lite的zookeeper註冊中心的幾個關鍵節點即可完成作業執行狀態監控功能

一致性：使用zookeeper作為註冊中心，為了保證作業的在分散式場景下的一致性，一旦作業與註冊中心無法通訊，執行中的作業會立刻停止執行，但作業的程序不會退出，這樣做的目的是為了防止作業重分片時，將與註冊中心失去聯絡的節點執行的分片分配給另外節點，導致同一分片在兩個節點中同時執行。

同時支援動態擴容，將任務拆分為n個任務項後，各個伺服器分別執行各自分配到的任務項。一旦有新的伺服器加入叢集，或現有伺服器下線，elastic-job將在保留本次任務執行不變的情況下，下次任務開始前觸發任務重分片

3.opencron

opencron是一個功能完善且通用的開源定時任務排程系統，擁有先進可靠的自動化任務管理排程功能，提供可操作的 web 圖形化管理滿足多種場景下各種複雜的定時任務排程，同時集成了 linux 實時監控、webssh 等功能特性

4.quartz

支援叢集和分散式，但是沒有友好的管理介面，功能單一，對於管理呼叫的任務比較困難。

quartz使用資料庫鎖。在quartz的叢集解決方案裡有張表scheduler_locks，quartz採用了悲觀鎖的方式對triggers表進行行加鎖，以保證任務同步的正確性。一旦某一個節點上面的執行緒獲取了該鎖，那麼這個Job就會在這臺機器上被執行，同時這個鎖就會被這臺機器佔用。同時另外一臺機器也會想要觸發這個任務，但是鎖已經被佔用了，就只能等待，直到這個鎖被釋放。

quartz的分散式排程策略是以資料庫為邊界資源的一種非同步策略。各個排程器都遵守一個基於資料庫鎖的操作規則從而保證了操作的唯一性。同時多個節點的非同步執行保證了服務的可靠。但這種策略有自己的侷限性：叢集特性對於高CPU使用率的任務效果很好，但是對於大量的短任務，各個節點都會搶佔資料庫鎖，這樣就出現大量的執行緒等待資源。這種情況隨著節點的增加會越來越嚴重。

缺點：quartz的分散式只是解決了高可用的問題，並沒有解決任務分片的問題，還是會有單機處理的極限。

5.Saturn

Saturn

基於噹噹Elastic Job程式碼基礎上自主研發的任務排程系統，是唯品會開源的分散式作業排程平臺，取代傳統的Linux Cron/Spring Batch Job的方式，做到統一配置，統一監控，任務高可用以及分片併發處理。主要是去中心化，高可用，可分片，動態擴容，有認證和授權功能。

主要特性

支援多種語言作業，語言無關(Java/Go/C++/PHP/Python/Ruby/shell)

支援秒級排程

支援作業分片並行執行

支援依賴作業序列執行

支援作業高可用和智慧負載均衡

支援異常檢測和自動失敗轉移

支援異地容災

支援多個叢集部署

支援跨機房區域部署

支援彈性動態擴容

支援優先順序和權重設定

支援docker容器，容器化友好

支援cron時間表達式

支援多個時間段暫停執行控制

支援超時告警和超時強殺控制

支援灰度釋出

支援異常、超時和無法高可用作業監控告警和簡易的故障排除

支援失敗率最高、最活躍和負荷最重的各域各節點TOP10的作業統計

優點：原始碼清晰，學習入手容易。應用部署簡單，提供運維控制檯，集中管理作業，運維控制檯功能強大，提供作業統計報表 ，告警，增刪改查作業，作業統一配置。

最後一個是國內團隊封裝的

首先，這種框架現在市面上是有的。強烈建議，不要重複造輪子。

先介紹幾種比較主流的。

Elastic-Job,是噹噹網開源的分散式排程解決方案，支援任務分片功能，可以充分利用資源。Elastic-Job有兩個獨立的子專案Elastic-Job-Lite和Elastic-Job-Cloud組成。具體實現可以參考官方教程。其整體架構圖如下。

Elastic-Job的特點：

1、分散式排程 2、作業高可用 3、任務分片執行。

另外，還有其他的一些框架，可以對比使用。比如TBSchedule是阿里巴巴開源的分散式排程框架，完全由java實現，目前被應用於淘寶，阿里巴巴，支付寶，京東，汽車之家等。大眾點評開源的xxl-job，也是應用比較廣泛的分散式排程任務。

目前我使用過的有 Elastic-Job和xxl-job。兩者功能都很強大，後臺管理也比較完善。很容易上手。都可以滿足日常的工作需要。區別就是 Elastic-Job依賴zk，但是xxl-job不依賴zk，只依賴資料庫。

目前市面上應該還有一些其他的框架，但是以上是比較主流的，可以根據自己的需要來選擇。切記不要重複造輪子，造輪子需要大量的時間去驗證。會讓你在坑裡爬不出來。