推薦一些值得學習的開源項目和框架
今天收到球友的問題,讓推薦一些值得看的開源項目,覺得 netty 這些太復雜了不太好上手。
確實如此,我們?nèi)粘3S玫?Spring、Netty 確實由于發(fā)展了多年,看起來比較頭大。
下面我來推薦一些我看過同時覺得不錯的項目(幾乎都是我參與過的),由易到難,其中也會包含 Java 和 Go 的項目,包含主流的中間件和云原生項目。
Java 項目
xxl-job
難度:???? 推薦指數(shù):??????
xxl-job 是一個很經(jīng)典的調(diào)度框架,目前在 GitHub 上也有 27k star 的關注,因為功能不復雜所以最近也沒有怎么更新了。
大家日常都會使用這類調(diào)度框架,所以理解難度非常低,加上他的實現(xiàn)也比較簡單,比如:
- 使用 MySQL 的鎖來簡單粗暴的解決分布式鎖的問題
- 線程池的使用:因為每個任務的調(diào)度都需要盡可能的互相不影響,所以里面大量使用了線程池,同時對如何獲取異步任務結果也有一些最佳實踐。
- RPC 調(diào)用:里面內(nèi)置了一個 RPC 框架,也是作者編寫的,其中的實現(xiàn)原理也不復雜,建議看看源碼,可以更好的理解我們在工作中用到 rpc 框架。
cim
難度:?????? 推薦指數(shù):??????
它具備 IM 即時通訊的基本功能,同時基于它可以實現(xiàn):
- 即時通訊
- 消息推送
- IOT 消息平臺
通過 cim 你可以學習到分布式系統(tǒng)中:
- 元數(shù)據(jù)是如何存放和同步的。
- RPC 調(diào)用如何實現(xiàn)。
- 長鏈接系統(tǒng)如何實現(xiàn)。
- 復雜的分布式系統(tǒng)如何做集成測試等。
詳細的介紹可以查看項目首頁的 readme,發(fā)現(xiàn)有什么需要優(yōu)化的地方(其實還蠻多 todo 沒有做)都歡迎提交 PR。
PowerJob
難度:?????? 推薦指數(shù):????????
PowerJob 也是一個調(diào)度框架,只是他有后發(fā)優(yōu)勢,結合了市面上其他調(diào)度系統(tǒng)的優(yōu)點同時也新增了一些功能,以下是他功能的官方對比圖:
社區(qū)相對于 xxl-job 也更加活躍,目前剛發(fā)布了 5.1.0 版本,同時社區(qū)也整理許多學習的文章和資料:
它使用了 Akka 來實現(xiàn)遠程通信,對這部分內(nèi)容感興趣的朋友不容錯過,可以看到一些最佳實踐。其中的代碼寫的也很規(guī)范,一些類的設計很好,可擴展性很高,比如常用的執(zhí)行器都是通過一個MapProcessor 擴展而來的。
推薦大家從任務調(diào)度那一塊開始看:tech.powerjob.worker.actors.TaskTrackerActor#onReceiveServerScheduleJobReq
Pulsar
難度:???????? 推薦指數(shù):????????
Pulsar 是目前主流的云原生消息隊列中間件,現(xiàn)在使用的公司也非常多,通過他你可以學習到:
- API 設計:Pulsar 的 client 是直接面向開發(fā)者的,在易用性的前提下每次迭代升級還要考慮到兼容性。
- 異步調(diào)用:Pulsar 里幾乎所有的請求都是異步的,所以大量使用了異步?回調(diào)(雖然也有一些坑),可以學到一些高性能代碼的編寫方式。
- Netty 的最佳用法:消息收發(fā)的底層網(wǎng)絡框架也是 Netty 支撐的,Pulsar 對它做了封裝。
- 基于 protocol 的多語言客戶端。
- 因為 Pulsar 的通信編解碼使用的是 protocol,本身是可以基于它生成各種語言的 API,所以在此基礎上編寫其他語言的客戶端就非常方便。
不過由于 Pulsar 本身的復雜性,上手起來門檻還是不低,推薦先從客戶端的代碼(Java 和 Go 的都可以)上手。
StarRocks
難度:?????????? 推薦指數(shù):????????
StarRocks 也是我最近才接觸到的 OLAP 數(shù)據(jù)庫項目,以前對這個領域的積累幾乎為零,所以也是從頭學習。
好在這段時間因為有需求也給它提交了幾個 PR,逐漸熟悉起來了。
我接觸下來這些開源項目,發(fā)現(xiàn) StarRocks 這類數(shù)據(jù)庫項目是最有前(錢)景的,畢竟和數(shù)據(jù)打交道的產(chǎn)品公司的付費意愿會更高一些。
不過該項目確實對新手不太友好,最好是已經(jīng)接觸過大數(shù)據(jù)領域再學習會更合適一些,但也不要怕,我就是一個純小白,沒基礎就跟著代碼 debug,反正都是 Java 寫的總能看懂。
OpenTelemetry
難度:???????? 推薦指數(shù):??????????
OpenTelemetry 現(xiàn)在作為云原生可觀測性的事實標準,現(xiàn)在已經(jīng)逐步成為各大公司必備的技術棧了。
通過一個 javaagent 就可以自動采集應用的 trace、metrics、logs 等數(shù)據(jù),這里先推薦 opentelemetry-java-instrumentation,因為我們?nèi)粘J褂米疃嗟木褪腔谶@個項目打包出來的 javaagent,通過它可以學習到:
- 如何編寫任意函數(shù)的攔截器
- trace 信息是如何在線程和進程之間傳遞的
- 一些常用框架是如何運行的
- 比如你需要了解 gRPC 的原理,就可以查看 OpenTelemetry 是如何對他埋點的,從而知曉他的核心原理。
- 優(yōu)雅的 API 設計
同時 OpenTelemetry 算是我看過最優(yōu)雅的代碼之一了,非常建議大家都看看。
Go(云原生項目)
cprobe
難度:?????? 推薦指數(shù):??????
cprobe 屬于可觀測性項目,他的目的是可以把各種 exporter 都整合在一起,比如 kafka_exporter, nginx_exporter, mysql_exporter 等。
同時還做了上層抽象,可以統(tǒng)一管理各種監(jiān)控對象的配置,這樣就可以部署一個進程監(jiān)控所有的應用了。
通過這個項目可以學到:
- 監(jiān)控體系的基礎知識,比如 Prometheus 和 metrics 等
- Go 語言的基本用法
VictoriaLogs
難度:???????? 推薦指數(shù):????????
這是一個屬于 VictoriaMetrics 的一個子項目,通過這個名字應該會知道他主要用于處理日志,可以把他理解為 ElasticSearch 的簡易版,雖然功能簡單了但資源消耗也會比 ES 低很多,具體可以看下面的壓測圖:
通過這個項目可以學到:
- 數(shù)據(jù)在磁盤中是如何存儲和查詢的
- Go 語言中關于 goroutine 和 channel 的一些最佳實踐 目前的版本還比較早,所以代碼都不太復雜,建議大家可以從查詢的入口開始看起。
總結
以上都是我正經(jīng)接觸過的項目,如果是想長期耕耘同時搞錢的話,推薦 StarRocks,目前也很火。
如果只是想提升在 Java 領域的水平,那推薦 Pulsar 和 OpenTelemetry,都有很多代碼最佳實踐。
如果想要入坑云原生和 Go 項目,那 cprobe 是比較合適的。
當然不管是哪個項目最主要的還是堅持,很多項目如果只是偶爾看一下很容易忘記,起碼要做到真正運行起來然后 debug 過代碼。
參考鏈接:
- https://www.yuque.com/powerjob/guidence/wu2e93。
- https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/lib/logstorage/storage_search.go。
- https://crossoverjie.top/tags/OpenTelemetry/。
- https://crossoverjie.top/2024/10/09/ob/StarRocks-dev-env-build/。