優(yōu)化一個(gè)分布式系統(tǒng)的吞吐能力，除了應(yīng)用本身代碼外，很大程度上是在優(yōu)化它所依賴的中間件集群處理能力。如：kafka/redis/rabbitmq/postgresql/分布式存儲(chǔ)(CephFS,JuiceFS,C urve,Longhorn)等集群的處理能力。

分布式存儲(chǔ)集群(Longhorn)

這里主要用于 Citus 集群的協(xié)調(diào)器(coordinator)和工作器(worker) 節(jié)點(diǎn)的數(shù)據(jù)持久化。

具體文檔，請(qǐng)參閱：https://longhorn.io/

分布式 PostgreSQL 集群(Citus)

這里主要用于對(duì) Sentry 事件源數(shù)據(jù)大表 nodestore_node 的分片。

具體文檔，請(qǐng)參閱：

https://docs.citusdata.com/en/v11.1/

讀寫(xiě)分離和高可用(PgPool+Repmgr)

這里主要用于對(duì) Citus 節(jié)點(diǎn)(協(xié)調(diào)器/工作器)進(jìn)行讀寫(xiě)分離和主備高可用。

具體文檔，請(qǐng)參閱：

https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html

https://repmgr.org/

管理集群節(jié)點(diǎn)(PgAdmin)

具體文檔，請(qǐng)參閱：

https://www.pgadmin.org/

nodestore_node 大表分片

選擇分布式 key，并將表轉(zhuǎn)換分布式表，這里將表劃分為 64 個(gè)分片，數(shù)據(jù)平均分配到 6 臺(tái) worker 節(jié)點(diǎn)：

# 創(chuàng)建分布式表
SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);
# 平衡分片
SELECT rebalance_table_shards();
# 查詢分片
SELECT * FROM citus_shards;

總結(jié)

中間件集群基礎(chǔ)設(shè)施建設(shè)，本身涉及細(xì)節(jié)較多，可以說(shuō)是另一個(gè)領(lǐng)域。

本文提供了一種筆者的實(shí)踐思路，拋磚引玉。