7k Star,一款開源的 Kafka 管理平臺,功能齊全、頁面美觀!
- 1 特征
- 2 入門
- 快速啟動(演示運行)
- 持久安裝
- 設(shè)置 git
- 3 配置向?qū)?/span>
- 動態(tài)應(yīng)用程序配置
- 4 數(shù)據(jù)脫敏
- 主題數(shù)據(jù)脫敏
- 5 自定義可插拔 serde 注冊
- 傳送門
Apache Kafka UI 是一個免費的開源 Web UI,用于監(jiān)控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情況,支持多集群管理、性能監(jiān)控、訪問控制等功能。
1 特征
- 多集群管理: 在一個地方監(jiān)控和管理所有集群
- 使用指標儀表板進行性能監(jiān)控: 使用輕量級儀表板跟蹤關(guān)鍵 Kafka 指標
- 查看 Kafka Brokers: 查看主題和分區(qū)分配、控制器狀態(tài)
- 查看 Kafka 主題: 查看分區(qū)計數(shù)、復(fù)制狀態(tài)和自定義配置
- 查看消費者組: 查看每個分區(qū)的停放偏移量、組合滯后和每個分區(qū)滯后
- 瀏覽消息: 使用 JSON、純文本和 Avro 編碼瀏覽消息
- 動態(tài)主題配置: 使用動態(tài)配置創(chuàng)建和配置新主題
- 自定義序列化/反序列化插件: 對數(shù)據(jù)使用現(xiàn)成的 Serde
- 基于角色的訪問控制: 精確管理訪問 UI 的權(quán)限
- 數(shù)據(jù)脫敏: 混淆主題消息中的敏感數(shù)據(jù)
2 入門
要運行 Apache Kafka 的 UI,可以使用預(yù)構(gòu)建的 Docker 映像或自行構(gòu)建它(或 jar 文件)。
快速啟動(演示運行)
docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui
然后訪問 http://localhost: 8080
持久安裝
services:
kafka-ui:
container_name: kafka-ui
image: provectuslabs/kafka-ui:latest
ports:
- 8080:8080
environment:
DYNAMIC_CONFIG_ENABLED: true
volumes:
- ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml
設(shè)置 git
設(shè)置 git 憑據(jù):
git config --global user.name "Mona Lisa"
git config --global user.email "monalisa@louvre.net"
3 配置向?qū)?/h3>動態(tài)應(yīng)用程序配置
默認情況下,kafka-ui 不允許在運行時更改其配置。當應(yīng)用程序啟動時,它會從系統(tǒng)環(huán)境、配置文件(application.yaml)和 JVM 參數(shù)(由-D)讀取配置。一旦配置被讀取,它就被視為不可變,即使配置源(例如文件)發(fā)生更改也不會刷新。
4 數(shù)據(jù)脫敏
主題數(shù)據(jù)脫敏
可以配置 kafka-ui 來屏蔽消息頁面中顯示的敏感數(shù)據(jù)。
消除:對于 json 對象 - 刪除目標字段,否則 - 返回“null”字符串。
- type: REMOVE
fields: [ "id", "name" ]
...
應(yīng)用示例
{ "id": 1234, "name": { "first": "James" }, "age": 30 }
->
{ "age": 30 }
5 自定義可插拔 serde 注冊
可以實現(xiàn)自己的 serde 并將其注冊到 kafka-ui 應(yīng)用程序中。
- 添加 kafka-ui-serde-api 依賴項(應(yīng)該可以通過 mavencentral 下載)
- 實現(xiàn) com.provectus.kafka.ui.serde.api.Serde 接口
- 將 serde 打包到 uber jar 中,或者提供包含無依賴項 jar 及其依賴項 jar 的目錄
傳送門
開源地址:https://github.com/provectus/kafka-ui