錯(cuò)誤跟蹤系統(tǒng)Sentry是何方神圣？
本文轉(zhuǎn)載自微信公眾號(hào)「運(yùn)維開發(fā)故事」，作者喬克 。轉(zhuǎn)載本文請(qǐng)聯(lián)系運(yùn)維開發(fā)故事公眾號(hào)。
大家好，我是喬克，一名一線運(yùn)維實(shí)踐者。
今天和大家分享一下什么是錯(cuò)誤跟蹤系統(tǒng)，以及如何使用。
在應(yīng)用的整個(gè)生命周期里，避無(wú)可避的就是“錯(cuò)誤”，很多時(shí)候都是借助日志平臺(tái)來(lái)捕獲、查看日志，以此來(lái)找到錯(cuò)誤的原因，但是很多時(shí)候應(yīng)用的日志有很多誤導(dǎo)性，也不能夠很直觀的指出問(wèn)題的源點(diǎn)，并且也缺乏及時(shí)分析和告警能力(當(dāng)然現(xiàn)在很多商用的日志系統(tǒng)都有這個(gè)功能了，但是需要Money)。
有沒(méi)有比較好用的開源軟件呢?
Sentry就是這樣一款優(yōu)秀的應(yīng)用錯(cuò)誤跟蹤系統(tǒng)，并且支持大多數(shù)的語(yǔ)言，如下。
錯(cuò)誤跟蹤系統(tǒng)是什么?
從字面上就可以很好理解，錯(cuò)誤跟蹤系統(tǒng)就是跟蹤系統(tǒng)錯(cuò)誤、異常的一個(gè)軟件，旨在幫助開發(fā)、運(yùn)維等技術(shù)人員跟蹤應(yīng)用的一些錯(cuò)誤信息。
通過(guò)對(duì)應(yīng)用的錯(cuò)誤進(jìn)行實(shí)時(shí)追蹤并統(tǒng)一跟進(jìn)，提高對(duì)錯(cuò)誤的治理能力。讓業(yè)務(wù)場(chǎng)景下自己發(fā)現(xiàn)Bug的速度快于用戶報(bào)告Bug的速度。
Sentry是什么
Sentry是一個(gè)跨平臺(tái)的應(yīng)用錯(cuò)誤跟蹤系統(tǒng)，專注于錯(cuò)誤報(bào)告。
Sentry的原理是什么呢?
首先，應(yīng)用要集成Sentry的SDK，然后在應(yīng)用發(fā)生錯(cuò)誤時(shí)將錯(cuò)誤信息發(fā)送給Sentry服務(wù)端。Sentry的服務(wù)端分為web、cron、worker這幾個(gè)部分，應(yīng)用(客戶端)發(fā)生錯(cuò)誤后將錯(cuò)誤信息上報(bào)給web，web處理后放入消息隊(duì)列或Redis內(nèi)存隊(duì)列，worker從隊(duì)列中消費(fèi)數(shù)據(jù)進(jìn)行處理 。
其主要優(yōu)點(diǎn)如下：
- 提供精美的WEB UI界面
- 支持幾乎所有的主流開發(fā)語(yǔ)言的SDK，接入簡(jiǎn)單
- 提供完整的錯(cuò)誤詳情
- 支持統(tǒng)一的錯(cuò)誤聚合分析
- 支持儀表盤、監(jiān)控、告警等功能
- 支持團(tuán)隊(duì)管理、成員管理
- 支持日志審計(jì)等
當(dāng)然也有一些缺點(diǎn)，針對(duì)維護(hù)部署其需要的中間件非常多，有kafka、rabbitMQ、redis、pgsql等，這一套部署下來(lái)的成本還是比較高。不過(guò)瑕不掩瑜，相比于它給我們帶來(lái)的好處，這些問(wèn)題都可以克服。
image.png
部署Sentry
Sentry提供服務(wù)的方式有兩種：
- SAAS平臺(tái)，有不同的付費(fèi)方式
- 私有化部署
這里主要闡述如何在Kubernetes中進(jìn)行部署。
環(huán)境介紹
- Kubernetes：1.17.17
- Docker：18.09.0
- Helm：3.6.3
- 存儲(chǔ)：使用Local PV
OpenEBS簡(jiǎn)介
OpenEBS是一款使用Go語(yǔ)言編寫的基于容器的塊存儲(chǔ)開源軟件。OpenEBS使得在容器中運(yùn)行關(guān)鍵性任務(wù)和需要數(shù)據(jù)持久化的負(fù)載變得更可靠。
使用OpenEBS，你可以將有持久化數(shù)據(jù)的容器，像對(duì)待其他普通容器一樣來(lái)對(duì)待。OpenEBS本身也是通過(guò)容器來(lái)部署的，支持Kubernetes、Swarm、Mesos、Rancher編排調(diào)度，存儲(chǔ)服務(wù)可以分派給每個(gè)pod、應(yīng)用程序、集群或者容器級(jí)別，包括：
- 跨節(jié)點(diǎn)的數(shù)據(jù)持久化
- 跨可用區(qū)和云廠商的數(shù)據(jù)同步
- 使用商業(yè)硬件和容器引擎來(lái)提供高可擴(kuò)展的塊存儲(chǔ)
- 與容器編排引擎集成，開發(fā)者的應(yīng)用程序可以自動(dòng)的配置OpenEBS
- 基于CloudByte在BSD的容器化經(jīng)驗(yàn)，為用戶提供OpenEBS的QoS保證
OpenEBS的架構(gòu)可以分為數(shù)據(jù)平面(Data Plane)和控制平面(Control Plane)兩部分：
- 數(shù)據(jù)平面：為應(yīng)用程序提供數(shù)據(jù)存儲(chǔ)
- 控制平面：管理OpenEBS卷容器，這通常會(huì)用到容器編排軟件的功能
環(huán)境部署
1、部署OpenEBS
OpenEBS支持Helm Chart和Operator部署.
(1)使用Helm Chart部署
- helm repo add openebs https://openebs.github.io/charts
- helm repo update
- helm install openebs --namespace openebs openebs/openebs --create-namespace
(2)使用Operator部署
- kubectl apply -f https://openebs.github.io/charts/openebs-operator.yaml
部署完成后會(huì)生成如下Pod。
- # kubectl get pod -n openebs
- NAME READY STATUS RESTARTS AGE
- maya-apiserver-67b5b5c858-4mstb 1/1 Running 0 5d19h
- openebs-admission-server-6bdf9b76d6-r4r6b 1/1 Running 0 5d19h
- openebs-localpv-provisioner-966d864cd-sf8fp 1/1 Running 0 5d19h
- openebs-ndm-59lkx 1/1 Running 0 5d19h
- openebs-ndm-bphgw 1/1 Running 0 5d19h
- openebs-ndm-grxlb 1/1 Running 0 5d19h
- openebs-ndm-operator-55b8ccc64b-r7tkr 1/1 Running 0 5d19h
- openebs-ndm-zwhmm 1/1 Running 0 5d19h
- openebs-provisioner-55794b6cd4-ptd85 1/1 Running 0 5d19h
- openebs-snapshot-operator-5d78fcbd96-7xqzv 2/2 Running 0 5d19h
以及如下的StorageClass。
- # kubectl get sc | grep openebs
- local (default) openebs.io/local Delete WaitForFirstConsumer false 5d19h
- openebs-device openebs.io/local Delete WaitForFirstConsumer false 5d19h
- openebs-hostpath openebs.io/local Delete WaitForFirstConsumer false 5d19h
- openebs-jiva-default openebs.io/provisioner-iscsi Delete Immediate false 5d19h
- openebs-snapshot-promoter volumesnapshot.external-storage.k8s.io/snapshot-promoter Delete Immediate false 5d19h
2、部署Postgresql
其實(shí)在Sentry的Helm Chart中有Postgresql的Chart包，這里之所以單獨(dú)來(lái)部署，是因?yàn)橥ㄟ^(guò)Sentry中的Chart包部署，在Postgresql環(huán)節(jié)出現(xiàn)了各種問(wèn)題，比如：
- FATAL: password authentication failed for user "postgres"
這里通過(guò)Helm Chart來(lái)部署Postgresql，具體步驟如下：
- # 添加Helm倉(cāng)庫(kù)
- helm repo add bitnami https://charts.bitnami.com/bitnami
- helm repo update
- # 把Chart包下載下來(lái)
- helm pull bitnami/postgresql
編寫配置文件(my-value.yaml)，如下：
- global:
- postgresql:
- postgresqlDatabase: "sentry"
- postgresqlUsername: "postgres"
- existingSecret: ""
- postgresqlPassword: "postgres"
- servicePort: ""
- replicationPassword: ""
安裝PGSQL，命令如下：
- helm install postgresql -n sentry -f my-value.yaml bitnami/postgresql
部署完成后，可以看到如下Pod：
- # kubectl get po -n sentry
- NAME READY STATUS RESTARTS AGE
- postgresql-postgresql-0 1/1 Running 0 3h39m
3、部署Sentry
Sentry也是采用Helm Chart來(lái)進(jìn)行部署，如下：
- # 添加Helm倉(cāng)庫(kù)
- helm repo add sentry https://sentry-kubernetes.github.io/charts
- helm repo update
- helm search repo sentry
- # 下載Chart包，便于查看修改Chart
- helm pull sentry/sentry
編寫配置文件(my-value.yaml)，如下：
- externalPostgresql:
- database: sentry
- port: 5432
- username: postgres
- host: postgresql
- password: postgres
- postgresql:
- enabled: false
- mail:
- backend: dummy
- from: "joker2021@163.com"
- host: "smtp"
- password: "UZKSGLFEANWGLZNT"
- port: 465
- useTls: true
- username: ""
- user:
- create: true
- email: admin@sentry.local
- password: P@ssword
部署Sentry，如下：
- helm install sentry -n sentry -f my-value.yaml sentry/sentry
部署完成后，會(huì)生成如下Pod：
- # kubectl get po -n sentry
- NAME READY STATUS RESTARTS AGE
- postgresql-postgresql-0 1/1 Running 0 3h50m
- sentry-clickhouse-0 1/1 Running 0 3h50m
- sentry-clickhouse-1 1/1 Running 0 3h50m
- sentry-clickhouse-2 1/1 Running 0 3h50m
- sentry-cron-578647dd7-gk7gf 1/1 Running 0 3h50m
- sentry-ingest-consumer-7564f644bf-srkj2 1/1 Running 0 3h47m
- sentry-kafka-0 1/1 Running 2 3h50m
- sentry-kafka-1 1/1 Running 2 3h50m
- sentry-kafka-2 1/1 Running 2 3h50m
- sentry-nginx-675d779699-tfdr5 1/1 Running 0 3h50m
- sentry-post-process-forward-5f586f6cdf-lxmc4 1/1 Running 0 3h47m
- sentry-rabbitmq-0 1/1 Running 0 3h50m
- sentry-rabbitmq-1 1/1 Running 0 3h49m
- sentry-rabbitmq-2 1/1 Running 0 3h48m
- sentry-relay-75597cb98b-jm282 1/1 Running 0 3h47m
- sentry-sentry-redis-master-0 1/1 Running 0 3h50m
- sentry-sentry-redis-slave-0 1/1 Running 0 3h50m
- sentry-sentry-redis-slave-1 1/1 Running 0 3h49m
- sentry-sessions-consumer-6b499bf64d-lm7gq 1/1 Running 0 3h47m
- sentry-snuba-api-5586d5f9f8-tcn5s 1/1 Running 0 3h50m
- sentry-snuba-cleanup-errors-1630472400-xv5wh 0/1 Completed 0 134m
- sentry-snuba-cleanup-errors-1630476000-xd7d2 0/1 Completed 0 74m
- sentry-snuba-cleanup-errors-1630479600-sd59b 0/1 Completed 0 14m
- sentry-snuba-cleanup-transactions-1630472400-l9bcx 0/1 Completed 0 134m
- sentry-snuba-cleanup-transactions-1630476000-cjsbd 0/1 Completed 0 74m
- sentry-snuba-cleanup-transactions-1630479600-zn5dz 0/1 Completed 0 14m
- sentry-snuba-consumer-58b7bfd545-rnjmx 1/1 Running 0 3h47m
- sentry-snuba-outcomes-consumer-57c589bf6d-lxg5m 1/1 Running 0 3h47m
- sentry-snuba-replacer-5bf4d6b5d7-gcc7g 1/1 Running 0 3h47m
- sentry-snuba-transactions-consumer-57bb7f8ccb-q6gkt 1/1 Running 0 3h47m
- sentry-web-7c9766768b-njxjl 1/1 Running 0 3h50m
- sentry-worker-844fd65687-6b26p 1/1 Running 2 3h50m
- sentry-worker-844fd65687-k2h6z 1/1 Running 2 3h50m
- sentry-worker-844fd65687-rfjcl 1/1 Running 2 3h50m
- sentry-zookeeper-0 1/1 Running 0 3h50m
然后可以通過(guò)ingress或者nodeport的方式進(jìn)行訪問(wèn)，用戶名和密碼是上面配置的admin@sentry.local和P@ssword。
創(chuàng)建項(xiàng)目
進(jìn)入WEB UI界面，在項(xiàng)目專欄創(chuàng)建項(xiàng)目，如下：
我這里創(chuàng)建一個(gè)Go項(xiàng)目，如下：
點(diǎn)擊創(chuàng)建后，就會(huì)生成一個(gè)Dsn地址，并且給出一個(gè)配置示例，如下：
- package main
- import (
- "fmt"
- "github.com/getsentry/sentry-go"
- sentrygin "github.com/getsentry/sentry-go/gin"
- "github.com/gin-gonic/gin"
- "github.com/pkg/errors"
- "net/http"
- )
- func main() {
- // To initialize Sentry's handler, you need to initialize Sentry itself beforehand
- if err := sentry.Init(sentry.ClientOptions{
- Dsn: "https://b06bcc1c67b44084a3f65fc8b219a5fc@o985819.ingest.sentry.io/5942245",
- }); err != nil {
- fmt.Printf("Sentry initialization failed: %v\n", err)
- }
- sentry.CaptureMessage("It works!")
- sentry.CaptureException(errors.New("error msg"))
- // Then create your app
- app := gin.Default()
- // Once it's done, you can attach the handler as one of your middleware
- app.Use(sentrygin.New(sentrygin.Options{}))
- // Set up routes
- app.GET("/", func(ctx *gin.Context) {
- ctx.String(http.StatusOK, "Hello world!")
- })
- // And run it
- app.Run(":3000")
- }
其他類型的項(xiàng)目與此類似，具體步驟也就三步：
- 在Sentry WEB UI界面創(chuàng)建項(xiàng)目
- 生成對(duì)應(yīng)的Dsn
- 將其引入到具體的應(yīng)用代碼中
然后應(yīng)用部署過(guò)后，就會(huì)通過(guò)Post的方式上報(bào)應(yīng)用錯(cuò)誤，屆時(shí)就可以在WEB界面進(jìn)行查看。
image.png
創(chuàng)建警報(bào)
可以創(chuàng)建的告警類型還是比較豐富，如下：
然后創(chuàng)建規(guī)則，如下：
除此之外還可以進(jìn)行團(tuán)隊(duì)、成員管理，日志審計(jì)等，更多功能需要自己去實(shí)踐了。
