監(jiān)控系統(tǒng)如何做埋點(diǎn)，監(jiān)控?cái)?shù)據(jù)庫(kù)和HTTP請(qǐng)求
JDBC做過(guò)java開(kāi)發(fā)的都知道JDBC是干什么的，RestApi其實(shí)就是http的調(diào)用，http的調(diào)用就是調(diào)用第三方的服務(wù)的時(shí)候，第三方的服務(wù)并不是在自己的系統(tǒng)范圍內(nèi)，如果出現(xiàn)不穩(wěn)定掛掉，對(duì)自身來(lái)說(shuō)是不可控了，所以第三方服務(wù)而言對(duì)我們而言是非常的明感的。JDBC和RestApi的監(jiān)控對(duì)系統(tǒng)來(lái)講意義很大，數(shù)據(jù)庫(kù)得多重要，在系統(tǒng)的內(nèi)部進(jìn)行監(jiān)控更能良好的反應(yīng)sql的執(zhí)行性能。
(一)JDBC調(diào)用攔截
- JDBC插樁目的
哪些監(jiān)控懟開(kāi)發(fā)運(yùn)維來(lái)說(shuō)最有用的。
- SQL語(yǔ)句、SQL參數(shù)、用了多長(zhǎng)時(shí)間、SQL類(lèi)型、結(jié)果集大小、返回字段、規(guī)范、Join次數(shù)
- 攔截監(jiān)聽(tīng)SQL語(yǔ)句
- 找出慢查詢語(yǔ)句
- 模型結(jié)構(gòu)
字段類(lèi)型描述sqltextsql語(yǔ)句paramsjson參數(shù)resultSizeint結(jié)果大小urlvarchar數(shù)據(jù)庫(kù)連接路徑userNamevarchar數(shù)據(jù)庫(kù)用戶名errortext異常堆棧useTimeint用時(shí)
- JDBC插樁位置
這些user，框架，連接池，驅(qū)動(dòng)都依賴jdbc，jdbc是一個(gè)什么東西?jdbc是一種規(guī)范，一堆接口組成的規(guī)范j2se，由驅(qū)動(dòng)來(lái)實(shí)現(xiàn)的。servlet也是一種接口規(guī)范，是j2ee的規(guī)范，由tomcat，jetty等容器實(shí)現(xiàn)的。任任何一層都可以做為插樁的切入點(diǎn)，但是選用User 層、框架層、連接池&數(shù)據(jù)源層、驅(qū)動(dòng)層其實(shí)現(xiàn)是多樣的，無(wú)法做到普適性。所以在此選用JDBC 作為插樁切入 點(diǎn)。
- JDBC插樁機(jī)制
從上圖可以分析出JDBC執(zhí)行過(guò)程
1.從驅(qū)動(dòng)獲取連接(Connection)
2.基于連接構(gòu)建預(yù)處理對(duì)象(prepareStatement)
3.執(zhí)行SQL
4.讀取結(jié)果集(ResultSet)
5.關(guān)閉釋放連接。
其中涉及對(duì)象構(gòu)建邏輯如下：
Driver==》Connection==》prepareStatement==》ResultSet
(二)Http調(diào)用攔截
- Http埋點(diǎn)目的
很多時(shí)候我們會(huì)調(diào)用第三方API。比如：消息推送、短信發(fā)送、第三方支付接口等，因?yàn)榉?wù)是第三方提供，如果服務(wù)出現(xiàn)性能或可用性問(wèn)題對(duì)于我方而言不可控，所以這類(lèi)接口的穩(wěn)定性是我們需要重點(diǎn)關(guān)注的對(duì)象。
通常這類(lèi)接口會(huì)基于Http協(xié)議實(shí)現(xiàn)，所對(duì)Htpp協(xié)議監(jiān)控，即實(shí)現(xiàn)了對(duì)第三方接口的監(jiān)控。
- Http埋點(diǎn)位置
1.user層：無(wú)法判斷User具體執(zhí)行方法，基于配置又做不到普適性。
2.Http協(xié)議層：能找到具體方法，也能做到普適性。需要對(duì)Http協(xié)議進(jìn)行全面解析，而且Http協(xié)議為文本協(xié)議，解析難度更大，實(shí)現(xiàn)成本居高。
3.專有SDK、與自定義封裝的Http工具包，跟具體業(yè)務(wù)偶合同樣無(wú)法做到普適應(yīng)。
4.java net URL 與 HttpClient 都是Http client 基于二者實(shí)現(xiàn)可以在一定程度上達(dá)成我們的目標(biāo)。
- Http埋點(diǎn)機(jī)制(java.net.URL)
URL常用寫(xiě)法：
- URL url = new URL("https://www.baidu.com");
- URLConnection conn = url.openConnection();
- conn.setDoInput(true);
- conn.setDoOutput(true);
- conn.connect();
- OutputStream output = conn.getOutputStream();
- output.write("a=c&b=1".getBytes());
- InputStream input = conn.getInputStream();
- byte[] bytes = IOUtils.readFully(input, -1, false);
- System.out.println(new String(bytes));
URL 裝載執(zhí)行過(guò)程：
- URL 基于protocol 構(gòu)建對(duì)應(yīng) UrlStreamHandler
- UrlStreamHandler.openConnection() 打開(kāi)連接，返回URlConnection
- URlConnection 設(shè)置連接屬性
- URlConnection 打開(kāi) outPutStream 寫(xiě)入?yún)?shù)
- URlConnection 打開(kāi) inPutStream讀取結(jié)果
其中涉及對(duì)象構(gòu)建邏輯如下：
URL==》URLStreamHandler==》URLConnection==》outPutStream、InputStream。
如果上述過(guò)程加一層靜態(tài)代理即可監(jiān)控這些對(duì)象所有的執(zhí)行過(guò)程從而得到所需監(jiān)控?cái)?shù)據(jù):
URL==》Proxy(URLStreamHandler)==》Proxy(URLConnection)==》Proxy(outPutStream)、Proxy(InputStream)。
- URL的類(lèi)結(jié)構(gòu)
怎么樣才能加上這層代理呢?其關(guān)鍵方法在于 通過(guò)靜態(tài)代理的方式。 java.net.URL#setURLStreamHandlerFactory。該方法允許用戶自定義URL協(xié)議實(shí)現(xiàn).
