一、端到端質(zhì)量提升背景

在移動互聯(lián)網(wǎng)和智能化時代，手機App軟件已經(jīng)成為方便工作和生活的重要工具。為了提升用戶體驗，打造精品汽車消費者陣地，汽車之家對App服務質(zhì)量問題進行了全方位的專項治理。

二、端到端全鏈路服務質(zhì)量問題

在實際運營中，App用戶到服務端的鏈路長復雜性較高，存在著眾多的網(wǎng)絡鏈路和節(jié)點包括移動設備、無線網(wǎng)絡、核心網(wǎng)、服務網(wǎng)等。在這樣一個大規(guī)模的分布式環(huán)境中，系統(tǒng)的質(zhì)量和性能對于用戶體驗和服務的穩(wěn)定性至關重要。在這些環(huán)節(jié)中，一旦出現(xiàn)低質(zhì)量請求和異常，影響整個系統(tǒng)的性能和穩(wěn)定性，導致用戶App端上訪問問題，如響應慢、響應卡頓、錯誤等，特別是在流量峰值時期，容易引起系統(tǒng)崩潰和服務不可用等問題，嚴重影響用戶的使用體驗。因此，如何進行端到端全鏈路低質(zhì)量請求治理，提升系統(tǒng)的質(zhì)量和性能成為了一個迫切的需求。

三、端到端鏈路低質(zhì)量請求治理系統(tǒng)化方案

在實施端到端全鏈路低質(zhì)量請求治理方案的過程中，綜合分析端到端全鏈路低質(zhì)量請求治理是一個全局性、復雜性的問題。需要綜合運用多種技術和管理手段，充分考慮不同的業(yè)務場景和用戶需求，探索科學的治理方法、有效治理手段、工具化建設、系統(tǒng)化架構升級，其次通過加強團隊協(xié)作、實時監(jiān)控、及時預警等管理手段，保障系統(tǒng)的安全和穩(wěn)定運行同時提升全鏈路系統(tǒng)質(zhì)量和性能。

1、建立端到端全鏈路低質(zhì)量請求標準

低質(zhì)量請求治理首先是需要確定“用戶從App客戶端到服務端訪問”低質(zhì)量請求有效識別方法和邏輯。共識指標、量化具體鏈路節(jié)點服務問題，幫助各個部門和團隊對于低質(zhì)量請求的概念達成一致，為治理工作提供基礎和共同語言，明確相關部門和人員在低質(zhì)量請求治理中的職責和權限，進而保障治理工作的高效執(zhí)行，另外便于進行監(jiān)督和評估，確保治理工作按照既定標準開展。

具體“低質(zhì)量請求”LQR為判斷后端服務質(zhì)量標準是：整體以主App端上秒開率（1000ms）為基準，定義了客戶端請求耗時（渲染<150ms）+ 后端請求耗時（網(wǎng)絡平響<600ms、服務平響<250ms ），即后端治理方向以“低質(zhì)量請求 (LQR): ”耗時>850ms OR 狀態(tài)碼 !=2/3XX為判斷標準。

2、建立低質(zhì)量請求指標分析大盤

收集打通客戶端網(wǎng)絡庫、CDN、負載、源站，整合端到端的全鏈路日志，基于大數(shù)據(jù)分析建立低質(zhì)量請求治理大盤，從而更加精準地把握服務質(zhì)量情況，可以及時發(fā)現(xiàn)低質(zhì)量請求問題，快速響應和處理。同時，也能夠系統(tǒng)地展示、分析和監(jiān)控各個環(huán)節(jié)的數(shù)據(jù)，幫助團隊快速定位問題，提高治理效率，在指標大盤中，每個指標都與相應的部門和負責人對應，明確了責任歸屬。低質(zhì)量請求大盤數(shù)據(jù)包括域名、接口、網(wǎng)絡類型、協(xié)議、版本、模塊、地域、運營商、網(wǎng)絡類型、負載、源站、部門、負責人的指標問題分類，通過大盤指標分析確定主App低質(zhì)量請求(LQR)處于較高水位，整體LQR占比超7%、日影響用戶幾百萬；低質(zhì)量請求大盤實現(xiàn)數(shù)據(jù)驅(qū)動運營、信息共享，為整體推動各團隊全面治理低質(zhì)量問題提供了強有力的數(shù)據(jù)支撐。

從低質(zhì)量請求治理大盤整體分析，App端到端全鏈路低質(zhì)量幾個主要問題和治理的大概思路：

客戶端方面：網(wǎng)絡庫日志分析發(fā)現(xiàn)，客戶端大量TCP連接的建立和釋放，增加了請求延遲和資源消耗，影響訪問速度和效率。這可能是由于客戶端缺乏對連接復用以及長連接管理等機制造成的。解決方向是提升長連接，減少TCP連接的建立和釋放次數(shù)，降低服務器負擔和提高請求處理效率。

網(wǎng)絡鏈路方面：由于CDN網(wǎng)絡質(zhì)量差、節(jié)點過于集中、負載過高等原因引起CDN節(jié)點不穩(wěn)定或異常，導致請求訪問延遲和請求失敗。本地網(wǎng)絡環(huán)境不好，域名使用本地DNS進行解析過程耗時較長、訪問速度慢、域名被惡意劫持。使用的HTTP協(xié)議版本較老、未開啟HTTP/2、未使用更高效的加密協(xié)議，無法多路復用請求串行發(fā)送，影響并發(fā)處理能力、訪問數(shù)據(jù)傳輸速度、穩(wěn)定性和可靠性。

服務端方面：負載均衡LB到源站鏈路長、鏈路復雜、應用源站接口邏輯復雜導致后端整體返回平均響應耗時長、錯誤率高。這可能是由于負載均衡算法不合理、源站負載過高、源站接口存在瓶頸等原因引起的。解決方法包括優(yōu)化服務端架構、采用更先進的負載均衡算法、優(yōu)化接口邏輯、加強監(jiān)控和診斷等方式來提高服務端性能和穩(wěn)定性。

四、后端系統(tǒng)建設“智網(wǎng)”端到端的鏈路擇優(yōu)治理平臺落地

為解決現(xiàn)有業(yè)務域名多、建連次數(shù)多、訪問性能損耗、切換CDN性能損耗等問題?？蛻舳伺c后端負載整體改造公共域名收斂的方式，降低客戶端建連次數(shù)；其次是分析評估建立多個CDN廠商節(jié)點質(zhì)量，并進行智能擇優(yōu)調(diào)度，提升性能及可靠性；另外整體的端到端全鏈路最優(yōu)配置；因此“智網(wǎng)”是一個綜合提升性能與穩(wěn)定性的低質(zhì)量請求治理系統(tǒng)。

客戶端升級支持域名統(tǒng)一收斂技術架構，核心思路是將上百個域名收斂到幾個域名，減少 DNS 查詢、減少 TCP 連接建立時間和提高網(wǎng)絡帶寬利用率，提升連接復用率，這些優(yōu)勢可以提高系統(tǒng)鏈路性能，具體表現(xiàn)在以下幾個方面：

減少 DNS 查詢：通過客戶端域名統(tǒng)一收斂，不同的服務共享同一個域名。這樣可以減少 DNS 查詢次數(shù)，縮短域名解析時間，從而加快網(wǎng)頁加載速度。

減少 TCP 連接建立時間：TCP 是一種面向連接的協(xié)議，每次建立連接都需要進行握手和斷開操作，這會消耗很多時間和資源。通過客戶端域名統(tǒng)一收斂，可以將多個請求集成到同一個 TCP 連接中，避免重復建立和斷開連接，從而減少了連接建立的時間和開銷。

提高網(wǎng)絡帶寬利用率：通過客戶端域名統(tǒng)一收斂，可以將多個請求打包到同一個 TCP 連接中，從而減少請求和響應之間的網(wǎng)絡延遲，提高網(wǎng)絡帶寬利用率。這對于大流量的企業(yè)系統(tǒng)尤其重要，可以有效地降低網(wǎng)絡帶寬成本。

1、域名統(tǒng)一收斂架構

需要在服務器端和客戶端都進行相應的配置和開發(fā)工作，方案關鍵技術：使用統(tǒng)一的域名服務器、反向代理、連接池技術，實現(xiàn)客戶端域名統(tǒng)一收斂，提高系統(tǒng)的質(zhì)量和性能：

建立一個統(tǒng)一的域名服務器：在這個服務器中配置好所有需要訪問的服務的 IP 地址和對應的域名。在客戶端請求時，通過該統(tǒng)一的域名服務器將請求轉(zhuǎn)發(fā)到對應的服務。

使用反向代理：通過在服務器端配置反向代理，將多個不同的服務映射到同一個域名下。這樣客戶端只需使用一個域名就可以訪問多個服務。

使用連接池技術：指在程序啟動時預先創(chuàng)建一定數(shù)量連接，并將這些連接保存在一個池子里。當客戶端需要訪問HTTP 服務時，從連接池中選取一個可用的連接進行操作。這種方式可以避免頻繁地建立和斷開連接，提高連接復用率。

具體方案是收斂域名個數(shù)與CDN個數(shù)對齊，分別為百度a.xxxxxx.cn，金山b.xxxxxx.cn，平安c.xxxxxx.cn以及華為d.xxxxxx.cn，收斂規(guī)則為請求的url前面增加收斂域名，原域名變?yōu)槭諗坑蛎囊患塸ath，請求子path和參數(shù)不變。

例如，將xx.app.autohome.com.cn/v1/args?key=xxx替換為a.xxxxxx.cn/xxx.app.autohome.com.cn/v8/args?key=xxx。

客戶端進行收斂域名替換，可以更好地控制質(zhì)量，同時切實達到最終收斂的目的。

架構調(diào)用過程：

• App冷啟動時，調(diào)用CDN接口，獲取擇優(yōu)的收斂域名（如果擇優(yōu)接口調(diào)用失敗，走非收斂方式請求業(yè)務真實域名）(客戶端添加緩存,啟動優(yōu)先用緩存), 接口返回立即啟用擇優(yōu)域名。
• 客戶端請求D+，對擇優(yōu)域-收斂域名進行解析，獲取CDN節(jié)點IP。
• 客戶端與CDN節(jié)點IP進行http2、http3（通過客戶端開關和服務端CDN支持決定是否最終開啟）連接保持。
• App啟動完成后，立即對剩余對應其他CDN廠家的收斂域名進行建聯(lián)，同時定時45s分鐘保持建聯(lián)。
• 如果發(fā)現(xiàn)擇優(yōu)域名接口返回收斂域名發(fā)生變化，判斷切換成本，進行立即切換，并復用上述鏈接，進行快速建聯(lián)。
• 客戶端發(fā)起的URL請求需要從底層對URL進行轉(zhuǎn)換，前面增加收斂域名，形成收斂URL，并進行請求。
• Proxy-NG收到收斂URL，進行還原并訪問到最終源站，請求完成。

2、智能分析CDN資源

了解用戶的地理位置、設備類型和網(wǎng)絡環(huán)境等信息，該功能通過比較CDN廠商在特定地區(qū)的網(wǎng)絡質(zhì)量指標，例如延遲、帶寬等，來確定最佳的CDN廠商和邊緣節(jié)點，根據(jù)這些信息用于調(diào)度用戶擇優(yōu)邊緣節(jié)點。實現(xiàn)方案是App在啟動時會上報請求埋點域名相關信息，不同埋點域名解析到不同的CDN廠商，這些域名的請求信息會跟隨其他的訪問日志一起寫入到網(wǎng)絡庫日志。系統(tǒng)會收集所有的埋點數(shù)據(jù)，運營商、根據(jù)客戶端ip獲取地區(qū)信息、耗時和錯誤率信息，根據(jù)時間-地區(qū)-運營商-CDN廠商（源站），通過flink獲取網(wǎng)絡庫的日志數(shù)據(jù)，對各個省份各個城市數(shù)據(jù)進行整合放入vm集群中，然后通過算法每十分鐘獲取前半個小時內(nèi)各個區(qū)域的平響和錯誤率， 根據(jù)平響和錯誤率計算出該地區(qū)最優(yōu)質(zhì)的cdn廠商。

3、CDN擇優(yōu)/容災調(diào)度

CDN擇優(yōu)功能是一種高效、智能的CDN節(jié)點選擇機制，根據(jù)用戶的地理位置和智能分析的CDN節(jié)點質(zhì)量，智能地選擇最優(yōu)的CDN節(jié)點，提高網(wǎng)絡性能和可用性；另外域名所使用的CDN出現(xiàn)問題時，客戶端能夠快速將連接切換到其他CDN廠家，以確保業(yè)務不中斷，因此提升服務訪問性能和可靠性。服務端核心流程：

• 服務端根據(jù)用戶端IP計算出當前用戶的大致地理位置。
• 根據(jù)用戶的網(wǎng)絡日志域名解析到的IP匹配對應的CDN節(jié)點。
• 根據(jù)用戶的網(wǎng)絡日志,計算出當前域名/IP節(jié)點的請求錯誤率。
• 根據(jù)不同地區(qū)/CDN維度下的錯誤率, 決策出當前地區(qū)最優(yōu)的CDN廠商。
• 篩選出異常錯誤率的IP節(jié)點。
• 切換當前地區(qū)CDN的流量, 下發(fā)最優(yōu)CDN列表和異常IP列表給用戶端。

4、端到端全鏈路最優(yōu)最佳實踐策略

綜合網(wǎng)絡鏈路、CDN配置、負載源站鏈路多種技術手段提高數(shù)據(jù)傳輸效率和可靠性。

域名解析到優(yōu)質(zhì)CDN廠商：優(yōu)質(zhì)鏈路，提高請求成功率和可靠性。

端上域名啟用HTTPDNS：加速DNS解析，減少了不必要的域名解析時間和延遲，有效避免DNS劫持，提升網(wǎng)絡請求的速度和響應效率，提高請求成功率和可靠性。

端上域名TTL時間調(diào)整為60s：加快更新DNS緩存以及更快地獲取新的IP地址，降低DNS解析的延遲時間。

CDN開啟HTTP2.0協(xié)議：利用二進制協(xié)議替換了文本協(xié)議，通過頭部壓縮、流控、優(yōu)先級等技術提升了性能和效率，實現(xiàn)多路復用，使得單個連接中同時處理多個請求和響應，提高網(wǎng)絡傳輸效率。

CDN開啟GZIP、BR壓縮：可以顯著地降低減小數(shù)據(jù)傳輸?shù)拇笮?，提高網(wǎng)絡傳輸效率，減少用戶等待時間。

描述：開啟GZIP、BR壓縮可以。

CDN開啟TLSv1.3協(xié)議：該協(xié)議具有更高的安全性和可靠性，有效防止網(wǎng)絡攻擊和數(shù)據(jù)泄露，相比目前在用TLSv1.2協(xié)議建聯(lián)過程可以減少1RTT，提高網(wǎng)絡傳輸?shù)陌踩院涂煽啃浴?/span>

CDN開啟HTTP回源：可快速向源站請求資源并更新緩存，減少CDN與源站SSL建聯(lián)時間，提高服務響應速度。

源站負載到應用保持長連接：避免頻繁的連接建立和關閉維護的開銷，降低網(wǎng)絡傳輸?shù)难舆t，提高網(wǎng)絡傳輸效率。

源站精簡鏈路：減少服務傳輸?shù)闹虚g負載、減少不必要的網(wǎng)絡傳輸，提高數(shù)據(jù)傳輸?shù)男屎头€(wěn)定性；保證信息傳輸通暢和快速。

五、端到端全鏈路質(zhì)量治理成果

通過App域名收斂與智能擇優(yōu)體系落地，解決CDN廠商故障業(yè)務無縫切換，CDN節(jié)點智能擇優(yōu)，用戶鏈路優(yōu)中選優(yōu)，客戶端統(tǒng)一收斂域名，服務端透明無感50%以上的流量切到到主要 4個收斂域名，大大提高連接復用，降低網(wǎng)絡開銷，主App低質(zhì)量請求經(jīng)過多個技術團隊協(xié)同治理大幅降低7.x%到2.x%，實現(xiàn)百萬用戶端到端體驗提升。

六、端到端全鏈路質(zhì)量治理未來規(guī)劃

持續(xù)的完善端到端的質(zhì)量治理體系與工具化能力建設，結(jié)合更加智能化的機器學習等技術工具，實現(xiàn)自動化地監(jiān)控系統(tǒng)各環(huán)節(jié)的關鍵指標，快速發(fā)現(xiàn)和排除問題，提高整個系統(tǒng)的可靠性和魯棒性。

在App端到端全鏈路接口低質(zhì)量請求治理基礎上，開啟全資源質(zhì)量治理進程，建立圖片、視頻低質(zhì)量識別與治理體系，對多媒體資源進行有效的壓縮、加速和保護，以提高用戶的訪問速度和安全性，持續(xù)的治理低質(zhì)量請求，度提高主App訪問速度、降低故障率、增強數(shù)據(jù)的安全性和穩(wěn)定性，提升用戶交互體驗，從而提高用戶滿意度和市場競爭力，進一步增強用戶粘性和轉(zhuǎn)化率。