1. 背景

轉(zhuǎn)轉(zhuǎn)作為國內(nèi)領(lǐng)先的二手電商平臺，商品品類橫跨數(shù)碼3C、家電家居乃至奢品、汽車，用戶群體與需求呈現(xiàn)顯著差異化。例如，學(xué)生群體側(cè)重性價比，白領(lǐng)階層偏好品質(zhì)服務(wù)。為了實現(xiàn)商品與用戶的精準(zhǔn)匹配，就需要精細(xì)化的運營策略，然而，精細(xì)化的運營卻面臨以下難題：

1.1 精細(xì)化運營面臨四大難題

• 二手商品數(shù)據(jù)復(fù)雜性高：二手商品除了商品本身的標(biāo)品屬性外，還存在成色、機況、質(zhì)檢報告等大量的非標(biāo)屬性。這些屬性描述方式多樣，缺乏統(tǒng)一標(biāo)準(zhǔn)，信息分散在商品描述、圖片、質(zhì)檢報告等不同地方，導(dǎo)致商品數(shù)據(jù)結(jié)構(gòu)復(fù)雜，難以標(biāo)準(zhǔn)化管理。
• 商品管理和篩選效率低下：傳統(tǒng)電商的標(biāo)準(zhǔn)化SPU維度無法有效處理二手商品豐富的非標(biāo)屬性，平臺難以基于這些關(guān)鍵屬性對商品進行精細(xì)化管理和篩選。
• 用戶體驗受影響：由于缺乏對非標(biāo)屬性的有效利用，導(dǎo)致用戶在搜索商品時難以精準(zhǔn)定位到符合需求的商品，例如，用戶想要搜索“成色好”的二手手機，傳統(tǒng)篩選系統(tǒng)可能無法有效支持這種基于非標(biāo)屬性的搜索。
• 運營效率難以提升：由于數(shù)據(jù)復(fù)雜且難以有效管理，平臺難以基于數(shù)據(jù)進行深入分析，無法精準(zhǔn)了解商品銷售情況、用戶偏好等，從而難以制定有效的數(shù)據(jù)驅(qū)動運營策略，限制了運營效率的提升。

1.2 商品標(biāo)簽平臺旨在解決上述痛點

• 結(jié)構(gòu)化非標(biāo)屬性數(shù)據(jù)：將分散、非結(jié)構(gòu)化的非標(biāo)屬性信息轉(zhuǎn)化為結(jié)構(gòu)化的標(biāo)簽，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理。
• 提高商品管理和篩選效率：基于標(biāo)簽系統(tǒng)，平臺可以高效地篩選和管理商品，提升運營效率。
• 提升用戶體驗：通過基于標(biāo)簽系統(tǒng)的精準(zhǔn)搜索和推薦，幫助用戶快速找到心儀的商品，提升購物體驗。
• 實現(xiàn)數(shù)據(jù)驅(qū)動運營：利用標(biāo)簽數(shù)據(jù)進行深入分析，為平臺運營決策提供數(shù)據(jù)支持，提升運營效率和競爭力。

2. 系統(tǒng)總覽

整個商品標(biāo)簽平臺大致上可分為三層：

 系統(tǒng)架構(gòu)圖

應(yīng)用層：應(yīng)用層作為系統(tǒng)的入口，負(fù)責(zé)提供用戶操作界面（后臺配置中心、標(biāo)簽后臺組件）和RPC 接口，是用戶和外部系統(tǒng)與標(biāo)簽平臺進行交互的通道。

服務(wù)層：服務(wù)層是系統(tǒng)的核心業(yè)務(wù)處理層，負(fù)責(zé)執(zhí)行關(guān)鍵的商品標(biāo)簽匹配、標(biāo)簽生命周期管理、離線數(shù)據(jù)管理、商品管理和數(shù)據(jù)互聯(lián)互通等核心業(yè)務(wù)邏輯。

數(shù)據(jù)層：數(shù)據(jù)層為服務(wù)層提供多樣化的數(shù)據(jù)存儲能力，包括關(guān)系型數(shù)據(jù)庫（MySQL）、搜索引擎（ES）、本地緩存（Local Cache）和分布式緩存（Redis），以滿足不同類型數(shù)據(jù)的存儲和高效訪問需求。

3. 系統(tǒng)核心設(shè)計之如何保證標(biāo)簽的實時性

3.1 背景

作為電商平臺，商品的更新和用戶的行為都會時刻發(fā)生，商品標(biāo)簽的實時性會直接影響到用戶的體驗和整體的運營效率。那么在標(biāo)簽平臺中，是如何設(shè)計來保證實時性呢？

 實時性設(shè)計示意圖

解釋：增量（給變動的商品重新匹配標(biāo)簽）；存量（給符合標(biāo)簽規(guī)則的商品進行標(biāo)簽綁定）

3.2 核心設(shè)計

• 流量分離：上圖中，雖然執(zhí)行的都是商品和標(biāo)簽的匹配操作，但明確區(qū)分了實時性要求高的增量打標(biāo)和非實時性的存量打標(biāo)。為什么這么做呢？流量分離示意圖

1. 提升實時打標(biāo)響應(yīng)速度：增量打標(biāo)專注于處理商品變更、價格變更等實時事件，通過消息隊列驅(qū)動，可以做到事件發(fā)生時立即觸發(fā)打標(biāo)流程，大幅降低打標(biāo)延遲，保證實時性。
2. 降低存量打標(biāo)對實時性的影響：存量打標(biāo)通常存在不確定性，標(biāo)簽圈選的商品數(shù)量級未知，將存量與增量打標(biāo)分離，可以避免存量打標(biāo)任務(wù)對實時打標(biāo)鏈路造成性能沖擊，保證實時打標(biāo)的穩(wěn)定性和低延遲。
3. 資源隔離，提升系統(tǒng)穩(wěn)定性：將不同類型的打標(biāo)任務(wù)隔離處理，可以更好地進行資源調(diào)配和管理，避免資源爭搶，提升系統(tǒng)的整體穩(wěn)定性。

• 事件驅(qū)動：通過對商品進行監(jiān)聽，讓系統(tǒng)對商品數(shù)據(jù)的變更事件立即做出反應(yīng)，而不是被動等待或輪詢。當(dāng)商品數(shù)據(jù)發(fā)生變化（例如商品創(chuàng)建、更新、價格變動、屬性變更等）時，系統(tǒng)能夠立即捕獲這些事件，并觸發(fā)后續(xù)的打標(biāo)流程。事件驅(qū)動示意圖
• 引入去重 MQ (Deduplication MQ) 機制：在實踐中發(fā)現(xiàn)，一個商品的某一塊數(shù)據(jù)發(fā)生了變化，那么其他數(shù)據(jù)會產(chǎn)生一種聯(lián)動效應(yīng)，一起發(fā)生變化，所以在增量通道中新增"ES處理去重MQ"和"增量標(biāo)簽匹配去重MQ"兩種去重消息隊列，減少因消息重復(fù)導(dǎo)致的商品與標(biāo)簽的重復(fù)匹配，提升標(biāo)簽數(shù)據(jù)的準(zhǔn)確性和可靠性，降低不必要的資源消耗。MQ去重示意圖

4. 系統(tǒng)核心設(shè)計之如何保證數(shù)據(jù)的一致性

4.1 背景

針對存量打標(biāo)，是對平臺所有存量商品進行標(biāo)簽匹配的操作。涉及大量數(shù)據(jù)的批量處理，數(shù)據(jù)量巨大，處理時間長，處理環(huán)節(jié)多，任何環(huán)節(jié)出現(xiàn)異常都有可能導(dǎo)致數(shù)據(jù)不一致的發(fā)生。為了避免這種情況的發(fā)生，平臺建立了一套完整的機制，用于保證數(shù)據(jù)的一致性。

數(shù)據(jù)一致性設(shè)計流程圖

4.2 機制拆解

• 全局統(tǒng)一入口：定義打標(biāo)任務(wù)統(tǒng)一入口，確保每次打標(biāo)任務(wù)都能夠按照預(yù)設(shè)的流程執(zhí)行下去，最終形成任務(wù)流的閉環(huán)。
• 全局互斥鎖：每個存量打標(biāo)任務(wù)圈選的商品數(shù)量是不可預(yù)測的，可能存在前一個任務(wù)還未執(zhí)行完成，后一個任務(wù)已經(jīng)啟動的情況，所以采用全局互斥鎖的操作，來保證同一時刻，只有一個任務(wù)在執(zhí)行打標(biāo)任務(wù)，避免多任務(wù)并發(fā)執(zhí)行導(dǎo)致任務(wù)流執(zhí)行紊亂。
• 全局異常捕獲：任務(wù)即使做了統(tǒng)一入口的操作，但在任務(wù)執(zhí)行過程中，也會出現(xiàn)因為任務(wù)內(nèi)部異常導(dǎo)致執(zhí)行流中斷的情況，所以就引入全局異常捕獲機制，并記錄異常任務(wù)的執(zhí)行進度，為后續(xù)任務(wù)恢復(fù)提供數(shù)據(jù)保證。
• 異常任務(wù)恢復(fù)：每次新任務(wù)開始執(zhí)行之前，默認(rèn)校驗上次任務(wù)是否存在異常，如果存在異常，就根據(jù)異常任務(wù)的執(zhí)行進度，開展異常任務(wù)斷點續(xù)傳的操作，進一步避免由于任務(wù)異常中斷而導(dǎo)致數(shù)據(jù)遺漏問題。
• 數(shù)據(jù)異步處理：利用MQ的異步化處理能力，提升系統(tǒng)效率的同時，并結(jié)合MQ的持久化和消息可靠投遞機制，保障任務(wù)的順利向下游執(zhí)行，降低數(shù)據(jù)丟失的風(fēng)險。

為了保證數(shù)據(jù)的一致性，在任務(wù)執(zhí)行的過程中每個步驟環(huán)環(huán)相扣，嚴(yán)密協(xié)作。從任務(wù)級別的全局互斥鎖，到流程內(nèi)部的斷點續(xù)傳機制，再到消息隊列的可靠傳輸，以及全局異常監(jiān)控，每一個步驟都指向了同一個目標(biāo)：確保存量商品標(biāo)簽數(shù)據(jù)更新的完整性、準(zhǔn)確性和可靠性，最終實現(xiàn)系統(tǒng)數(shù)據(jù)的一致性。

5. 系統(tǒng)核心設(shè)計之如何消除數(shù)據(jù)讀取瓶頸

5.1 背景

在整個系統(tǒng)中，特別是進行規(guī)則匹配時，往往需要頻繁地根據(jù)規(guī)則去查找、讀取大量的標(biāo)簽基礎(chǔ)數(shù)據(jù)。如果每次都直接從MySQL讀取，在高并發(fā)、大數(shù)據(jù)量的情況下，MySQL很容易成為性能瓶頸，嚴(yán)重影響打標(biāo)整體效率。為了避免這種現(xiàn)象的發(fā)生，設(shè)計了一套健全的多級緩存結(jié)構(gòu)。

多級緩存設(shè)計示意圖

5.2 核心理念

• 多級緩存的數(shù)據(jù)維護

1. 始終以MySQL為權(quán)威源，所有上層緩存都遵循隨MySQL數(shù)據(jù)變而變的基本原則
2. 特殊場景主動清理，在“存量打標(biāo)任務(wù)”啟動時，優(yōu)先主動清理本地緩存和Redis緩存，確保任務(wù)基于最新數(shù)據(jù)進行
3. 數(shù)據(jù)按需加載，緩存數(shù)據(jù)通常在首次訪問時，從更權(quán)威的數(shù)據(jù)源 (Redis 或 MySQL) 按需加載并緩存

• 多級緩存的數(shù)據(jù)讀取

1. 性能高度依賴緩存，多級緩存是保證打標(biāo)效率的重要組件之一，所以在整個標(biāo)簽系統(tǒng)的匹配流程中，始終遵循緩存優(yōu)先原則

2. 容錯降級能力設(shè)計：在整個緩存數(shù)據(jù)使用中，即使部分緩存層失效，系統(tǒng)仍能退回到下層緩存或數(shù)據(jù)庫，以短暫的性能損失來保證整個標(biāo)簽數(shù)據(jù)的可用性

多級緩存架構(gòu)在整個打標(biāo)系統(tǒng)中至關(guān)重要。維護上，以MySQL為權(quán)威，緩存失效策略為主，輔以特殊場景清理；讀取上，緩存是性能核心，數(shù)據(jù)獲取分層依賴，并具備容錯能力。并且這種設(shè)計在性能、一致性和可靠性之間取得了平衡，從而支撐起高效穩(wěn)定的打標(biāo)流程。

6. 未來構(gòu)想

標(biāo)簽平臺作為轉(zhuǎn)轉(zhuǎn)運營系統(tǒng)中的重要組成部分之一，未來還有很大的效率提升空間，后續(xù)也將從以下幾部分入手，進一步提升效率：

• 商品維度：支撐商品打標(biāo)數(shù)量級由百萬級至千萬級
• 標(biāo)簽維度：標(biāo)簽數(shù)據(jù)的結(jié)構(gòu)化，如對標(biāo)簽數(shù)據(jù)樹形化處理，利用樹的特點，提升匹配效率等

7. 總結(jié)

轉(zhuǎn)轉(zhuǎn)商品標(biāo)簽平臺的成功實踐，充分證明了結(jié)構(gòu)化非標(biāo)數(shù)據(jù)對于二手電商平臺精細(xì)化運營的重要性。平臺提供了一種技術(shù)驅(qū)動的解決方案，巧妙地結(jié)合了分層架構(gòu)、事件驅(qū)動、消息隊列、多級緩存、和數(shù)據(jù)一致性保障機制等技術(shù)手段，有效解決了精細(xì)化運營的痛點，并提供強大的技術(shù)支持。