【51CTO.com原創(chuàng)稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運維技術(shù)峰會在北京召開。此次峰會圍繞人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等12大核心熱點，匯聚海內(nèi)外60位一線專家，是一場高端的技術(shù)盛宴，也是***IT技術(shù)人才學習和人脈拓展不容錯過的平臺。

在“容器下的AIOps”分會場，轉(zhuǎn)轉(zhuǎn)公司***架構(gòu)師／架構(gòu)算法部負責人孫玄做了主題為《轉(zhuǎn)轉(zhuǎn)如何打造AI工程架構(gòu)體系》的精彩演講。演講核心內(nèi)容涉及轉(zhuǎn)轉(zhuǎn)AI工程體系中，推薦與搜索架構(gòu)、召回與排序算法的演進。

基于微服務(wù)架構(gòu)的轉(zhuǎn)轉(zhuǎn)二手交易平臺

“一個幫你賺錢的網(wǎng)站”是轉(zhuǎn)轉(zhuǎn)二手交易平臺的定位，主要解決從買買買到賣賣賣的問題。在共享經(jīng)濟的情況下，大家可以把閑置的手機、電腦等物品，通過轉(zhuǎn)轉(zhuǎn)二手交易平臺賣出去，賺一些零花錢。轉(zhuǎn)轉(zhuǎn)二手交易平臺整體架構(gòu)設(shè)計采用微服務(wù)架構(gòu)，于2015年11月12號發(fā)布。

圖1 轉(zhuǎn)轉(zhuǎn)總體微服務(wù)架構(gòu)圖

如圖1所示，可以直觀的看到整個架構(gòu)從左到右進行了垂直拆分，又對從上到下進行了水平分層。架構(gòu)還設(shè)有網(wǎng)關(guān)、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層、數(shù)據(jù)存儲層、注冊中心和配置中心等部分?；谵D(zhuǎn)轉(zhuǎn)總體的微服務(wù)架構(gòu)，孫玄又針對推薦與搜索這兩大架構(gòu)的演進做了詳盡的闡述。

推薦架構(gòu)的演進

轉(zhuǎn)轉(zhuǎn)二手交易平臺的推薦場景分為用戶和商品兩個維度。用戶進入首頁后看到的“看推薦和逛附近”兩個板塊以及點擊分類之后看到的“為你推薦”板塊，這三部分屬于用戶維度。“相似商品“推薦板塊屬于商品維度。

圖2 用戶維度和商品維度場景推薦

這些推薦場景背后的技術(shù)架構(gòu)是如何打造的呢？接下來，讓我們來看看轉(zhuǎn)轉(zhuǎn)二手交易平臺推薦架構(gòu)的演進。

轉(zhuǎn)轉(zhuǎn)二手交易平臺推薦架構(gòu)的演進可分為“石器時代”、“鐵器時代”和“工業(yè)革命時代”三大階段。

石器時代

推薦架構(gòu)最開始0到1的過程，稱之為石器時代，如圖3所示。

圖3 “石器時代”架構(gòu)圖

在“石器時代”所有的用戶進入首頁，都會看到同樣的推薦內(nèi)容。用戶請求通過轉(zhuǎn)轉(zhuǎn)APP統(tǒng)一網(wǎng)關(guān)接入到推薦業(yè)務(wù)邏輯層進行一系列操作：如參數(shù)驗證，拼裝搜索請求參數(shù)等，最終訪問搜索引擎。搜索引擎會進行召回和排序，并把結(jié)果返回給推薦業(yè)務(wù)邏輯層，業(yè)務(wù)邏輯層進行結(jié)果過濾、去重打散、渲染返回結(jié)果到APP客戶端。

總結(jié)來說，“石器時代”的特點有全局推薦、無個性化、召回源單一、基于人工規(guī)則排序以及不支持線上ABTest等。

鐵器時代

在“鐵器時代”首要解決的問題就是個性化推薦，如圖4所示為此階段的架構(gòu)圖。

圖4 “鐵器時代”架構(gòu)圖

“鐵器時代”整個架構(gòu)***的變化在于物理分離推薦排序?qū)雍驼倩貙?。召回層?ldquo;鐵器時代”做了很多和個性化推薦相關(guān)的事情，如計算用戶商品特征、計算商品相似度和用戶實時畫像等等?？偨Y(jié)來說，“石器時代”的特點是，***引入了個性化召回源，第二記錄了推薦來源血統(tǒng)，第三為用戶的行為流程做了反饋，第四支持了ABTest分組實驗。

工業(yè)革命時代

歷經(jīng)了兩個時代之后，推薦系統(tǒng)的排序結(jié)果依然不是很理想，主要是因為排序?qū)觾H僅做了分層排序，并沒有把多個召回源進行融合排序。“工業(yè)革命時代”的核心是實時化+機器學習驅(qū)動。

圖5 “工業(yè)革命時代”架構(gòu)圖

如圖5所示，在“工業(yè)革命時代”推薦排序?qū)影l(fā)生了較大變化，引入了統(tǒng)一的機器學習排序模型。如果要引入機器學習排序模型來排序，就需要一些基礎(chǔ)設(shè)施支持，所以“工業(yè)革命時代”增加了推薦統(tǒng)一召回服務(wù)層，涉及統(tǒng)一召回服務(wù)和統(tǒng)一特征服務(wù)。

“工業(yè)革命時代”的推薦架構(gòu)做到了特征、模型的實時化，秒級捕捉到用戶對商品變化再針對性推薦商品，進而提升轉(zhuǎn)化率。除此之外，架構(gòu)內(nèi)部做到了組件化，可以自定義DSL和靈活編排組件。

未來，推薦架構(gòu)將實現(xiàn)全面流水線化（如圖6），一鍵完成模型訓練、模型上線，實現(xiàn)復雜模型持續(xù)集成、快速迭代，從而大大提升生產(chǎn)效率。

圖6 轉(zhuǎn)轉(zhuǎn)推薦架構(gòu)流水線圖

搜索架構(gòu)演進

轉(zhuǎn)轉(zhuǎn)二手交易平臺的搜索場景分為分類搜索和關(guān)鍵詞搜索，如圖7所示。

圖7 分類搜索和關(guān)鍵詞搜索

在轉(zhuǎn)轉(zhuǎn)二手交易平臺中，搜索架構(gòu)的演進分為三個階段：規(guī)則、機器學習模型和平臺化。

規(guī)則階段

搜索架構(gòu)的***階段是人工規(guī)則排序，如圖8為規(guī)則階段架構(gòu)圖。

圖8 規(guī)則階段架構(gòu)圖

規(guī)則階段由搜索邏輯層進行請求參數(shù)處理，搜索訪問代理層進行參數(shù)解析之后，進而訪問搜索集群。搜索集群承擔召回和排序兩階段。

規(guī)則階段，所有的召回、排序規(guī)則都由人工來定，主觀調(diào)參調(diào)權(quán)，并且不支持線上ABTest。最終線上搜索效果也是無法有效評估。

機器學習模型階段

這些階段，搜索架構(gòu)主要引入了機器學習模型。如圖9所示為機器學習模型階段架構(gòu)圖。

圖9 模型階段架構(gòu)圖

模型階段，最主要特點是機器學習化，不僅召回過程中采用了機器學習模型，在排序階段，大規(guī)模采用機器學習模型。由簡單模型進行召回粗排，復雜機器學習模型進行細排。此階段還做到了Query預分析、ABTest分組實驗和用戶行為數(shù)據(jù)反饋等。

平臺化階段

搜索通常是一個中臺的作用，很多業(yè)務(wù)線都會用到搜索功能，故搜索架構(gòu)要實現(xiàn)平臺化，如圖10所示為平臺化階段架構(gòu)圖。

圖10 平臺化階段架構(gòu)圖

平臺化階段***的變化是Query改寫、召回、預測、ABTest等功能服務(wù)化，在平臺化之后，還要做到服務(wù)通用化。

未來，搜索架構(gòu)致力成為大中臺，通過云搜索引擎實現(xiàn)業(yè)務(wù)一鍵接入（如圖11）。

圖11 轉(zhuǎn)轉(zhuǎn)云搜索引擎架構(gòu)圖

算法演進

孫玄表示， 算法是為了解決召回和排序這兩大問題，無論推薦、還是搜索場景均一樣。

召回算法演進，可分為非個性化召回、基于興趣召回、基于商品的協(xié)同過濾(Item-Based CF)和基于用戶的協(xié)同過濾(User-Based CF)。排序算法演進，可分為基于人工規(guī)則、邏輯回歸模型、GBDT+LR、Deep&Wide和FTRL。

算法未來演進將實時化和模型化。實時化方面，是針對特征的獲取和模型的變更而言。模型化方面，是針對召回層和排序?qū)幽Ｐ偷膹碗s度而言，未來模型越來越復雜，對工程架構(gòu)帶來的挑戰(zhàn)也會越大。

電商AI體系未來

關(guān)于電商AI體系未來到底應(yīng)該如何演進的問題，孫玄表示，本質(zhì)還是解決好商品的匹配（召回問題）和排序（如圖12）。排序方面，排序集相對少，架構(gòu)挑戰(zhàn)不大。匹配方面，涉及到海量商品候選集的問題，架構(gòu)挑戰(zhàn)較大。

圖12 電商AI體系架構(gòu)圖

圖13 電商AI體系提升質(zhì)架構(gòu)圖

圖14電商AI體系擴大量架構(gòu)圖

商品匹配問題如何解決？孫玄表示，從兩方面著手：一方面是提升質(zhì)（如圖13），通過在召回層應(yīng)用更加復雜的深度學習模型，提升商品召回的準確度；另一方面是擴大量（如圖14），擴大匹配商品候選集，盡可能匹配出近全量的商品數(shù)據(jù)。

以上內(nèi)容是編輯根據(jù)孫玄在WOT2018全球軟件與運維技術(shù)峰會的演講內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請關(guān)注51cto.com。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】