【51CTO.com原創(chuàng)稿件】過(guò)去二十年，由于互聯(lián)網(wǎng)的發(fā)展，零售由線下往線上遷移。近些年，伴隨著智能手機(jī)的普及，越來(lái)越多的線上零售在移動(dòng)終端上完成。

隨著這些移動(dòng)設(shè)備計(jì)算力和存儲(chǔ)力的日益強(qiáng)大，智能手機(jī)也正在成為強(qiáng)大的計(jì)算平臺(tái)，為復(fù)雜的端上情景計(jì)算提供了可能。

情景計(jì)算是利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)算法在移動(dòng)設(shè)備上主動(dòng)感知用戶狀態(tài)及用戶所處的環(huán)境，預(yù)測(cè)用戶意圖，對(duì)新零售中“人貨場(chǎng)”等商業(yè)要素提供新的可能。

與傳統(tǒng)云上計(jì)算不同的是，端上情景計(jì)算提供了更實(shí)時(shí)的反饋、更普適的計(jì)算、更好的隱私保護(hù)。

2018 年 11 月 30 日-12 月 1 日，由 51CTO 主辦的 WOT 全球人工智能技術(shù)峰會(huì)在北京粵財(cái) JW 萬(wàn)豪酒店隆重舉行。

本次峰會(huì)以人工智能為主題，阿里巴巴淘寶技術(shù)部的高級(jí)算法專家賈榮飛在機(jī)器學(xué)習(xí)專場(chǎng)與來(lái)賓分享如何用手機(jī)信息改變電商和用戶之間的交互模式，即：重新定義人、貨、場(chǎng)。

本次分享將從如下四個(gè)部分展開(kāi)：

• 電商場(chǎng)景的發(fā)展
• 什么是情景計(jì)算
• 端上智能框架
• 新場(chǎng)景探索實(shí)踐

電商場(chǎng)景的發(fā)展

 

對(duì)于零售電商來(lái)說(shuō)，人、貨、場(chǎng)三個(gè)要素是永恒的主題。為什么這么說(shuō)呢?

如今，隨著移動(dòng)社交的普及，每天都會(huì)有幾億人打開(kāi)手淘，以及各種購(gòu)物類 App 選購(gòu)商品。

與此同時(shí)，網(wǎng)上貨物的 SKU 也發(fā)展到了幾億種。那么問(wèn)題來(lái)了，這么多的人與貨，怎么才能恰到好處地將他們放在一個(gè)場(chǎng)景中呢?我們勢(shì)必對(duì)場(chǎng)的要求會(huì)越來(lái)越高。

 

說(shuō)到場(chǎng)景，PC 時(shí)代淘寶已有業(yè)內(nèi)好的商品類目體系，而且葉子類目也多達(dá)幾萬(wàn)個(gè)。

但隨著貨的增加，目錄檢索依然無(wú)法滿足用戶查找商品需求，“場(chǎng)”開(kāi)始從目錄檢索發(fā)展進(jìn)化到了查詢?cè)~搜索時(shí)代。

用戶用查詢?cè)~細(xì)化需求進(jìn)行檢索，查找相同的商品時(shí)展現(xiàn)給用戶的商品量比目錄檢索降低很多。

隨著商品量的繼續(xù)擴(kuò)大，必須研究用戶更多的信息，因此，我們需要根據(jù)用戶的點(diǎn)擊、收藏、加購(gòu)、購(gòu)買等更多歷史行為信息的關(guān)鍵詞，去研究和理解用戶的偏好。

將海量的貨品和他們的購(gòu)物意圖相匹配，“場(chǎng)”進(jìn)入了推薦時(shí)代，展現(xiàn)給用戶的商品不僅是字面符合用戶需求，在風(fēng)格、品牌、價(jià)位等方面也會(huì)更匹配用戶過(guò)往行為，從而繼續(xù)提高展現(xiàn)給用戶商品列表與用戶的相關(guān)性。

現(xiàn)在，隨著移動(dòng)手機(jī)的廣泛應(yīng)用，我們也可以獲取用戶的各種實(shí)時(shí)狀態(tài)。借此，我們可以通過(guò)情景計(jì)算的技術(shù)，對(duì)狀態(tài)信息進(jìn)行分析和理解，更加聚焦地去了解用戶在彼時(shí)的具體需求。

 

在此，我們提出了兩個(gè)有關(guān)智能“場(chǎng)”的關(guān)鍵問(wèn)題：

• 需要精準(zhǔn)地識(shí)別用戶的狀態(tài)。如上所述，由于用戶手機(jī)所提供的信息過(guò)于繁雜，我們?cè)撊绾纬槌銎渲杏行У牟糠帜?
• 計(jì)算能力支撐智能商業(yè)。從原來(lái)幾個(gè)字節(jié)的單用戶信息查詢，到如今常規(guī)推薦里所包含的幾十兆不同用戶的信息，我們的計(jì)算能力需要能夠應(yīng)對(duì)和支撐日趨劇增的信息量，以及各種復(fù)雜的模型。

 

那么針對(duì)上述問(wèn)題，您也許會(huì)問(wèn)：我們到底是將各種任務(wù)放到云上運(yùn)行，還是在手機(jī)端上執(zhí)行呢?

我們先來(lái)看看在云上進(jìn)行構(gòu)建的特點(diǎn)：

• 云上的并行處理能力非常強(qiáng)，它可以調(diào)動(dòng)成百上千臺(tái)的服務(wù)器對(duì)大量用戶的請(qǐng)求進(jìn)行同步處理。
• 由于可以處理各種全局模型，我們完全可以把所有人的信息合在一起，形成幾個(gè) T 大小的模型，交到云上進(jìn)行并行處理、并對(duì)外提供服務(wù)。
• 但是在面對(duì)上億數(shù)量級(jí)的用戶時(shí)，云服務(wù)它無(wú)法為單個(gè)用戶存儲(chǔ)太多的信息。而且，就單一用戶的運(yùn)算能力而言，其計(jì)算力也不如手機(jī)端。

我們?cè)賮?lái)看手機(jī)端上的特點(diǎn)：

• 擁有在本地處理時(shí)，所需的大量本機(jī)用戶信息。
• 由于如今用戶手機(jī)的性能普遍不差，因此本地的計(jì)算能力比較強(qiáng)。
• 響應(yīng)的實(shí)時(shí)性。相對(duì)于在云上需要經(jīng)過(guò)層層路由轉(zhuǎn)發(fā)，手機(jī)端上的實(shí)時(shí)交互與響應(yīng)能力更強(qiáng)，它們?cè)陧憫?yīng)速度上能夠比云端快十倍。
• 由于用戶個(gè)人數(shù)據(jù)駐留在手機(jī)端，而非被轉(zhuǎn)發(fā)到了云上，因此用戶的原始數(shù)據(jù)和隱私信息能夠得到更好的保護(hù)。

可見(jiàn)，對(duì)于用戶的那些實(shí)時(shí)處理情景而言，我們需要有更大的計(jì)算力來(lái)提供服務(wù)，因此應(yīng)當(dāng)采用“以端為主、以云為輔”的架構(gòu)設(shè)計(jì)方式。

端側(cè)任務(wù)關(guān)注用戶實(shí)時(shí)狀態(tài)理解、意圖識(shí)別、個(gè)性化需求即時(shí)響應(yīng)。云側(cè)任務(wù)關(guān)注在建立用戶全局信息、構(gòu)建用戶全局模型。

什么是情景計(jì)算

 

那么什么是情景計(jì)算?它又涉及到哪些具體的算法架構(gòu)和支持目標(biāo)呢?總的說(shuō)來(lái)，它是對(duì)用戶實(shí)時(shí)狀態(tài)的感知、理解和判斷。

在具體操作中，我們會(huì)從用戶的手機(jī)上收集各種豐富的信息，包括對(duì)用戶的姿態(tài)、位置、和意圖進(jìn)行抽取與理解，進(jìn)而匯集到應(yīng)用層面上，并判斷用戶的下一步動(dòng)作。

眾所周知，我們的手機(jī)能夠?qū)崟r(shí)地通過(guò)各種傳感器，提供著不同的“弱信息”。

因此針對(duì)這些信息，我們要解決如下三個(gè)層面上問(wèn)題：

• 如何判定信息是否有價(jià)值?
• 如何提取有價(jià)值的信息?
• 如何讓這些信息更加好用?

下面我來(lái)分享一下，我們是如何解決上述問(wèn)題的。

 

如上圖所示，智能手機(jī)里一般都帶有加速計(jì)和陀螺儀。它們分別能夠收集三個(gè)緯度的信息，因此一共有六個(gè)緯度的信息，夠涵括用戶的各個(gè)運(yùn)動(dòng)姿態(tài)和加速數(shù)值。

上面中間的兩張圖表分別是加速計(jì)和陀螺儀的數(shù)據(jù)。我們使用各種顏色曲線，標(biāo)注出了用戶的行為規(guī)律性和差異性。

那么，針對(duì)不同的曲線，我們采用了兩種方法，來(lái)對(duì)這些原始數(shù)據(jù)進(jìn)行識(shí)別與分析：

• 人工設(shè)計(jì)特征。我們從時(shí)域和頻率兩個(gè)方面進(jìn)行了特征設(shè)計(jì)。其中，時(shí)域包括：大/小值、中位數(shù)、標(biāo)準(zhǔn)差、均值等數(shù)據(jù);而頻率則包括：幅度、峰值等信息。

通過(guò)對(duì)這些由傳感器所收集到的數(shù)據(jù)進(jìn)行深入理解，我們嘗試性地對(duì)不同的姿態(tài)進(jìn)行了分類。

• 深度學(xué)習(xí)(RNN)模型。將采集數(shù)據(jù)用雙向 GRU 進(jìn)行特征提取，之后接入全連接層，識(shí)別用戶姿態(tài)。

在實(shí)踐中，這兩種模型姿態(tài)識(shí)別的準(zhǔn)確率只有 80% 左右，無(wú)法達(dá)到我們的技術(shù)預(yù)期。

經(jīng)過(guò)分析，我們發(fā)現(xiàn)其原因在于：我們?yōu)?RNN 模型所提供的標(biāo)注數(shù)據(jù)量非常有限，很難達(dá)到非常好的效果。

因此，我們又去尋找了比上述強(qiáng)標(biāo)記數(shù)據(jù)大幾十倍的弱標(biāo)記數(shù)據(jù)，對(duì)它們采取 RNN 的網(wǎng)絡(luò)訓(xùn)練，再結(jié)合我們的目標(biāo)進(jìn)行最終的學(xué)習(xí)。這樣一來(lái)，結(jié)果比原來(lái)要好了許多。

在此基礎(chǔ)上，我們還發(fā)現(xiàn)：人工特征加入模型能夠進(jìn)一步提升預(yù)測(cè)準(zhǔn)確率，我們將人工特征和弱標(biāo)記數(shù)據(jù)上預(yù)訓(xùn)練的雙向 GRU 融合在一起，取得了最好的效果。

 

上圖便是 RNN 模型的邏輯圖：連續(xù)的 Raw 數(shù)據(jù)被直接放入雙向的 GRU 單元進(jìn)行理解和判斷。

在該過(guò)程完成之后，我們的準(zhǔn)確率提高到了 85% 左右，這與我們的預(yù)期仍有一定的差距。

 

分析原因，我們發(fā)現(xiàn)：不同于干凈的實(shí)驗(yàn)室數(shù)據(jù)，用戶在使用 App 時(shí)累計(jì)的數(shù)據(jù)具有很強(qiáng)的隨機(jī)性。

如上方的右圖所示，高黃線，實(shí)際上源于用戶從床上坐起身的姿勢(shì)變化。

因此，對(duì)于我們的模型而言，如果使用數(shù)據(jù)周期過(guò)長(zhǎng)、數(shù)據(jù)過(guò)多，則會(huì)給模型與計(jì)算帶來(lái)壓力;而如果時(shí)間短，模型卻又無(wú)法解決此類偶然抖動(dòng)對(duì)于最終結(jié)果的影響。

因此我們采取的方法是：首先，通過(guò)對(duì)短期信息采集與實(shí)時(shí)處理，來(lái)識(shí)別動(dòng)作;然后，使用一段時(shí)間數(shù)據(jù)進(jìn)行平滑與修正，避免隨機(jī)動(dòng)作的干擾。

這樣一來(lái)，我們對(duì)于各個(gè)姿態(tài)的識(shí)別準(zhǔn)確率能夠達(dá)到 98%～99%。同時(shí)，這也說(shuō)明了由加速計(jì)和陀螺儀所采集來(lái)的原始信息的確是有價(jià)值的。它們不但可以被用來(lái)識(shí)別各種姿態(tài)，而且能夠支持下一步更多的應(yīng)用。

在上述簡(jiǎn)單分析的過(guò)程中，我們的模型還有不足之處。例如：由于用戶姿態(tài)具有一定的相似性，我們尚無(wú)法對(duì)用戶坐車與坐地鐵，這兩個(gè)行為予以準(zhǔn)確區(qū)分。

我們嘗試分析用戶姿態(tài)對(duì)電商的價(jià)值，將姿態(tài)識(shí)別與用戶購(gòu)物意圖進(jìn)行關(guān)聯(lián)分析。

我們發(fā)現(xiàn)：人們?cè)谛凶叩倪^(guò)程中，由于有明確的購(gòu)物目標(biāo)，因此一旦打開(kāi)了淘寶，那么他們的下單概率會(huì)明顯高于其他狀態(tài)。

 

上圖是我們收集到的用戶交互數(shù)據(jù)的情況，即：用戶在手機(jī)上的各種點(diǎn)/劃操作。

顯然，人工分析這些數(shù)據(jù)是非常繁瑣的，因此我們采用了深度學(xué)習(xí)的方法，去對(duì)用戶行為進(jìn)行理解。

 

首先我們選擇一個(gè)實(shí)驗(yàn)任務(wù)來(lái)評(píng)估數(shù)據(jù)有效性，我們需要根據(jù)手機(jī)上的點(diǎn)劃行為，來(lái)判定使用手機(jī)的用戶是否為手機(jī)機(jī)主。

具體實(shí)驗(yàn)為，收集同一款手機(jī)型號(hào)上的點(diǎn)劃數(shù)據(jù)，用模型識(shí)別是否能夠?qū)⑼挥脩舻男袨樽R(shí)別為一個(gè)用戶。

如上圖所示，整個(gè)流程為：

• 對(duì)用戶的點(diǎn)/劃之類的持續(xù)數(shù)據(jù)信息進(jìn)行 Embedding。
• 經(jīng)過(guò)全連接層后，進(jìn)入 ResNet 卷積網(wǎng)絡(luò)。此處用到卷積網(wǎng)絡(luò)的原因在于：通常情況下，人類在不同的交互行為中都包含局部性的特征，而一系列行為之間又有著共同的信息。

因此我們需要用卷積網(wǎng)絡(luò)來(lái)獲取這些局部性。同時(shí)，ResNet 是多層的模型，它能夠增強(qiáng)我們對(duì)信息的抽取。

• 在預(yù)估之前我們用到了雙向 GRU。此處使用雙向 GRU 是為了利用用戶交互行為中的時(shí)序信息。
• 使用 Softmax 做最終的目標(biāo)預(yù)估。

通過(guò)利用交互數(shù)據(jù)來(lái)識(shí)別相同的用戶，我們的區(qū)分準(zhǔn)確率達(dá)到了 95% 以上。這個(gè)實(shí)驗(yàn)證明交互信息對(duì)于用戶理解有非常大的價(jià)值。

此外，我們還對(duì)用戶位置、所處城市天氣等其他數(shù)據(jù)也進(jìn)行了處理。我們完成了對(duì)手機(jī)端上有效信息的綜合理解與認(rèn)知，這也為我們下一步的各種電商應(yīng)用打下了基礎(chǔ)。

端上智能框架

雖然手機(jī)計(jì)算能力越來(lái)越強(qiáng)，但和云上服務(wù)器集群還有很大差異。復(fù)雜的模型不可避免地會(huì)在手機(jī)端上遇到計(jì)算能力的問(wèn)題。

下面讓我們來(lái)看看如何通過(guò)改進(jìn)手機(jī)端上的框架，來(lái)更好解決情景計(jì)算的可計(jì)算性問(wèn)題。

 

上圖是我們總的“云+端”框架模型。其協(xié)作流程為：

在手機(jī)端：

• 針對(duì)原始數(shù)據(jù)的采集，定期獲取用戶的實(shí)時(shí)狀態(tài)。
• 將獲取的狀態(tài)送入基礎(chǔ)模型，以產(chǎn)生中間數(shù)據(jù)。
• 中間數(shù)據(jù)為應(yīng)用產(chǎn)品提供服務(wù)。

在云端：

• 完成對(duì)模型的訓(xùn)練和加工，并定期同步到用戶的手機(jī)端。
• 通過(guò)實(shí)驗(yàn)和各種參數(shù)，實(shí)現(xiàn)對(duì)手機(jī)端的效果配置。

可見(jiàn)，該框架有兩個(gè)關(guān)鍵部分：

• 數(shù)據(jù)和手機(jī)端上工作流的管理。由于用戶的手機(jī)同時(shí)會(huì)運(yùn)行多個(gè)應(yīng)用，因此我們?cè)谡{(diào)用算法去進(jìn)行一系列操作時(shí)，不能影響到用戶的交互式體驗(yàn)，更不能產(chǎn)生卡頓。
• 在云端應(yīng)做好對(duì)模型的壓縮和加速。

下面，我們來(lái)討論一下手機(jī)端上的具體實(shí)現(xiàn)框架。

 

對(duì)于手機(jī)端上的整體智能框架而言，最重要的部分便是數(shù)據(jù)管理。在此，我們配置了一個(gè)時(shí)序數(shù)據(jù)庫(kù)，將采集到的原始數(shù)據(jù)存入庫(kù)中，并同步中間數(shù)據(jù)。

相比移動(dòng)端的 SQLite，或是常見(jiàn)的 KV 數(shù)據(jù)庫(kù)，時(shí)序數(shù)據(jù)庫(kù)優(yōu)勢(shì)在于：它的插入與刪除速度比 KV 數(shù)據(jù)庫(kù)快得多，同時(shí)也能實(shí)現(xiàn)較好的數(shù)據(jù)壓縮，可省 70% 的存儲(chǔ)空間。

而且它比 SQLite 的讀寫速度要快近兩百倍。因此，這種高速的數(shù)據(jù)讀寫支持，方便了我們?nèi)?shí)現(xiàn)更多的模型。

 

上圖便是阿里自研的端上深度學(xué)習(xí)模型框架—AliNN。在處理不同任務(wù)的效率上，它比谷歌的 TensorFlow 要快得多。

首先，通過(guò)對(duì)模型的深度加速，它能夠?qū)崿F(xiàn)在模型初始編譯時(shí)，優(yōu)化端上的 CPU 地址配齊、以及 CPU 的復(fù)雜指令。

在充分利用模型的同時(shí)，它還能對(duì)復(fù)雜的模型進(jìn)行轉(zhuǎn)換和壓縮處理，以毫秒級(jí)的速度為用戶提供服務(wù)。

 

我們?cè)谌ツ觌p十一所推出的用戶笑臉、以及動(dòng)作的識(shí)別功能，都是在手機(jī)端上運(yùn)行的模型。端上部署模型大大優(yōu)化了響應(yīng)時(shí)間，這使得用戶的交互體驗(yàn)非常友好。

新場(chǎng)景探索實(shí)踐

前面無(wú)論提到的是對(duì)于基礎(chǔ)數(shù)據(jù)的處理，還是對(duì)于端上框架的改進(jìn)，其目的都是為了支持應(yīng)用。下面讓我們來(lái)看看，這些數(shù)據(jù)在新場(chǎng)景探索里的具體應(yīng)用。

首先是用戶購(gòu)買概率的預(yù)測(cè)。通常，交互類數(shù)據(jù)分為兩種：

• 點(diǎn)擊控件所產(chǎn)生的操作序列。
• 點(diǎn)/劃操作。

為了綜合運(yùn)用這兩種數(shù)據(jù)，有兩種方法可供選擇：

• 前融合方式。即先做數(shù)據(jù)對(duì)齊，再放入模型。不同行為使用相同的特征提取網(wǎng)絡(luò)，使得行為間時(shí)序信息的提取更加困難，無(wú)法達(dá)到很高的準(zhǔn)確率。
• 后融合方式。如下圖所示，我們來(lái)重點(diǎn)討論。

 

在上圖的左側(cè)，上半部分是用戶點(diǎn)/劃的數(shù)據(jù)，下半部分是用戶點(diǎn)擊不同控件的數(shù)據(jù)。它們分別進(jìn)行 Embedding，并被送入 RNN 模型。

由于用戶的最終行為與后續(xù)操作的關(guān)系更為緊密，而與前面的行為關(guān)系較弱，因此我們?cè)诖瞬⑽床捎秒p向模型，而僅使用了單向 RNN 進(jìn)行處理。

完成處理之后，我們需要將兩個(gè) Embedding 向量連接到一起。如右側(cè)所示，我們嘗試了三種方法：

• 最簡(jiǎn)單的全連接方法。它比單獨(dú)地利用點(diǎn)/劃的交互信息要好一些。
• Self Attention 機(jī)制。由于不同的行為對(duì)于用戶的最終購(gòu)買影響會(huì)有所不同，因此我們?cè)讷@取的信息中加入了 Attention。
• 加入類似于 FM 的模型，對(duì)獲取的信息在組合的基礎(chǔ)上，先進(jìn)行交叉操作，再合并到模型里予以預(yù)測(cè)。

通過(guò)綜合評(píng)測(cè)，我們發(fā)現(xiàn) Self Attention 機(jī)制并未達(dá)到理想的效果，甚至低于全連接的方法;而類似 FM 的機(jī)制則取得了最好的效果。

在我們已經(jīng)具有較高準(zhǔn)確率的前提下，類似 FM 的機(jī)制相對(duì)于全連接方法又提高了 1% AUC。

展望未來(lái)，我們將在如下幾個(gè)方向進(jìn)行更多的嘗試：

• 用戶需求發(fā)現(xiàn)引擎。根據(jù)用戶所處的不同場(chǎng)景，發(fā)現(xiàn)他們的偏好。例如：他們?cè)诩业臅r(shí)候，可能偏好于服飾的購(gòu)買;而在公司時(shí)，則更偏向于辦公用品。
• 從千人千面到千人千模。目前，我們只做到了呈現(xiàn)給每個(gè)用戶的界面不一樣，但是大家仍然共享同一個(gè)模型，這樣并未充分地發(fā)揮用戶手機(jī)端的計(jì)算能力。

如今，隨著對(duì)用戶理解的加深，以及各種模型能夠通過(guò)強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)深度發(fā)展，我們希望在每個(gè)手機(jī)上，去訓(xùn)練出針對(duì)單一用戶的更為個(gè)性化的內(nèi)容。

• 云+端的聯(lián)合學(xué)習(xí)。將千人千模從單一手機(jī)上，拓展到云端，實(shí)現(xiàn)云+端的聯(lián)合訓(xùn)練，以達(dá)到更好的效果。

我們希望將來(lái)的淘寶能夠根據(jù)用戶所處城市，在天氣降溫的場(chǎng)景下，直接推薦那些更厚實(shí)的衣服，讓淘寶成為大家更貼心的購(gòu)物助手。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】