【51CTO.com原創(chuàng)稿件】隨著人工智能時(shí)代的到來，在商業(yè)設(shè)計(jì)領(lǐng)域，藝術(shù)與技術(shù)的較量，逐漸成為當(dāng)下人們關(guān)注的熱點(diǎn)話題。

[[226018]]

蘇寧易購作為“智慧零售”的***者和實(shí)踐者，一個(gè)同時(shí)擁有線上線下，提供用戶多場景購物體驗(yàn)的互聯(lián)網(wǎng)零售企業(yè)，也正在積極探索如何將二者結(jié)合。

智能化風(fēng)口，如何讓“藝術(shù)+技術(shù)”發(fā)揮到***？

目前，蘇寧易購線上各個(gè)端口已經(jīng)實(shí)現(xiàn)針對不同用戶人群的精準(zhǔn)化商品推送。

在智能化這個(gè)“風(fēng)口浪尖”，蘇寧極客們在思考，如何讓“藝術(shù)+技術(shù)”在用戶引流關(guān)鍵點(diǎn)的易購線上商品廣告位（商品展示 banner 圖）的作用發(fā)揮到***。

在此之前，每一張線上的商品展示 banner 都是由設(shè)計(jì)一張一張手繪出來，效率不高且 banner 生成周期較長，很難滿足密集的大促需求。

另外，當(dāng)推薦算法需要向用戶推薦不同商品時(shí)，則需要運(yùn)營人員根據(jù)商品手動(dòng)匹配不同的底版（banner 元素中除去商品圖的元素素材圖），這樣耗時(shí)耗力。

因此，一套智能設(shè)計(jì)平臺(tái)—“千變 banner”就應(yīng)運(yùn)而生。該平臺(tái)基于機(jī)器學(xué)習(xí)，能夠根據(jù)上傳素材按照設(shè)計(jì)語言在線生成百余張定制 banner。

同時(shí)基于用戶偏好，動(dòng)態(tài)展示 banner 圖，提高單個(gè)廣告位的利用率。并且依賴智能推薦，可以提供蘇寧易購線上廣告位的千人千面展示。

本文主要介紹蘇寧在 AI 廣告設(shè)計(jì)領(lǐng)域，以蘇寧易購線上商品廣告位展示 banner 為應(yīng)用場景的整體工作流程，以及相關(guān)的算法技術(shù)框架。

banner 智能設(shè)計(jì)的整體流程和技術(shù)難點(diǎn)

banner 智能設(shè)計(jì)的整體流程

一張 banner 圖（如下圖所示）主要包括兩大維度信息：商品圖和裝飾渲染商品的設(shè)計(jì)背景圖，我們稱之為底版，故一張 banner 的生成工作也是從這兩個(gè)維度來展開。

圖 1：banner 維度信息拆分

具體的工作流程圖如下所示，一方面是根據(jù)推薦算法推薦的商品圖，從中摳出商品主體。

當(dāng)然在分割之前，首先需要對商品圖片預(yù)先評估，過濾淘汰掉一些質(zhì)量較差的商品圖片。

與此同時(shí)，底版也在同步生成，分割后的商品圖再與生成的底版進(jìn)行匹配得到同一商品的多張 banner，這些 banner 則會(huì)進(jìn)入到我們的打分模型進(jìn)行篩選，而后輸出***質(zhì)的商品 banner。

圖 2：banner 智能設(shè)計(jì)整體流程框架

流程中的每一個(gè)階段都至關(guān)重要且直接影響到***生成 banner 的質(zhì)量，而兩個(gè)維度中的部分模塊的技術(shù)實(shí)現(xiàn)上也存在著諸多技術(shù)難題，主要體現(xiàn)在以下幾個(gè)方面。

banner 智能設(shè)計(jì)的技術(shù)難點(diǎn)

技術(shù)難點(diǎn)一：banner 中商品主圖的分割

作為一張 banner 圖的核心、用戶引流的關(guān)鍵因素，展示的商品主圖質(zhì)量至關(guān)重要。

前期 banner 圖上的商品主圖都是靠設(shè)計(jì)師手工切割出來，再設(shè)計(jì)底版進(jìn)行組合生成的。

而如今，我們想通過機(jī)器來自動(dòng)生成 banner，那就需要利用圖像分割算法來取代這部分手動(dòng)摳圖工作。

為了保證宣傳的美感和設(shè)計(jì)感以及一些商品促銷宣傳點(diǎn)的突出，設(shè)計(jì)師們將商品圖進(jìn)行包裝修飾，加上某些商品自身的特點(diǎn)，這些又成為我們分割任務(wù)的“難例”，比如家電品類的鏡像、陰影、以及商品圖中的宣傳貼等。

然而傳統(tǒng)的圖像分割技術(shù)大多是基于圖像本身的低層級的視覺信息來進(jìn)行的，如下的展示為利用基于圖方法的 grabcut 分割結(jié)果。

圖 3： 基于 grabcut 商品圖像分割結(jié)果

從右圖可以看出，雖然商品的主體部分很容易被分割出來，但盒身的陰影部分嚴(yán)重影響了分割效果，且在邊緣部分分割的極為粗糙，顯然達(dá)不到蘇寧易購線上商品展示圖的標(biāo)準(zhǔn)。

故探索一種能有效解決這些分割難例，實(shí)現(xiàn)商品圖精細(xì)化分割的方法，顯得十分重要。

技術(shù)難點(diǎn)二：設(shè)計(jì)語言到機(jī)器語言的轉(zhuǎn)換

說到這，我們先回到“人工智能”這個(gè)詞本身——所謂的人工智能，其根本就是先是有人工，其次才是智能。

同樣的，在 banner 智能設(shè)計(jì)的場景下，最重要也是最基礎(chǔ)的就是底版數(shù)據(jù)，這些數(shù)據(jù)目前就來源于人工。

如何通過這些“人工”數(shù)據(jù)，轉(zhuǎn)變成“智能”數(shù)據(jù)，讓設(shè)計(jì)師的設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)變成機(jī)器能夠?qū)W習(xí)的機(jī)器數(shù)據(jù)，這正是我們在底版生成這個(gè)階段的一大難題。

在 banner 底版元素庫的建立階段：在與 banner 設(shè)計(jì)師溝通之后，我們將一張 banner 的元素逐層拆分開如下圖所示，主要包括：背景層、紋理層、背景裝飾層、蒙層、商品裝飾層、以及一些文案信息。

同時(shí)，把各底版的圖層元素按照不同屬性分別標(biāo)注打上標(biāo)簽，如根據(jù)商品品類的標(biāo)簽：家電、食品等，使用類型標(biāo)簽：日常、大促等。

這些標(biāo)簽完善之后，根據(jù)這些標(biāo)簽，建立不同的圖層庫，這樣我們的圖層元素中心便建立起來。

圖 4：banner 的各層元素圖

圖 5：banner 布局的模版示例圖

在 banner 底版生成及篩選階段：基于上述建立的元素中心，根據(jù)設(shè)計(jì)師預(yù)先定義好的布局標(biāo)簽，部分如上圖所示，就能生成特定風(fēng)格、尺寸、特定品類的底版。

同時(shí)，每生成一張底版，就記錄下該底版對應(yīng)來源的父系元素標(biāo)簽，便于對底版數(shù)據(jù)的分析篩選。

此時(shí)，我們注意到如果僅按照不同的圖層元素的隨機(jī)組合，即使很少的素材輸入也會(huì)生成大量的底版，這些底版很多是明顯不能使用的。

故在生成底版階段，算法根據(jù)設(shè)計(jì)師的設(shè)計(jì)語言，將一些設(shè)計(jì)的“潛規(guī)則”轉(zhuǎn)化成機(jī)器語言，預(yù)先規(guī)避這些 badcase 的生成。

如當(dāng)?shù)装姹尘皩拥念伾递^小時(shí)，蒙層則應(yīng)選擇透明度較高的，且色值相近的兩層，不能被搭配在一起等等。

在底版生成的階段就加入這些默認(rèn)的規(guī)則，這使得生成的底版至少符合設(shè)計(jì)的標(biāo)準(zhǔn)，從而降低了后期 banner 篩選的樣本量。

圖 6：生成的底版樣例圖

在商品圖與底版的匹配階段：底版生成和商品圖分割之后，就進(jìn)入了二者匹配融合階段。

實(shí)際上，商品圖與底版能否搭配其實(shí)是一個(gè)非常主觀性的概念，即使不同的設(shè)計(jì)師也會(huì)有不同的設(shè)計(jì)搭配風(fēng)格。

而且一張商品圖片如果與生成的底版進(jìn)行全量搭配，則會(huì)得到大量的 banner，事實(shí)上很多 banner 是會(huì)被審核淘汰的且徒增工作量。

同樣的，我們遵循底版生成規(guī)則的思路，提前從設(shè)計(jì)語言抽象出機(jī)器能學(xué)習(xí)的不能搭配的數(shù)字語言。

依據(jù)“規(guī)則+算法”的邏輯，將商品與底版搭配組合的這一動(dòng)作抽象成特征匹配的過程。

在匹配算法的特征提取階段，選定底板中商品展示區(qū)域作為特征提取 ROI，再提取待疊加商品圖像的顏色特征，計(jì)算二者特征距離決定能否匹配。

同時(shí)讓機(jī)器將這些不能匹配的特征值進(jìn)行量化，形成線性的不可匹配特征區(qū)間。

當(dāng)某底版再次遇到落在其對應(yīng)的不可匹配特征區(qū)間內(nèi)的商品圖像時(shí)，則不進(jìn)行疊加生成 banner。

技術(shù)難點(diǎn)三：banner 打分規(guī)則的建立

當(dāng)個(gè)性化算法推薦的商品匹配到底版生成多張 banner 之后，就會(huì)進(jìn)入我們的 banner 評價(jià)系統(tǒng)進(jìn)行打分，再進(jìn)行模型訓(xùn)練。該系統(tǒng)是將大量的設(shè)計(jì)成品作為評估依據(jù)，從而輸出一張***質(zhì)的 banner。

但實(shí)際上說 banner“優(yōu)質(zhì)”也是非常主觀的，它在開發(fā)人員的眼中可能是極好的，但是在設(shè)計(jì)人員角度看可能就是被淘汰的，所以一張 banner 的好壞需要從不同的角度來評估。

除此之外，一張不合格的底版，可能僅僅因?yàn)樯唐穲D的匹配不理想而被淘汰，所以算法需要知道淘汰底版被淘汰的因素。

綜上，我們定義了如下兩個(gè)概念：

• 打分項(xiàng)：顧名思義即為該 banner 需要被打分標(biāo)記的元素項(xiàng)。目前主要的打分項(xiàng)有：文案的顏色、商品匹配、底版匹配等，其中對底版的打分按照生成的其父系標(biāo)簽進(jìn)行打分，精細(xì)到每一個(gè)圖層元素。
• 打分維度：即從不同的維度對生成的 banner 進(jìn)行打分。綜合該 banner 從設(shè)計(jì)到其線上表現(xiàn)等因素，我們把打分維度歸納為設(shè)計(jì)師、banner 的線上曝光點(diǎn)擊比和普通的線下用戶。

在模型訓(xùn)練階段，banner 的打分主要由運(yùn)營人員和設(shè)計(jì)師來決定得分標(biāo)簽，輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練輸出結(jié)果。

在模型驗(yàn)證階段，由輸出結(jié)果的線上曝光點(diǎn)擊比例來決定此張 banner 的得分標(biāo)簽，再反饋回模型不斷的強(qiáng)化學(xué)習(xí)，保證從多個(gè)維度不斷完善該評價(jià)機(jī)制。

banner 智能設(shè)計(jì)的相關(guān)算法模型介紹

基于深度學(xué)習(xí)的智能摳圖算法

為了實(shí)現(xiàn)對推薦商品圖的精細(xì)化分割，蘇寧圖像標(biāo)注團(tuán)隊(duì)對商品圖像進(jìn)行了大量的像素級別的標(biāo)注，并構(gòu)建基于深度學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行訓(xùn)練來建立商品圖的分割算法模型，同時(shí)對分割結(jié)果進(jìn)行優(yōu)化，提高分割商品圖質(zhì)量。

采用 Dilated Convolution 空洞卷積

傳統(tǒng)的 CNN 網(wǎng)絡(luò)結(jié)構(gòu)中大多采用 pooling 池化來達(dá)到降維的目的，這就會(huì)導(dǎo)致經(jīng)過池化后的特征層上像素尺寸比較低。

即使通過上采樣的操作，例如 FCN 就是先進(jìn)行 pooling 減小圖像尺寸，再進(jìn)行 upsampling 擴(kuò)大原圖像尺寸，這樣不斷重復(fù)減小擴(kuò)大的過程就導(dǎo)致了 featuremap 上精度的損失。

因此我們構(gòu)建的分割網(wǎng)絡(luò)中采用空洞卷積的做法是：去掉池化層，同時(shí)在卷積操作后進(jìn)行如圖所示的操作，從而可以擴(kuò)大感受野，再對提取到的 featuremap 操作來實(shí)現(xiàn)更加精確的商品圖像分割。

圖 7：空洞卷積示意圖

全連接條件隨機(jī)場精修商品圖邊緣

在分割網(wǎng)絡(luò)的前端運(yùn)用的深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以很好的預(yù)測是否有商品，以及商品在圖像中的大致位置區(qū)域，但并不能準(zhǔn)確的定位到商品圖像的邊界，同樣會(huì)導(dǎo)致分割的邊緣不精細(xì)。

故在我們分割網(wǎng)絡(luò)的后端加入了全連接的條件隨機(jī)場（conditional random field，CRF）對神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)果進(jìn)行優(yōu)化。

CRF模型中將圖像中每個(gè)像素點(diǎn)所屬的類別表示成一個(gè)變量，然后再考慮任意兩個(gè)變量之間的聯(lián)系。

對應(yīng)的能量函數(shù)為：

其中，是一元項(xiàng)，表示像素對應(yīng)的語義類別，二元項(xiàng)就是描述像素點(diǎn)與像素點(diǎn)之間的關(guān)系，基于兩個(gè)像素點(diǎn)的實(shí)際距離和顏色信息來判斷，越相似的像素得到相同的標(biāo)簽。

所以這樣 CRF 能夠使圖片盡量在邊界處分割，***通過不斷的優(yōu)化該能量函數(shù)達(dá)到理想的分割效果。

分割圖像抗鋸齒

即使利用“像素級”的分割方法能夠很好的將商品主圖摳出來，但同時(shí)帶來的副作用就是在商品圖的邊緣存在鋸齒，嚴(yán)重影響 banner 的展示效果。

故在分割網(wǎng)絡(luò)之后，我們又加入了抗鋸齒的算法。提取分割后商品圖像的 alpha 通道，獲取圖像邊緣，并按照邊緣鋸齒的形狀，分成 16 種 pattern 如下圖所示：

圖 8：抗鋸齒邊緣計(jì)算

根據(jù)不同的鋸齒模式重新計(jì)算邊緣區(qū)域的像素值，如下右圖所示，圖像邊緣過渡就顯得十分平滑，從而達(dá)到消除鋸齒的目的。

圖 9：抗鋸齒優(yōu)化對比

基于多任務(wù)學(xué)習(xí)的 banner 評估模型

多任務(wù)學(xué)習(xí)

在建立評估模型的初期，我們也嘗試了多種方案，例如建立一個(gè)學(xué)習(xí)任務(wù)的評估網(wǎng)絡(luò)僅針對商品圖與底版匹配是否合理的，實(shí)際的訓(xùn)練過程中我們發(fā)現(xiàn)這一個(gè)單任務(wù)的網(wǎng)絡(luò)很快就收斂，且測試也出現(xiàn)過擬合。

后期調(diào)整訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)增加卷積層層數(shù)，問題仍未得到改善，故考慮到單任務(wù)學(xué)習(xí)的局限性，嘗試從多任務(wù)學(xué)習(xí)角度來建立 banner 評估模型。

多任務(wù)學(xué)習(xí)可以學(xué)到多個(gè)任務(wù)的共享表示，這個(gè)共享表示具有較強(qiáng)的抽象能力，能夠適應(yīng)多個(gè)不同但相關(guān)的目標(biāo)，通常可以使主任務(wù)獲得更好的泛化能力。

在 banner 評估的維度上，并沒有主次任務(wù)之分，每一個(gè)任務(wù)相對于其他任務(wù)來說都可以看成是一個(gè)主任務(wù)。

多個(gè)相關(guān)任務(wù)放在一起學(xué)習(xí)，有相關(guān)的部分，但也有不相關(guān)的部分。當(dāng)學(xué)習(xí)一個(gè)任務(wù)時(shí)，與該任務(wù)不相關(guān)的部分，在學(xué)習(xí)過程中相當(dāng)于是噪聲，可以提高學(xué)習(xí)的泛化效果。

圖 10：banner 評估網(wǎng)絡(luò)整體架構(gòu)

banner 評估網(wǎng)絡(luò)的結(jié)構(gòu)簡介

參考 Inception v3 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)思路，我們在網(wǎng)絡(luò)中特征提取階段中利用兩個(gè)一維的 1x3 和 3x1 的卷積核取代 3x3 的卷積核，這樣網(wǎng)絡(luò)層數(shù)進(jìn)一步加深，同時(shí)一個(gè)卷積核拆分成兩個(gè)卷積核可以增加網(wǎng)絡(luò)的非線性。

網(wǎng)絡(luò)中加入 Batch Normalization 層。BN 是一種非常有效的正則化方法，能夠有效的加快網(wǎng)絡(luò)訓(xùn)練速度，同時(shí)收斂后的分類準(zhǔn)確率也可以得到大幅提高。

BN 在用于神經(jīng)網(wǎng)絡(luò)某層時(shí)，會(huì)對每一個(gè) mini-batch 數(shù)據(jù)的內(nèi)部進(jìn)行標(biāo)準(zhǔn)化（normalization）處理，使輸出規(guī)范化到 N(0，1) 的正態(tài)分布。

在模型的訓(xùn)練過程中，我們增加學(xué)習(xí)率以適用BN規(guī)范化后的數(shù)據(jù)，去除 Dropout 并減小 L2 正則（BN 已經(jīng)起到正則化的作用）。

圖 11：Inception 網(wǎng)絡(luò)結(jié)構(gòu)

評估網(wǎng)絡(luò)的損失函數(shù)采用 SoftMaxWithLoss，同時(shí)對應(yīng)的網(wǎng)絡(luò)中增加 Slice layer，將 input 的 label 標(biāo)簽進(jìn)行拆分，從而實(shí)現(xiàn)對 banner 中每一個(gè)評分項(xiàng)進(jìn)行評估輸出。

總結(jié)及工作方向

日前，該智能設(shè)計(jì)平臺(tái)已經(jīng)支持蘇寧易購線上的所有商品廣告位的 banner 展示，在經(jīng)歷蘇寧易購 O2O 購物節(jié)和年貨節(jié)等大促的線上洗禮之后，千變 banner 愈發(fā)的成熟與穩(wěn)定，極大的減少了設(shè)計(jì)師的重復(fù)工作，同時(shí)也能滿足運(yùn)營人員大量的 banner 需求。

目前我們的整體架構(gòu)是按照這個(gè)思路進(jìn)行生成 banner 以及篩選到線上推廣的，但想要 banner 設(shè)計(jì)更加的智能化，就要盡可能少的讓規(guī)則干預(yù)設(shè)計(jì)，盡可能多的基于算法實(shí)現(xiàn)。

所以根據(jù)設(shè)計(jì)師等各方的反饋，總結(jié)出之后的三個(gè)工作方向。

banner 元素的自適應(yīng)排版

目前 banner 上的元素的布局都是相對固定的，這就導(dǎo)致了不同尺寸的底版元素兼容性不高，對底版的生成有一定的局限性。

目前我們這塊的工作是通過機(jī)器來學(xué)習(xí)元素的排版布局，對應(yīng)到易購線上不同的廣告宣傳位，針對性的解決 banner 尺寸的自適應(yīng)縮放。

banner 底版智能上色

目前生成的底版雖然能滿足日常的線上使用，但由于底版的生成是基于元素庫的，只生成已有的，而不能進(jìn)行創(chuàng)造。

換言之，實(shí)際上做的是美工的工作，而不是設(shè)計(jì)。所以我們就想利用設(shè)計(jì)師的手稿進(jìn)行自動(dòng)上色，來真正的做到“千人千面”，“千物千面”。

圖12：蘇寧易購線上展示 banner 底版

圖 13：灰度格式的底版及模型自動(dòng)上色的底版

從上圖兩組初步的自動(dòng)上色結(jié)果可以看到，整體來看智能上色這個(gè)方案還是可行的。但是在一些細(xì)節(jié)裝飾的邊緣部分還沒能到達(dá)高分辨率的要求。

同時(shí)，在一些淺層的紋理層，算法的上色效果不是特別明顯，所以這塊的工作方向是達(dá)到一個(gè)高分辨率的自動(dòng)上色。  

從線上推廣到線下

目前智能設(shè)計(jì)的平臺(tái)已經(jīng)逐步在線上推廣使用，蘇寧已經(jīng)擁有幾千家線下門店，且隨著蘇寧“智慧零售”的 2w 家門店的大開發(fā)戰(zhàn)略，同樣也有大量的宣傳版面的視覺設(shè)計(jì)工作要進(jìn)行，且需求量巨大。

所以未來的工作方向之一也在于利用線上 banner 的生成思路，進(jìn)行線下門店的的視覺設(shè)計(jì)。

[[226033]]

童欣欣，蘇寧易購人工智能實(shí)驗(yàn)室算法工程師，參與商品圖像識(shí)別和 AI 智能設(shè)計(jì)并進(jìn)行相應(yīng)的研究和開發(fā)工作。具有良好的技術(shù)知識(shí)背景，在深度學(xué)習(xí)、圖像識(shí)別、算法性能優(yōu)化等方面有著深刻的理解和豐富的經(jīng)驗(yàn)。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】