【51CTO.com原創(chuàng)稿件】蘇寧木牛是蘇寧人工智能研發(fā)中心設計的一款智能設計產(chǎn)品，木牛取自三國諸葛亮發(fā)明的運輸工具，意在提升設計師的工作效率。經(jīng)過幾年的發(fā)展，蘇寧木牛已經(jīng)從最初批量摳圖、批量合成的設計輔助工具，發(fā)展成為能夠理解設計規(guī)則、自適應各應用場景的設計約束的設計助手，并初步具備一定的學習能力，能夠在設計師少量輸入的情況下，延續(xù)設計師的風格進行持續(xù)創(chuàng)作。

蘇寧木牛已經(jīng)在業(yè)務場景里初現(xiàn)威力，在廣告投放中，設計師只需設計少量基礎模板，就可以生成海量banner，通過更精美的設計，更好的商品創(chuàng)意搭配，提升點擊率30%-80%;大促創(chuàng)意圖設計場景中，通過受限的智能合成，在保證創(chuàng)作質(zhì)量的情況下，提升設計師人效500%，全年批量合成圖片數(shù)億張。

成功的背后是團隊幾年來的沉淀，3年前團隊開始嘗試把AI技術引入到設計智能應用的過程中，在研發(fā)過程中最讓我們感到困難的是設計創(chuàng)意的不確定性，設計規(guī)則的不確定、優(yōu)化目標與設計目的的不確定、評價標準的不確定。

為了克服設計過程的這種不確定性和模糊性，我們只能摸著石頭過河，通過一項項基礎算法的能力實現(xiàn)以及一個個業(yè)務場景的實踐逐步累積經(jīng)驗。在最開始，首先想要突破的是配色和布局兩個影響設計最為關鍵的因素，為此我們實現(xiàn)了智能配色以及尺寸拓展兩個小工具，這為后續(xù)的能力迭代打下了堅實基礎。經(jīng)過大促氛圍圖、促銷打標圖、站外廣告投放、smart banner等場景的歷練，蘇寧木牛逐步歸納總結(jié)，形成基礎引擎的四駕馬車，分別是智能素材引擎、智能創(chuàng)作引擎、智能合成引擎、智能優(yōu)選引擎。

圖1視覺創(chuàng)意平臺應用架構(gòu)

智能素材

智能解析為智能設計提供了最根本的動力源泉，無論是一個設計模板還是一個單獨的圖片，只要漂亮的設計資源都不會放棄，經(jīng)過智能解析后大部分都可以變成后續(xù)智能創(chuàng)作的素材。

商品主圖經(jīng)過質(zhì)檢識別和摳圖后，可以過濾掉牛皮癬過多、包含時效信息的不可用圖片，進而再區(qū)分白底圖還是場景圖，并對牛皮癬區(qū)域進行復原，對干凈圖片進行摳圖形成透明圖庫，蘇寧木牛摳圖算法先經(jīng)過一個圖像分割網(wǎng)絡獲取trimap掩碼然后再經(jīng)過一個matting網(wǎng)絡優(yōu)化摳圖的邊緣結(jié)果，這種精細化摳圖算法可以使透明圖可用率提高到95%以上，同時還通過透明圖質(zhì)量審核算法判斷摳圖質(zhì)量，優(yōu)化商品重心偏移，過小以及多個商品主體等情況，進一步提升透明圖庫的質(zhì)量和可用率，通過建設透明圖場景商品圖結(jié)合的商品圖庫，有效的提升圖片合成效果，在業(yè)務場景驗證可以提升點擊率30%-80%。高質(zhì)量圖庫素材入庫全過程都是自動完成，現(xiàn)在高質(zhì)量商品圖庫已經(jīng)覆蓋全部商品，節(jié)約人力審核成本上萬人天，為千人千面的精準投放提供了有力支撐。

圖2透明圖摳圖算法

除了商品圖庫的建設，素材庫的建設也是非常重要的基礎能力，設計師在進行創(chuàng)作的時候也會進行大量的調(diào)研獲取設計靈感和素材，高質(zhì)量的素材會為智能設計提供源源不斷的動力，以往手工入庫素材的方式，通常需要消耗大量的人力和時間，而經(jīng)過智能解析，蘇寧木?？梢钥焖俚囊罁?jù)屬性將素材入庫。這個過程本質(zhì)是一個分類問題。設計師設計的一套完整的模板通常會包含諸多設計元素以及與之匹配的設計風格，問題的難點在于設計語言的語義信息如何轉(zhuǎn)換成機器語言從而讓其可分，從特征角度可以將其分為低級的基礎特征與高級的視覺語義特征，組合模板結(jié)構(gòu)中獲取的屬性結(jié)構(gòu)信息，設計出一套行之有效的識別邏輯從而達成可分。

對于基礎特征，蘇寧木牛直接通過圖像處理方法或者規(guī)則來提取，對于更高級的特征，采用卷積神經(jīng)網(wǎng)絡構(gòu)建分類器來提取，組合邏輯，最終識別出素材的風格調(diào)性、品類、顏色、用途、使用位置、實體類型等多種屬性，為后續(xù)的素材使用創(chuàng)作提供了海量數(shù)據(jù)支持，使得智能創(chuàng)作的一拓百，百拓萬成為可能。對于質(zhì)量較低的素材，蘇寧木牛還會進行美學篩選、智能裁剪以及超分辨率等手段來進一步提升素材入庫的質(zhì)量。

基礎的素材庫建設同時，模板素材庫的累積也同步開展，通過智能解析提取模板中有價值的信息，為布局排版、顏色搭配、素材搭配提供學習素材。一套完整的模板經(jīng)過圖層類型識別、圖層分組歸類、以及單圖層的屬性識別，從而將一個完整的模板庖丁解牛，圖層可以作為素材單獨使用，其解析出的結(jié)果轉(zhuǎn)換為專有數(shù)據(jù)結(jié)構(gòu)，既可以作為精致模板、也可以作為素材庫在系統(tǒng)里無縫銜接。

圖3模板素材解析流程

智能創(chuàng)作

智能創(chuàng)作環(huán)節(jié)是整個設計創(chuàng)意的核心，可以說素材庫的質(zhì)量代表了設計創(chuàng)意的上限，而智能創(chuàng)作環(huán)節(jié)決定了設計創(chuàng)意能達到的高度。當中遇到的首要難題還是設計創(chuàng)作這個開放問題如何轉(zhuǎn)換為計算機語言并實現(xiàn)，本質(zhì)是將其進行了數(shù)學上的抽象和思考，使其可執(zhí)行，蘇寧團隊在其中也做了很多的工作和嘗試。

舉一個例子，在進行顏色拓展、尺寸拓展的算法工具研發(fā)時，團隊就充分研究其與拓撲學的聯(lián)系，發(fā)掘在設計中的拓撲變換的不變性。比如在尺寸拓展中，到底能不能從一個模板拓展到任意尺寸的模板?團隊內(nèi)部進行了激烈的討論，在最終的設計方案中我們的結(jié)論是實際應用場景中，不同尺寸的模板實質(zhì)上不在同一個拓撲空間中，無法實現(xiàn)連續(xù)變換。同樣在顏色拓展的設計中，顏色空間的變換也要符合拓撲的連續(xù)性。在解決撞色和顏色遷移后模板不可用的問題時，需要對一些特定圖層的顏色進行改變，改變到什么顏色合適?遷移后的顏色會不會引起撞色的問題?為了解決這個問題，我們同樣借鑒了拓撲學中經(jīng)典問題“四色猜想”。四色猜想的內(nèi)容是任何一張地圖只用四種顏色就能使具有共同邊界的國家著上不同的顏色，其背后的幾何屬性是平面內(nèi)不可出現(xiàn)交叉而沒有公共點的兩條直線?；谶@樣的前提，算法在實現(xiàn)時候就無需引入一種新的顏色，當圖片對應的顏色空間主色大于4時，一定可以提取出可用的顏色來進行變色和搭配，由于顏色都取自模板本身，其搭配效果和和諧程度都大大提升。類似這樣的思考讓算法的設計少走了很多彎路，也讓我們前進的更加堅定。

圖4尺寸拓展與顏色遷移效果圖

在大量的應用場景接入中，可以發(fā)現(xiàn)應用場景都有明確的特定業(yè)務約束以及相對主觀的設計規(guī)則，而如何在創(chuàng)作的設計當中融入這些約束，是我們面對的另一個難題。為了解決這個問題，算法設計了靜態(tài)規(guī)劃取材功能以及動態(tài)微調(diào)功能來進行學習生產(chǎn)。

對于靜態(tài)規(guī)劃取材功能，參考了個性化推薦場景進行構(gòu)建，根據(jù)輸入信息的不同，從豐富的模板素材、布局素材、圖片素材、文案素材中快速召回出候選素材，再通過更多特征參與的排序算法選擇合適素材以及素材組合。在召回環(huán)節(jié)采用多路召回，根據(jù)素材的風格、品類、適用場景、顏色、其他相關素材同時出現(xiàn)的幾率、歷史點擊信息，大促信息等維度進行了分路召回，既考慮了素材與輸入信息的搭配，同時也能兼顧歷史過往中的優(yōu)質(zhì)熱門素材內(nèi)容，這種方案可更便利的控制不同選擇邏輯在embedding時的權重，從而適配了不同場景的約束和規(guī)則在實際應用中的取舍。排序環(huán)節(jié)是影響最終效果的關鍵部分，為此算法做了大量的特征工程，通過視覺元素的布局、主要顏色成分的分布、以及各個元素圖像特征的語義標簽的組合，和目標場景對輸出的需要進行相似度的排序，最終按照匹配程度排序輸出素材。

在動態(tài)微調(diào)環(huán)節(jié)，我們認為設計的風格已經(jīng)基本確定，參考設計師創(chuàng)造過程，需要進行一些調(diào)整處理使其進一步符合美學的標準，這個優(yōu)化過程很適合用強化學習實現(xiàn)，我們設計的動作有移動、圖層順序調(diào)整、變色、縮放等，美學和效果的評價采用了布局配色是否合理、有無遮擋類似這樣的一些基本設計原則，同時也結(jié)合了背景簡潔、主體內(nèi)容突出、文案行數(shù)和比例協(xié)調(diào)等一些業(yè)務特點的評價標準。通過控制評價函數(shù)的設計和配置，我們兼容了不同場景的業(yè)務特點，使受限配置規(guī)則與一般美學規(guī)則自然融合，讓其能保證樓層圖顏色的統(tǒng)一，又能保證廣告圖的視覺沖擊力，也能保證促銷氛圍圖的復雜對齊規(guī)則基礎上的整齊統(tǒng)一。

圖5模板智能設計拓展效果

智能合成

智能合成引擎的目的是源源不斷的將算法計算的優(yōu)質(zhì)創(chuàng)意準確快速的呈現(xiàn)給目標用戶。在設計時，蘇寧木牛充分借鑒了photoshop的功能設計，實現(xiàn)了上百種圖片合成功能和效果，這其中最為復雜的是文字的渲染，需要考慮不同字體對生僻字支持的情況，還要通過細致的設置，解決英文、中文、數(shù)字等不同字符、行間距、字間距的文字錯位問題，更要對傾斜文案支持。

經(jīng)過長期調(diào)研和不懈努力，蘇寧木牛的文字渲染模塊從字符渲染層面做了優(yōu)化，使得輸出文案每一行都不再是呆板的平鋪或者使用單一的顏色，而是結(jié)合了語義信息和其他先驗經(jīng)驗，實現(xiàn)多樣化的排版方式和藝術特效，輸出和設計師手工制作幾乎沒有差別的文案區(qū)域渲染效果。

除此之外，為了保證渲染的效果準確自然，團隊持續(xù)不斷的反復試驗優(yōu)化效果，曾花了一周時間技術攻關使算法設計的色值與真實渲染的色值完全一致，也曾為了精益求精利用抗鋸齒算法來提升最終合成圖片的效果。通過海量的數(shù)據(jù)效果驗證以及用戶的反饋，蘇寧木牛持續(xù)優(yōu)化，不斷提升創(chuàng)意合成的呈現(xiàn)效果

蘇寧木牛的合成系統(tǒng)是具有實時渲染能力的，這一方面得益于蘇寧圖片系統(tǒng)海量，安全，低成本高可靠的圖片處理服務。這一系統(tǒng)可以支持旋轉(zhuǎn)、縮放、裁剪、拼圖等圖像處理，還考慮了格式轉(zhuǎn)換、瘦身、復雜格式處理等編碼問題，保證了業(yè)務在任何時間、任何地點、任何互聯(lián)網(wǎng)設備上對圖片進行處理，同時也大量節(jié)省了存儲空間，使得系統(tǒng)不需要預先布置大量的機器進行圖片合成，同時我們也支持移動設備的合圖，通過嵌入sdk，使渲染合成能力前置到了用戶客戶端，進一步提升了合成能力。為了進一步提升用戶的體驗，蘇寧木牛還花很大的精力實現(xiàn)了模板微編輯功能，通過微編輯系統(tǒng)可以采集到了設計師的優(yōu)化改進，拿到第一手的用戶反饋，也可以讓用戶根據(jù)個性需求，進一步提升合成效果，站在蘇寧木牛的肩膀上進一步創(chuàng)作。這在不減少用戶在設計中的參與感的同時，最大限度降低對專業(yè)知識的依賴。以四兩撥千斤的手法巧妙地既保證了用戶對質(zhì)量的需求又滿足了對數(shù)量的要求。

智能優(yōu)選

智能合成的創(chuàng)意圖片已經(jīng)能夠完整地呈現(xiàn)給用戶，滿足用戶在以電商為主的各種場景中的使用需求，但蘇寧木牛沒有止步于此。在爭奪流量的時代，為了能讓蘇寧木牛設計出的創(chuàng)意圖片為商戶帶來最大的流量收益，我們建設了針對創(chuàng)意內(nèi)容的智能優(yōu)選引擎，并在2020年雙十一期間建立了奇功。

智能優(yōu)選引擎與商品的使用場景緊密結(jié)合，為商戶使用創(chuàng)意的效果負責。它通過持續(xù)分析創(chuàng)意圖片的曝光和點擊數(shù)據(jù)，找出能帶來更高點擊率的創(chuàng)意，并從視覺元素角度分析這些創(chuàng)意圖片的共性特征，根據(jù)分析結(jié)果，實時地調(diào)整生成的創(chuàng)意圖片內(nèi)容，更多地生成能帶來更高點擊率的創(chuàng)意圖片，以達到持續(xù)提升圖片點擊率的目的。

2020年雙十一期間，蘇寧木牛生成的創(chuàng)意圖片應用于蘇寧易購的廣告業(yè)務，并通過智能優(yōu)選引擎對創(chuàng)意不斷進行優(yōu)化，約有60%的商品廣告，點擊率的提升在20%以上，約有30%的商品廣告，點擊率提升在10%至20%之間。

以某款嬰幼兒奶粉為例，將圖片中的背景進行調(diào)整后，點擊率(CTR)提升了5%，將圖片中的文字改為更突出商品賣點的描述后，點擊率又提升了10%，再將背景調(diào)整為更貼合母嬰商品氛圍，CTR再次提升了5%。

總結(jié)與展望

在圖片以外，蘇寧木牛也進行了其他視覺創(chuàng)造的積極嘗試，通過視頻的創(chuàng)作、加工、剪輯、音樂匹配等功能提升信息對用戶的有效傳遞，形成多通道、多模態(tài)、多媒體的智能設計能力。

隨著素材資源的豐富優(yōu)化，以及創(chuàng)作能力的持續(xù)提升，蘇寧木牛團隊承接了蘇寧越來越多的業(yè)務場景需求，同時也在通過多業(yè)態(tài)經(jīng)營的表現(xiàn)來進行創(chuàng)意的監(jiān)控和評價，重新調(diào)整創(chuàng)意策略，算法持續(xù)訓練學習，進而形成“設計-投放-再設計”的循環(huán)反饋，構(gòu)建起用戶和產(chǎn)品的溝通橋梁，從而讓設計更美好，效果更專屬。

蘇寧木牛這一人工智能加持的設計引擎，充分解放設計師的雙手，降低設計的門檻和成本，實現(xiàn)批量、快速、豐富的視覺設計，提供千人千面的用戶體驗。更加優(yōu)秀的創(chuàng)意設計是工具，提升用戶的體驗才是目標，相信在未來，蘇寧木牛這一更智能、更高效的創(chuàng)意設計引擎一定會在全渠道零售中發(fā)揮更大的作用，為行業(yè)降本增效、為用戶體驗提升帶來更強的驅(qū)動力。

作者簡介

楊現(xiàn)，蘇寧科技集團人工智能研發(fā)中心計算機視覺算法負責人，擁有多年計算機視覺算法研究經(jīng)驗，曾參與蘇寧商品圖像識別、數(shù)字化門店、圖像內(nèi)容審核、視覺創(chuàng)意平臺等重要項目，對視覺算法在電商領域中的應用與方案設計有深入的理解和思考。

劉永輝，蘇寧科技集團人工智能研發(fā)中心智能創(chuàng)意產(chǎn)品部負責人，蘇寧木牛智能創(chuàng)意平臺產(chǎn)品線負責人，擁有15年以上零售、物聯(lián)網(wǎng)行業(yè)億元級toB項目的產(chǎn)品經(jīng)驗，對大型SaaS服務產(chǎn)品的規(guī)劃和增長有較為深入的研究與分析。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】