【51CTO.com原創(chuàng)稿件】 隨著互聯(lián)網(wǎng)+的深入發(fā)展，線下零售業(yè)正迎來顛覆式發(fā)展、重新洗牌的轉(zhuǎn)折。

[[218255]]

作為在行業(yè)中實踐線上線下融合的企業(yè)，蘇寧已經(jīng)掌握了智慧零售的先發(fā)優(yōu)勢，迎來了全面爆發(fā)的時刻。

2018 年，蘇寧更是提出了“造極”的發(fā)展方向，意在以極客精神，極速的方式，創(chuàng)造出智慧零售的極物。

“北斗”系統(tǒng)作為一款集大數(shù)據(jù)、人工智能于一體的智慧零售產(chǎn)品，將為蘇寧線下發(fā)展提供強大的技術(shù)支撐。

“北斗”系統(tǒng)建立的初衷

對于線下門店，經(jīng)營好壞的關(guān)鍵因素是什么？總的來說，是門前客流、進店客流、成交單數(shù)、銷售額、客單價等指標。

而其中，尤為重要的便是客流，這是實現(xiàn)銷售經(jīng)營目標的前提?？土髁坎粌H僅影響店鋪運營策略，更是成為投資決策、發(fā)展前景和經(jīng)營效果評估的重要依據(jù)。

通過客流數(shù)據(jù)分析，我們不僅可以了解場所實時客流狀態(tài)并預(yù)測未來客流發(fā)展情況，而且能夠更好地制定針對性營銷策略、調(diào)整商品、廣告擺放展位、顧客動線設(shè)計等等。

基于此實際需求，蘇寧“北斗”系統(tǒng)是一款為門店服務(wù)研發(fā)的數(shù)據(jù)產(chǎn)品，依據(jù)線下監(jiān)控視頻數(shù)據(jù)資源，利用視頻圖像識別技術(shù)，融合視頻處理、圖像處理、模式識別以及人工智能等多個領(lǐng)域的技術(shù)，徹底顛覆了一直以來依賴人工統(tǒng)計或傳統(tǒng)方式的數(shù)據(jù)統(tǒng)計方式。

并且提供了一套更為精準、細化的門店顧客分析數(shù)據(jù)，為門店的智慧經(jīng)營提供一套技術(shù)解決方案。

“北斗”系統(tǒng)平臺架構(gòu)演進

統(tǒng)計客流一直是門店經(jīng)營需求中的一個痛點，作為經(jīng)營管理者，每天首先也是最關(guān)注的是每小時、每天、每周來了多少顧客、出去多少顧客、在店多少顧客等等。

為了獲取這份數(shù)據(jù)，蘇寧在這塊需求上大致經(jīng)歷了以下三個階段：

人力計數(shù)

早期，我們?yōu)榱双@取各個門店的客流數(shù)據(jù)，每個門店都會在門口安排一個人員進行人工統(tǒng)計，然后再通過后臺系統(tǒng)進行維護，這樣總經(jīng)理、店長等管理人員可以大概獲取到一個進店人次的數(shù)據(jù)。

然而缺點也很快暴露出來：

• 統(tǒng)計人員很難做到長時間注意力保持高度集中，導(dǎo)致容易存在漏數(shù)。
• 成本方面，一個門店多則幾十個門，少則 4-5 個門，人力薪資成本比客流設(shè)備投入高很多。

這樣做不僅耗費人力而且工作量大，不能形成成套體系的數(shù)據(jù)積累和參考依據(jù)，因此，這個方案在推行的過程中慢慢被大家放棄了。

WiFi 計數(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，WiFi 技術(shù)遍地開花后，每個門店開始安裝免費 WiFi，讓來店顧客通過連接 WiFi 的方式實現(xiàn)來店顧客的計數(shù)功能。

在技術(shù)上采取手機 MAC 地址進行人數(shù)統(tǒng)計，還可以根據(jù)手機的 IP 進行顧客在店內(nèi)行動軌跡的追蹤以及判斷新老顧客。

但弊端是：

• WiFi 客流統(tǒng)計需要在監(jiān)測范圍保證 WiFi 信號都能覆蓋到，并且信號要穩(wěn)定。
• 顧客的手機要連接上 WiFi 信號才能夠作為統(tǒng)計的來源。
• WiFi 信號的偏移較大，偏移在 6-10 米，這樣會造成數(shù)據(jù)失真。

這三點就嚴重影響了數(shù)據(jù)的準確性，無法保障數(shù)據(jù)的參考價值和分析意義，從而不具備數(shù)據(jù)的指導(dǎo)意義。

視頻計數(shù)

隨著人工智能技術(shù)的發(fā)展和成熟，圖像識別技術(shù)漸漸走向商化應(yīng)用，依據(jù)門店現(xiàn)有的監(jiān)控數(shù)據(jù)，利用視頻識別技術(shù)，可以實現(xiàn)將視頻畫面的活動物體提取、識別、跟蹤等，從而獲取到完整的顧客在線下的用戶行為數(shù)據(jù)。

該數(shù)據(jù)不僅全面、完整，而且還覆蓋了全場景的數(shù)據(jù)，有效的支撐了數(shù)據(jù)化的運營管理，為門店的運營提供強有力的數(shù)據(jù)依托。

[[218256]]

視頻計數(shù)的關(guān)鍵主要有以下三個環(huán)節(jié)：

人臉檢測

以門店部署的高清攝像頭采集的視頻流作為輸入，可以實時檢測跟蹤畫面中的 20 個目標人臉。

同時，由于深度學(xué)習(xí)算法的應(yīng)用，對人臉的多種角度、多種姿態(tài)甚至局部的遮擋，都能輕松檢測、跟蹤。

***人臉采集

這也是一個容易忽視的環(huán)節(jié)，門店攝像頭采集視頻流實際每秒產(chǎn)生 30 幀的畫面，當有人員經(jīng)過的時候，其實采集了大量的人臉捕獲數(shù)據(jù)。

我們通過跟蹤算法跟蹤每個人員的軌跡，采集一組視頻幀截圖，然后通過人臉朝向分析、圖像模糊檢測分析、人臉質(zhì)量打分模型從中挑選出一張質(zhì)量***的人臉照片，并進入到下一環(huán)節(jié)。

人臉識別比對階段

人臉識別技術(shù)已相對成熟，隨著深度學(xué)習(xí)技術(shù)在人臉識別應(yīng)用中的不斷成熟，各家人臉識別算法之間的準確率的差異僅體現(xiàn)在小數(shù)點后幾位。

LFW (Labeled Face in Wild) 是人臉識別研究領(lǐng)域的最重要人臉圖像評測集合之一，其包括 5749 個人的人臉數(shù)據(jù)，均來自實際場景，包含自然的光照、表情、姿勢、遮擋等干擾因素，甚至包含年齡變化、化妝等復(fù)雜的干擾因素。

目前蘇寧大數(shù)據(jù)中心算法團隊在該數(shù)據(jù)集上達到 99.70% 的準確率，與目前該數(shù)據(jù)集***指標 99.83% 差距很小，達到行業(yè)***水準。

能夠取得這樣的準確度，有三個決定性的要素：算法模型、訓(xùn)練數(shù)據(jù)、計算能力。

對于線下門店這種大規(guī)模的開集合的人臉識別應(yīng)用，算法模型面臨的***挑戰(zhàn)就是大規(guī)模一對多人臉識別準確率的問題。

為了解決這個問題，首先，我們將標準 SoftmaxWithLoss 中的 inner product 去除偏執(zhí)項，同時對權(quán)重 w 和神經(jīng)元 x 進行 L2 norm，將問題轉(zhuǎn)換為角度約束的問題。

其次，我們通過改進損失函數(shù)，增加 angle margin，來提高相同 id 的類內(nèi)相似度，降低不同 id 之間的類間相似度，通過這種 angle margin 的改進，我們可以壓縮大部分 id 的人臉特征子空間。

***，我們認為人臉識別的難點，比如極為相似的人臉識別問題甚至雙胞胎的人臉識別問題，用***全局的約束是無法滿足 angle margin 分類條件的，這也是為什么 angle-softmax 訓(xùn)練的時候 loss 會很大的原因。

針對 angle-softmax 訓(xùn)練的時候 loss 會很大這一問題，我們增加了 metric learning 進行微調(diào)，針對 hard example 進一步添加局部約束。

具體方法是使用三重損失函數(shù) tripletloss，使用三幅圖像集合：固定 anchor A、正例圖像 P、反例圖像 N 進行訓(xùn)練，目的是讓 A 與 P 的距離小于 A 與 N 的距離。

通過以上步驟構(gòu)建訓(xùn)練的基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)以及相似 id 差異正則優(yōu)化構(gòu)建的網(wǎng)絡(luò)模型，結(jié)合我們算法自動預(yù)標注的人臉樣本以及少量的人工校準構(gòu)建的***別的訓(xùn)練數(shù)據(jù)集，我們將我們的人臉識別準確率提升了 7 個百分點左右。

除了模型的改進，同時我們有 6 臺高性能的 GPU 服務(wù)器組成的集群可以快速驗證迭代算法，使我們的算法模型更新速度從幾周更新一次到十幾小時更新一次，讓不同的算法合成適配不同的場景，讓算法更精準。

蘇寧擁有 18 萬員工以及幾千家門店，2018 年還計劃增加 5000 家門店，通過人臉識別技術(shù)在蘇寧內(nèi)部以及線上線下的應(yīng)用，我們的人臉識別算法能力還會進一步的迭代提升。

“北斗”系統(tǒng)建設(shè)的關(guān)鍵點

蘇寧“北斗”系統(tǒng)使用了背景模型 + 人臉識別+ 3D 深度信息+多目標跟蹤 + 深度學(xué)習(xí)網(wǎng)絡(luò)的整套算法解決方案。

在目標跟蹤算法上，我們對當前的流行算法做了詳細的研究。KCF 是一種近期流行的目標跟蹤算法。

該算法是在跟蹤過程中訓(xùn)練一個目標分類器，使用目標分類器去檢測下一幀預(yù)測位置是否是目標，之后再使用新的檢測結(jié)果去重新訓(xùn)練，以獲得新的目標分類器。

卡爾曼濾波是一種經(jīng)典的濾波方法，它是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行***估計的算法。

我們將單目標跟蹤的 KCF 算法擴展到多目標跟蹤。在客流統(tǒng)計系統(tǒng)中，在不改變其他框架的基礎(chǔ)上，沿用原有的前景建模和匈牙利匹配。

以前幾幀檢測出的目標為跟蹤目標，將多目標 KCF 跟蹤算法融入其中，實現(xiàn)多目標的同時跟蹤。

經(jīng)過詳細比較發(fā)現(xiàn)，在多目標跟蹤時，KCF 算法存在速度上的缺陷，占用時間較長，難以滿足我們實時性的要求，因而我們最終還是選用了卡爾曼濾波作為我們的基礎(chǔ)跟蹤算法。

在識別算法上，我們以基于深度學(xué)習(xí)的 SSD 學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)，根據(jù)實際情況，進行了進一步的優(yōu)化和改進，并整合到我們的整個北斗系統(tǒng)當中。

依據(jù)蘇寧強大的大數(shù)據(jù)計算能力和人臉識別技術(shù)，通過分析店外和店內(nèi)的用戶屬性及行為信息，不僅可以為店鋪的智能推薦、營銷、服務(wù)、以及店鋪的購物動線、商品及貨架陳列，提升更好的導(dǎo)購服務(wù)。

還能促使線下門店實現(xiàn)數(shù)據(jù)化和智能化，改變門店運營方式，讓門店具有思考能力，擁有一顆智能的“大腦”。

店外顧客關(guān)注

“進店率”是影響門店是否具備吸引力的一個重要指標，我們?nèi)绾斡行У姆治?ldquo;過客”是怎么樣的一個群體，對于目前的線下場景還是一個“黑盒”。

如何獲知路過消費者有多少，并且他們的特征畫像是什么，目前對于門店經(jīng)營管理者也是一個急切的需求。

而蘇寧大數(shù)據(jù)團隊利用識別技術(shù)，結(jié)合人臉識別、人體輪廓跟蹤、人臉特征點等算法技術(shù)，有效的分析出了路過人群的數(shù)量、群體規(guī)模、男女和性別分類，以及進店人群的特征等數(shù)據(jù)，為門店經(jīng)營者制定個性化的營銷策略提供了數(shù)據(jù)支撐和保障。

店內(nèi)顧客關(guān)注

對于進店顧客來說，顧客的來店動機、行為軌跡、關(guān)注熱點、購買意向是門店管理者對于到店顧客的另一大痛點要求，如何實現(xiàn)這塊數(shù)據(jù)的采集、分析和應(yīng)用也是“北斗”系統(tǒng)的一大特色。

在算法的層面上，為實現(xiàn)***的效果，需要配合安裝特定攝像頭，并實現(xiàn)攝像頭安裝高度和角度的精準控制。

為了節(jié)省成本，我們使用了店內(nèi)原有的監(jiān)控攝像頭，不改變原有的任何安裝高度和角度。

在算法上，我們首先研究了基于多通道特征的 ACF 算法，將算法進行了工程化的實現(xiàn)，對算法的精度和速度進行了測量。但是發(fā)現(xiàn)該算法應(yīng)用在我們的場景中時，精度不能讓人滿意。

為了實現(xiàn)更高精度與性能的要求，我們使用了深度學(xué)習(xí)中的小網(wǎng)絡(luò)系統(tǒng)，并與檢測算法中的深度學(xué)習(xí) SSD 模型相結(jié)合。

通過視頻的采集，將視頻中的目標進行具體的標注，算法的微調(diào)，訓(xùn)練自己的模型等步驟，實現(xiàn)了熱力圖中的相關(guān)功能。在計算精度和計算速度上都達到了原定的要求。

“北斗”系統(tǒng)的智能化服務(wù)

“北斗”系統(tǒng)下一步將布局的智能化服務(wù)包括：

• 智能導(dǎo)購：老客的識別，通過提取顧客每次來店的特征點，當顧客下次到來的時候，根據(jù)其上期的數(shù)據(jù)為其精準服務(wù)；新客的引導(dǎo)，根據(jù)新客到店關(guān)注的信息、行進的速度進一步預(yù)測顧客需要什么，為其精準推薦。
• 智能支付：當顧客選好自己喜好的商品后，只實現(xiàn)人臉自動支付，提升服務(wù)速度和質(zhì)量。
• 智能預(yù)測：根據(jù)每日、每周、每月顧客對商品的關(guān)注度，合理調(diào)整商品出樣及庫存鋪貨，將為用戶提供更喜歡的商品和更短的取貨服務(wù)。
• 智能防控：重點人群監(jiān)控、踏板監(jiān)控、晚間的燈光開關(guān)監(jiān)控、火災(zāi)監(jiān)控等，為顧客的人身安全和門店的財產(chǎn)安全保駕護航。

通過“北斗”系統(tǒng)，依據(jù)蘇寧大數(shù)據(jù)技術(shù)及視覺算法將為智能零售注入智慧“大腦”，蘇寧門店將會越來越更懂你，打造“知人知面更知心”的智慧門店，為用戶創(chuàng)造***體驗，打造***服務(wù)。

[[218263]]

曹林龍，蘇寧易購大數(shù)據(jù)技術(shù)專家，目前主要負責計算機視覺識別及分析在蘇寧的應(yīng)用落地。在大數(shù)據(jù)平臺工具和圖像識別應(yīng)用等方面擁有多年的實踐經(jīng)驗，曾負責過蘇寧統(tǒng)一數(shù)據(jù)報表平臺、大數(shù)據(jù)平臺的建立，主導(dǎo)過視頻分析、商品識別等技術(shù)的應(yīng)用。在數(shù)據(jù)營銷方面經(jīng)驗豐富，喜歡鉆研、研究和實踐業(yè)界前沿的數(shù)據(jù)處理和技術(shù)，展現(xiàn)數(shù)據(jù)中蘊含的價值。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】