[[180094]]

很高興“InfoQ”團隊和“百分點大數(shù)據(jù)學(xué)院”牽頭舉辦此次活動。“百分點大數(shù)據(jù)學(xué)院”是由百分點發(fā)起的大數(shù)據(jù)領(lǐng)域?qū)I(yè)、開放的分享交流平臺，通過定期舉辦線上線下活動，邀請大數(shù)據(jù)領(lǐng)域?qū)W術(shù)專家、技術(shù)領(lǐng)袖、企業(yè)高層，分享行業(yè)、技術(shù)、應(yīng)用等方面最前沿的經(jīng)驗與見解。也非常感謝InfoQ的團隊能夠提供這么好的一個機會給大家做一次分享。我分享的主題是《基于機器學(xué)習(xí)方法對銷售預(yù)測的研究》，從百分點運用機器學(xué)習(xí)落地服務(wù)的角度，介紹機器學(xué)習(xí)的核心思路和實踐。

首先我先自我介紹一下，在加入百分點之前，曾在生物信息公司中負責(zé)生物大數(shù)據(jù)的分析和數(shù)據(jù)挖掘;在百分點負責(zé)在金融領(lǐng)域的征信模塊開發(fā)、銷售預(yù)測領(lǐng)域預(yù)測模型研究，以及零售類用戶畫像的研發(fā)等工作。

銷售預(yù)測的基本情況 

在開始今天的分享之前，我首先跟大家簡單的聊一下，剛剛過去的雙十一，大家可能更關(guān)心的是雙十一的折扣，什么商品打了什么折扣。但是對于天貓而言，他們可能更關(guān)心的是雙十一當天的銷售額是多少，因為知道銷售額，他就能提前做一個準備，做到未雨綢繆。

我們這邊有三組數(shù)據(jù)，第一組是在雙十一的前十天，網(wǎng)上有一個專家預(yù)測，雙十一是1180億，7天以后馬云放出豪言，說今年的雙十一可能要突破1500億，去年是920多億。在雙十一的前一天，網(wǎng)上有一個專家預(yù)測了今年的雙十一是1200億，最后雙十一是1207億。 

這里有兩個問題，第一個問題，預(yù)測是怎么做出來的?第二個問題是：對于同一件事情它是預(yù)測出不同的結(jié)果，什么結(jié)果是好與壞?第一個問題是怎么預(yù)測的問題，第二個問題是預(yù)測的效果好與壞的問題。這就引出了我的主題，《機器學(xué)習(xí)對銷售預(yù)測的研究》。

機器學(xué)習(xí)是常用的日常分析的方法，另一方面機器學(xué)習(xí)在海量數(shù)據(jù)中挖掘其中的規(guī)律效果非常好。

首先，說說，銷售預(yù)測的現(xiàn)狀和痛點。銷售只是一個商業(yè)問題，要做的是滿足用戶的需求，同時對后續(xù)的運營做主導(dǎo)。而且它的目的并不僅是增加企業(yè)的銷量，而是能夠讓企業(yè)能夠獲利，利潤增加，所以它是一個商業(yè)問題。 

對于這樣一個商業(yè)問題，它在商業(yè)環(huán)境里面地位是顯而易見的，這里面有物流、庫存、促銷、財務(wù)等等四個方面的作用。對于銷售預(yù)測的痛點，有三方面：①商業(yè)環(huán)境變化莫測，要做到預(yù)測非常準確可能會比較困難;②銷售預(yù)測并不是一個純粹的銷售預(yù)測，它與企業(yè)的整體的反應(yīng)鏈相關(guān)的;③有企業(yè)產(chǎn)品比較單一，或者是服務(wù)比較單一，想要通過這個銷售預(yù)測來做這個指導(dǎo)，來指導(dǎo)研發(fā)新的產(chǎn)品，或者是通過價格進行動態(tài)定價。

在我看來，我覺得核心的痛點就是預(yù)測的精確性的問題，也就是第一個痛點。如果第一個痛點很好的解決掉，后面痛點就很好解決。預(yù)測的精確性為什么是核心的痛點呢?這里面就要從預(yù)測開始講起，我們對一個事件進行預(yù)測是這樣一個過程，就是基于歷史的情況進行推演出一個規(guī)律，通過這個規(guī)律來進行推演到未來。它的特點就是我的短期的預(yù)測的精度要遠遠高于長期的預(yù)測的精度，即，未來一周的預(yù)測要比未來三個月的精度要高。

同時對于預(yù)測的話，我們會有幾個方面的假設(shè)，第一方面是變化模式，其實就是數(shù)據(jù)里面的規(guī)律，它是我們對于這個待預(yù)測事物的了解因素。比如說你要去預(yù)測明天彩票的號碼，我們已經(jīng)通過對彩票的分析我們知道沒有因素是可以影響它的，所以我們是預(yù)測不了明天的彩票。這是第一個變化模式。

第二方面，我們要基于數(shù)據(jù)來做，你的數(shù)據(jù)量太少，我們這邊也做不了，就是一定要達到數(shù)據(jù)量的級別我們才能做數(shù)據(jù)挖掘，或者機器學(xué)習(xí)。

第三方面，我們做機器學(xué)習(xí)，我們做預(yù)測，都會有一個理論框架，在整個理論框架下我們才能做，才能落地。所以這三方面就構(gòu)成了我們今天要講的銷售預(yù)測的體系框架。銷售預(yù)測體系框架到底是什么呢?

其框架就是銷售預(yù)測的基本步驟，即確定預(yù)測目標、收集和理解數(shù)據(jù)、建立模型和評價指標。

銷售預(yù)測的基本步驟  

第一步，確定預(yù)測目標：首先要研究一下它的預(yù)測的對象，比如我要預(yù)測衣服，衣服是冬天的衣服，肯定是有季節(jié)性的，預(yù)測對象不一樣，場景不一樣，我們預(yù)測的方法也會不一樣。

同時，做銷售預(yù)測一般會有一個預(yù)期，我們希望這預(yù)測做未來4周的預(yù)測，還是未來5天的預(yù)測，這是有一個短期的預(yù)測和長期的預(yù)測。如果是希望太高的話我們可能達不到，希望太小，我們花費了這么多的時間和精力。通常而言，你要預(yù)測未來一個月的銷量，至少需要兩年的數(shù)據(jù)。

此外，因為需要跟業(yè)務(wù)進行對接，所以業(yè)務(wù)目標也很重要。一方面是模型的精確性，即，我們可以給出一個精確度，另一方面是模型的可解釋性，即，我們的結(jié)果更多是要根據(jù)后面的業(yè)務(wù)部門來進行交接，進行溝通，這時候你就不能解釋，好與不好為什么，這要帶有可解釋性。

綜上所需，確定預(yù)測目標要分兩方面進行權(quán)衡，即預(yù)測精確性和模型可解釋性。 

第二步，收集數(shù)據(jù)或理解數(shù)據(jù)階段。而這一步通常包括三個小的子步驟，即：收集數(shù)據(jù)、數(shù)據(jù)探索和數(shù)據(jù)預(yù)處理。要盡可能多的獲得數(shù)據(jù)，同時，還要理解數(shù)據(jù)背后的故事與含義。這里有一個小故事：我當時在做項目的時候，我當時電商的銷售預(yù)測的時候，我看了一下庫存，一般來說你賣出一件商品庫存就會減，但是我在數(shù)據(jù)庫里看庫存為什么是負值呢?我就和業(yè)務(wù)部門進行溝通，原來他們把庫存的默認值就是負值。這就是對于我們在做預(yù)測的時候，對數(shù)據(jù)背后的含義一定要理解清楚。這是一個數(shù)據(jù)探索。

而數(shù)據(jù)探索，其目的是為了更好地發(fā)現(xiàn)數(shù)據(jù)的規(guī)律，對應(yīng)用建模提供一個指導(dǎo)方案。

數(shù)據(jù)預(yù)處理是因為同時收集的原始數(shù)據(jù)可能非常臟、質(zhì)量非常差，需要做數(shù)據(jù)清洗。數(shù)據(jù)預(yù)處理的方法很多，這里主要介紹兩個數(shù)據(jù)預(yù)處理方法，缺失值處理和數(shù)據(jù)轉(zhuǎn)換。缺失值處理是指，發(fā)現(xiàn)缺失值的時候，需要理解缺失背后的原因是什么，是數(shù)據(jù)庫的技術(shù)問題還是真正業(yè)務(wù)的原因?qū)е滤笔?如果是后者業(yè)務(wù)原因?qū)е氯笔В覀冊賮砜紤]怎么處理缺失值，處理缺失值的方法大體有兩類：直接刪除法和插補法。直接刪除法是將缺失率較高的特征或樣本數(shù)據(jù)進行刪除，而插補法是通過已有的數(shù)據(jù)對缺失值進行填補。而數(shù)據(jù)變換是指數(shù)據(jù)的分布與我們假設(shè)的數(shù)學(xué)模型會不一樣，這樣的數(shù)據(jù)將會對預(yù)測精度會有一定的影響。因此，導(dǎo)入模型之前我們就要把數(shù)據(jù)進行變換，一般有兩種方法：直接對數(shù)據(jù)進行變換、Box-Cax變換。 

第三步是應(yīng)用建模。銷售預(yù)測的方法有很多種類，本報告主要是介紹以下三類：第一類就叫主觀預(yù)測法，即，專家法;第二類是時間序列法，即指數(shù)平滑法和自回歸移動模型;第三類是機器學(xué)習(xí)中的回歸算法。

銷售預(yù)測的基本方法 

專家法是指通過人的判斷，人的經(jīng)驗對于未來的銷售做一個預(yù)測，它的優(yōu)點是比較快速，比較簡單，就是很快就能夠給一個結(jié)果。缺點就是我們預(yù)測的結(jié)果跟你預(yù)測的結(jié)果都不一樣，帶有差異性。這個專家法其實很多公司在前期他們都是用專家法來進行預(yù)測的。還有我們的客戶他們在剛成立的電商，他也是用專家法來做的。

時間序列的方法中最簡單是指數(shù)平滑法。它的特點是“重近輕遠 ”，即通過不同的權(quán)重來控制預(yù)測的精度。優(yōu)點是簡單、適合于趨勢預(yù)測;缺點是精確率不高。

ARIMA模型是相對比較復(fù)雜一點，其原理是用銷量去預(yù)測未來銷量 

無論是指數(shù)平滑還是ARIMA模型，其預(yù)測對于趨勢性較強的數(shù)據(jù)集效果比較好，但如果遇到趨勢不那么強的數(shù)據(jù)集，則效果不太理想，這時，可以考慮用機器學(xué)習(xí)的方法進行銷售預(yù)測。 

機器學(xué)習(xí)的整體流程為：首先，將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其次，對于訓(xùn)練集做特征篩選，提取有信息量的特征變量，而篩除掉無信息等干擾特征變量，再次，應(yīng)用算法建立模型，最后，結(jié)合測試集對算法模型的輸出參數(shù)進行優(yōu)化。

這里主要介紹線性回歸模型、決策樹(回歸樹)模型、隨機森林、xgboost、神經(jīng)網(wǎng)絡(luò)、支持向量回歸等六種算法模型。 

線性回歸模型：假設(shè)銷量與影響銷量的因素是線性關(guān)系的，包括誤差分布、線性方程和激活函數(shù)等。 

決策樹(回歸)：其原理是通過if-then規(guī)則對特征變量進行逐步?jīng)Q策來構(gòu)建的模型。此處，可以舉一個例子來簡單講解決策樹算法的思想是什么?比如說我想給一個妹紙進行顏值評分，分值范圍為[0,10]。評分的第一輪判斷是五官是否端正?如果為否，打3分;如果為是，則進行第二輪判斷，即身材，身材不好則打5分。身材好的話再進入第三輪判斷，即是否有錢，有錢就是典型的白富美，就是9分。沒錢則為7分。從圖中可以看出，其判斷決策的過程倒過來看是一個樹，紅色是它的葉子，葉子對應(yīng)他的分值，黃色是變量。 

隨機森林是從決策樹演變而成的一個算法，但其思想與決策樹相比增加了集成思想。同時，其“隨機”具有兩層含義，第一層是對特征變量進行隨機選擇。第二層是，對訓(xùn)練集樣本進行隨機選擇。 

xgboost是基于傳統(tǒng)的GBDT算法進行了優(yōu)化的集成算法，它是數(shù)據(jù)挖掘大賽上面得分非常高的算法。它的思想是這樣的，我給一個數(shù)據(jù)集，我現(xiàn)在有一個問題，就是要看他一家人當中是否會喜歡電子游戲，也是通過構(gòu)建樹的情況進行判斷，比如年齡、性別進行判斷，它會反映這個家庭成員對應(yīng)的我們的樣本會打一個分，最后男孩給2分，女孩給1分。有時候我們一棵樹確定不了，我們就規(guī)定多棵樹，樹1和樹2之間并不是獨立的，第一棵樹的時候?qū)颖咀龅谝淮闻袛啵袛嗟臅r候有對和錯，但是我會更關(guān)注于我判斷錯的那一部分，我在規(guī)定第2棵樹的時候，我把預(yù)測錯的更多的考慮一下，就會變成第2棵樹，我會過多的關(guān)注那些預(yù)測錯的，再依次的來進行優(yōu)化。 

神經(jīng)網(wǎng)絡(luò)是指模擬大腦神經(jīng)元的工作的非線性模型，神經(jīng)網(wǎng)絡(luò)是現(xiàn)在最火的一個深度學(xué)習(xí)的基礎(chǔ)。其包括三個部分：輸入層、隱藏層和輸出層。輸入層在銷售預(yù)測中則為影響銷量變換的各相關(guān)因素變量;輸出層為銷量;中間隱藏層為各相關(guān)因素變量到銷量之間的一個非線性映射關(guān)系，通常為一個函數(shù)

神經(jīng)網(wǎng)絡(luò)是在反欺詐領(lǐng)域用得比較多，像現(xiàn)在的銀行、互聯(lián)網(wǎng)金融，有的人進行欺騙性的貸款，就用神經(jīng)網(wǎng)絡(luò)可以很快的把他發(fā)現(xiàn)出來。還有檢測病人也可以用到神經(jīng)網(wǎng)絡(luò)。 

支持向量回歸其本質(zhì)是跟SVM是一樣，即尋找能使回歸局域更大的margin，其適用于小數(shù)據(jù)集和高維數(shù)據(jù)集。

到目前為止，已經(jīng)簡單介紹了六種常用于銷售預(yù)測的機器學(xué)習(xí)方法，這些算法也就很好地回答了前面“雙十一”銷售額例子的第一個問題，即如何進行銷售預(yù)測?

銷售預(yù)測效果評估 

第四步是評價指標，即預(yù)測效果好與壞的問題。對此問題，我想從兩個方面跟大家進行分享，即評估方法論和評估的定量指標。第一方面，方法論K折交叉驗證。其基本思想為：將總數(shù)據(jù)集均勻劃分為k等份(假設(shè)取k=10)，第一次對數(shù)據(jù)集進行劃分過程為：第一份作為測試值，驗證這個模型，剩下第2到第10個做訓(xùn)練集。第二次劃分過程為：把第2個作為測試值，剩下9個作為訓(xùn)練集，然后依次進行訓(xùn)練集和數(shù)據(jù)集劃分，一共會，得到10個模型，選擇最小的作為我們最終的模型。 

第二方面是評估指標RMSE，值越小，說明預(yù)測值與真實值之間的差異就越小，模型效果就越好。

至此，已經(jīng)把銷售預(yù)測的四大步驟均已經(jīng)介紹完畢了，下面就以某電商網(wǎng)站的銷售預(yù)測案例作為理論實戰(zhàn)分享。

項目案例 

下面我們進入機器學(xué)習(xí)的實戰(zhàn)部分。我會大家看一下案例在上述理論框架的效果怎么樣。 

第一步，確定預(yù)測目標是為某類商品歷史銷量排行前20的單個商品進行未來7天的預(yù)測。 

第二步，收集和理解數(shù)據(jù)，本案例一種為六大維度72個指標。其實，影響銷量變化的因素錯中復(fù)雜，除了本身歷史銷量外，還有一些：比如說競爭對手的因素、促銷因素、新聞熱點因素、口碑因素、隨機事件因素、非技術(shù)因素等等，但是，對于算法建模而言，我們需要把有數(shù)據(jù)支持的、并且能夠可控的影響銷量的相關(guān)因素考慮進去，因此，才得出了六大維度72個指標(特征變量)體系。 

我們對72個指標(特征變量)進行了數(shù)據(jù)探索，這里以節(jié)假日等級與銷量的關(guān)系為例，通過對數(shù)據(jù)探索發(fā)現(xiàn)了一條規(guī)律，即：節(jié)假日等級越高，銷量會越好。 

第三步為應(yīng)用建模，我們使用了6個機器學(xué)習(xí)模型和1個ARIMA模型對該案例進行了預(yù)測建模，其結(jié)果如上圖所示，該結(jié)果對比圖橫坐標是真實銷量值，縱坐標為算法模型預(yù)測值。不同顏色的線對應(yīng)不同的算法預(yù)測結(jié)果擬合線，中間45°虛線為參考線，與參考線越近的算法，其效果越好。從圖可以看出xgboost和隨機森林兩個算法的效果是比較好的。 

第四步為評價指標，這里不僅輸出RMSE值，而且還將歷史銷量與未來預(yù)測銷量進行可視化展示，即如上圖所示。 

我們對所有的預(yù)測算法進行了總結(jié)，包括預(yù)處理、變量篩選方法、可解釋性和精確性等內(nèi)容。 

同時，我們也對基于機器學(xué)習(xí)對銷售預(yù)測的研究進行了總結(jié)，主要分機器學(xué)習(xí)、數(shù)據(jù)、效果和業(yè)務(wù)四個方面。

第一方面是機器學(xué)習(xí)層面，即機器學(xué)習(xí)可能更多的是關(guān)注相關(guān)關(guān)系。做銷售預(yù)測，我們只用到了跟銷量變化有關(guān)的因素變量，而不是因果變量。有些客戶會問我們：現(xiàn)在我要提高商品銷量，請你們算法人員告訴我調(diào)哪些參數(shù)能夠讓銷量增加?其實這就是一個不合理的需求，因為我是做預(yù)測的時候我們用到機器學(xué)習(xí)的模型，我只是用到像庫存、價格、節(jié)假日，是跟銷量無關(guān)系的，但是并不是默認認為庫存高就一定會影響銷量的增加，庫存低就一定影響銷量減小。因為后者它是一個因果關(guān)系，而我們做機器學(xué)習(xí)用的是一個相關(guān)性的關(guān)系。

第二方面是數(shù)據(jù)的層面，沒有數(shù)據(jù)或數(shù)據(jù)質(zhì)量差，效果就會較差，業(yè)界流行一句話“垃圾進垃圾出”就是指數(shù)據(jù)。

第三方面是效果層面。其實，效果是評估一個模型對于好與壞。對于銷售預(yù)測而言，其效果可能主要體現(xiàn)在是否增加企業(yè)的利潤。但是這樣的效果不太好評論，因為這不僅僅要考慮預(yù)測的精度、模型的可解釋性等算法效果，還要考慮企業(yè)的供應(yīng)鏈、整體能力等。不能將機器學(xué)習(xí)的預(yù)測效果作為衡量企業(yè)是否增加利潤的惟一標準。

第四方面是業(yè)務(wù)層面，即在機器學(xué)習(xí)訓(xùn)練之前的數(shù)據(jù)預(yù)處理、訓(xùn)練之中以及訓(xùn)練之后的模型評估都需要一定的業(yè)務(wù)理論作為指導(dǎo)。嘗若業(yè)務(wù)理論偏弱，則可能會影響整個建模過程，其效果也會受到影響。而且我們是從算法的角度，解決的是算法的問題，但是算法的問題，最終還是要回到我們業(yè)務(wù)問題，在銷售預(yù)測上我們要回到怎么樣提高業(yè)績。

銷售預(yù)測終究還是一個商業(yè)問題，我們只是從數(shù)據(jù)層面，從算法層面很難能夠很好的把這個商業(yè)問題解決掉。我們認為這個效果已經(jīng)比較好了，其實是比那種大數(shù)據(jù)的精準營銷、精準預(yù)測還是有一段的距離要走。這是我們對于用機器學(xué)習(xí)來做產(chǎn)業(yè)落地的一個展望和規(guī)劃。

我的分享就到這兒。謝謝大家!

答疑環(huán)節(jié) 

提問1：銷售預(yù)測的銷售指標如何定?通過哪些維度預(yù)測?預(yù)測周期大概多長?

答：銷量預(yù)測的指標體系的整理主要是通過業(yè)務(wù)邏輯和待預(yù)測商品本身的數(shù)據(jù)情況而確定的。比如電商類某商品的銷量預(yù)測，從業(yè)務(wù)上進行商業(yè)分析可以得出，庫存因素、價格因素、口碑因素、節(jié)假日因素、促銷廣告因素、新聞熱點因素(比如三鹿奶粉被新聞曝光，導(dǎo)致國產(chǎn)奶粉在線上銷售受阻)、國家政策因素(主要是指跨境電商，國家稅率的高低)等等因素，同時，也需要結(jié)合待預(yù)測商品本身的數(shù)據(jù)情況，如果以上的幾個業(yè)務(wù)上分析的因素，只有庫存因素和節(jié)假日因素，那就只能用這兩個因素進行預(yù)測了，后期等獲取到其他因素的數(shù)據(jù)再進行補充。

而預(yù)測周期的確定需要業(yè)務(wù)部門結(jié)合企業(yè)的整體供應(yīng)鏈能力以及盤點本身歷史數(shù)據(jù)情況而定，如果企業(yè)的數(shù)據(jù)質(zhì)量較好，歷史數(shù)據(jù)量又較多(比如超過2年以上的數(shù)據(jù))，那么預(yù)測周期可以設(shè)置長一點。但是對于銷量預(yù)測而言，有一個特點，即短期預(yù)測的精度要遠高于長期預(yù)測的精度，也就是說預(yù)測未來一周的精確率要比預(yù)測未來三個月要高得多。

提問2：電商類銷量預(yù)測，有什么特殊的要求和使用的場景?比如樣本量，準確性?

答：電商類的銷量預(yù)測與實體的銷量預(yù)測的主要區(qū)別在于用戶體驗上，我們稱電商銷售預(yù)測為線上預(yù)測，而實體的銷量預(yù)測，比如衣服的銷量預(yù)測、藥店的銷量預(yù)測和文具的銷量預(yù)測等都屬于線下預(yù)測;而對于線上預(yù)測，除了本身的商業(yè)環(huán)境影響(價格、庫存、質(zhì)量、評價等等)外，還有一部分影響銷量的因素是互聯(lián)網(wǎng)上的用戶行為數(shù)據(jù)，主要包括瀏覽、點擊和收藏等數(shù)據(jù)，這些用戶行為數(shù)據(jù)主要是通過布碼技術(shù)活動的(通過將抓取的代碼部署在web端或PC端)，同時，還需要考慮用戶行為數(shù)據(jù)的滯后性，即某用戶收藏了該商品，但是需要經(jīng)過一定時間才能下單購買，這個時候需要把具有滯后性的變量進行拆分，再加入到機器學(xué)習(xí)模型中去。

對于樣本量的多少，需要以預(yù)測的目標而定，預(yù)測目標較短，則所需要的訓(xùn)練集就少一些，如果預(yù)測目標較長(超過5天)，一般則需要1年以上的歷史數(shù)據(jù)。至于準確性，需要結(jié)合數(shù)據(jù)情況而定，準確性的指標通常用RMSE，RMSE越小則準確性越好。

講師介紹 

唐新春 百分點數(shù)據(jù)科學(xué)家，清華大學(xué)碩士學(xué)歷，曾負責(zé)完成中國某兵器研究院的大型激光器相關(guān)算法的研發(fā)項目，在加入百分點之前，曾在生物信息公司中負責(zé)生物大數(shù)據(jù)的分析和數(shù)據(jù)挖掘;在百分點負責(zé)在金融領(lǐng)域的征信模塊開發(fā)、銷售預(yù)測領(lǐng)域預(yù)測模型研究，以及零售類用戶畫像的研發(fā)等工作。現(xiàn)研究興趣為運用機器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)在產(chǎn)業(yè)界的落地實踐，為不同行業(yè)提供大數(shù)據(jù)服務(wù)。