一個(gè)多世紀(jì)以前，政治經(jīng)濟(jì)學(xué)教授維弗雷多·帕累托發(fā)表了他對(duì)于社會(huì)財(cái)富分配的研究結(jié)果。他所觀察到的嚴(yán)重的不平等，例如20%的人擁有80%的財(cái)富，令經(jīng)濟(jì)學(xué)家、社會(huì)學(xué)家和政治科學(xué)家感到驚訝。在過去的一個(gè)世紀(jì)中，不同領(lǐng)域的幾位先驅(qū)者在包括商業(yè)在內(nèi)的幾種層面上觀察到這種不成比例的分布。關(guān)鍵性的那部分少數(shù)的投入/原因(如20%的投入)直接影響了絕大多數(shù)的產(chǎn)出/效應(yīng)(如80%的產(chǎn)出)，此理論被稱為帕累托法則——也稱為80-20規(guī)則。

帕累托法則是一個(gè)非常簡(jiǎn)單但功能非常強(qiáng)大的管理工具。企業(yè)高管長期以來一直將其用于戰(zhàn)略規(guī)劃和決策。諸如20%的商店產(chǎn)生80%的收入，20%的軟件錯(cuò)誤導(dǎo)致80%的系統(tǒng)崩潰，20%的產(chǎn)品功能驅(qū)動(dòng)80%的銷售等，受到廣泛歡迎，善于分析的企業(yè)嘗試在他們自己的商業(yè)世界中找到這樣的帕累托法則。通過這種方式，他們可以計(jì)劃并確定其行動(dòng)的優(yōu)先順序。事實(shí)上，今天，數(shù)據(jù)科學(xué)在篩選大量復(fù)雜數(shù)據(jù)，以助識(shí)別未來帕累托場(chǎng)景方面發(fā)揮著重要作用。

不僅數(shù)據(jù)科學(xué)有助于為企業(yè)預(yù)測(cè)新的帕累托場(chǎng)景，但站在數(shù)據(jù)科學(xué)本身的角度看，這一技術(shù)也可以從帕累托法則中受益。利用該法則可以使數(shù)據(jù)科學(xué)顯著提高效率。在本文中，筆者將分享一些方法，作為數(shù)據(jù)科學(xué)家，我們可以利用帕累托法則的力量來指導(dǎo)我們的日常工作。

項(xiàng)目優(yōu)先級(jí)排序

如果您是數(shù)據(jù)科學(xué)部門領(lǐng)導(dǎo)/經(jīng)理，您不可避免地需要幫助為您的組織制定分析策略。雖然不同的業(yè)務(wù)領(lǐng)導(dǎo)者會(huì)提出各自不同的需求，但您必須闡明所有這些組織(或業(yè)務(wù)單位)需求，并為之制定路線圖，確定優(yōu)先級(jí)。一種簡(jiǎn)單的方法是量化解決每個(gè)分析需求所能獲得的價(jià)值，并按值的遞減順序?qū)λ鼈冞M(jìn)行排序。您經(jīng)常會(huì)注意到，少部分的問題/用例擁有不成比例的價(jià)值(帕累托法則)，應(yīng)優(yōu)先于其他問題/優(yōu)先級(jí)。實(shí)際上，更好的方法是量化解決/實(shí)現(xiàn)每個(gè)問題/用例的復(fù)雜性，并基于價(jià)值和復(fù)雜性之間的權(quán)衡來優(yōu)先考慮它們(例如，將它們放在x軸為復(fù)雜性，y軸為價(jià)值的坐標(biāo)圖上)。

問題范圍

業(yè)務(wù)問題往往是模糊和非結(jié)構(gòu)化的，數(shù)據(jù)科學(xué)家的工作需要確定正確的范圍。范圍界定通常需要將注意力集中在問題最重要的方面，并忽略那些價(jià)值較低的方面。首先，查看輸出/效果在輸入/原因上的分布將有助于我們了解問題空間中是否存在高級(jí)帕累托。隨后，我們可以選擇僅查看某些輸入/輸出或原因/結(jié)果。例如，如果20%的商店產(chǎn)生80%的銷售額，我們可以將其余商店分組到一個(gè)集群中并進(jìn)行分析而不是單獨(dú)評(píng)估它們。

范圍界定還涉及到對(duì)風(fēng)險(xiǎn)的評(píng)估——更深層次的評(píng)估通常會(huì)告訴我們，最重要的項(xiàng)目會(huì)帶來更高的風(fēng)險(xiǎn)，而最底層的項(xiàng)目發(fā)生的可能性很小(帕累托法則)。我們可以將時(shí)間和精力放在一些主要風(fēng)險(xiǎn)上，而不是解決所有風(fēng)險(xiǎn)。

數(shù)據(jù)規(guī)劃

復(fù)雜的業(yè)務(wù)問題需要的數(shù)據(jù)超出分析數(shù)據(jù)集中可用的數(shù)據(jù)。我們需要請(qǐng)求訪問、購買、獲取、抓取、解析、處理和集成來自內(nèi)部/外部源的數(shù)據(jù)。它們具有不同的形狀、大小、健康狀態(tài)、復(fù)雜性、成本等。等待整個(gè)數(shù)據(jù)計(jì)劃落實(shí)到位，可能會(huì)導(dǎo)致項(xiàng)目的延遲不受我們控制。有一種簡(jiǎn)單的方法是，根據(jù)這些數(shù)據(jù)對(duì)最終解決方案的價(jià)值，對(duì)這些數(shù)據(jù)需求進(jìn)行分類，例如絕對(duì)必須擁有、有好處和可選的(帕累托法則)。這將幫助我們專注于絕對(duì)必須擁有的東西，而不是被可選的東西分心或拖延。除了價(jià)值之外，考慮數(shù)據(jù)獲取的成本、時(shí)間和精力方面的因素將幫助我們更好地對(duì)數(shù)據(jù)規(guī)劃工作進(jìn)行優(yōu)先級(jí)排序。

分析

有種說法是，一名工匠只用20%的工具就能完成80%的工作。這也適用于我們的數(shù)據(jù)科學(xué)家。我們傾向于使用很少的分析和模型來完成我們工作的重要部分(帕累托法則)，而其他技術(shù)的使用頻率則要低得多。探索性分析中的典型示例包括變量分布、異常檢測(cè)、缺失值插補(bǔ)、相關(guān)矩陣等。類似地，建模階段的示例包括k折交叉驗(yàn)證，實(shí)際VS預(yù)測(cè)圖，錯(cuò)誤分類表，超參數(shù)調(diào)整分析等構(gòu)建使用/訪問/實(shí)施這些分析的微型自動(dòng)化(例如庫，代碼片段，可執(zhí)行文件，UI)可以在分析過程中帶來顯著的效率。

建模

在建模階段，我們不需要很長時(shí)間就可以在過程的早期找到一個(gè)合理的工作模型。而且到目前為止，大部分提高精度的工作就已經(jīng)完成了(帕累托法則)。剩下的過程是對(duì)模型進(jìn)行微調(diào)，并增加精度。有時(shí)，為了使解決方案對(duì)業(yè)務(wù)可行，需要進(jìn)一步增加精確度。在其他情況下，模型微調(diào)對(duì)最終的洞察/主張沒有多大價(jià)值。作為數(shù)據(jù)科學(xué)家，我們需要認(rèn)識(shí)到這些情況，這樣我們就知道該在哪里相應(yīng)地劃定界限。

業(yè)務(wù)溝通

今天的數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)是多學(xué)科的。項(xiàng)目團(tuán)隊(duì)可能包括業(yè)務(wù)分析師、機(jī)器學(xué)習(xí)科學(xué)家、大數(shù)據(jù)工程師、軟件開發(fā)人員和多個(gè)業(yè)務(wù)相關(guān)人員。這樣的團(tuán)隊(duì)成功的一個(gè)關(guān)鍵驅(qū)動(dòng)力是溝通。作為一個(gè)努力工作的人，你可能會(huì)需要溝通所有的工作——挑戰(zhàn)、分析、模型、見解等等。然而，在當(dāng)今信息過載的世界里，采取這樣的方法將無濟(jì)于事。我們需要認(rèn)識(shí)到“有用的多但重要的少”(帕累托法則)，并利用這一認(rèn)識(shí)來簡(jiǎn)化我們交流的信息量。同樣，我們呈現(xiàn)和突出的信息需要根據(jù)目標(biāo)受眾(業(yè)務(wù)涉眾vs數(shù)據(jù)科學(xué)家)進(jìn)行定制。

帕累托法則與我們而言是一個(gè)強(qiáng)大的工具，以正確的方式使用，可以幫助我們整理和優(yōu)化我們的工作。