[[263282]]

機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)生、研究員、企業(yè)開發(fā)者都習(xí)慣了在模型的優(yōu)化上花大量功夫，仿佛取得更高的準(zhǔn)確率/AUC/mAP 等等就是機(jī)器學(xué)習(xí)研究和應(yīng)用的全部。但是很少有人去問：測(cè)試表現(xiàn)優(yōu)秀的模型就真的能很好解決真實(shí)世界的問題嗎？

可解釋的機(jī)器學(xué)習(xí)方向的研究員、《可解釋的機(jī)器學(xué)習(xí)》書作者 Christoph Molnar 近日就發(fā)表了一篇博客，提醒領(lǐng)域內(nèi)的各位警醒這種風(fēng)氣，開始注意機(jī)器學(xué)習(xí)的應(yīng)用中那些不應(yīng)該被忽視的問題。

先講一個(gè)小故事。

德國某處，一個(gè)安靜的夜里。大多數(shù)人都已經(jīng)沉沉睡去，但我沒有。我得把機(jī)器學(xué)習(xí)模型訓(xùn)練完。我在和全世界和我一樣對(duì)模型著迷的人比拼，我們要看看到底誰的模型能得到好的預(yù)測(cè)結(jié)果。我電腦的風(fēng)扇在嗡嗡地響，鍵盤也被我敲得咯咯吱吱。我目前的模型沒拿到什么好名次，在公開排行榜上排在中間而已。真讓人來氣。模型的準(zhǔn)確率其實(shí)還過得去，但在這個(gè)比賽里，「還過得去」是遠(yuǎn)遠(yuǎn)不夠的。比所有其他人的模型都好，才是我最終的目標(biāo)。我還需要更好的特征工程、更好的學(xué)習(xí)算法。我已經(jīng)有了一個(gè)建立新的特征的好點(diǎn)子，而且我還可以把隨機(jī)森林換成增強(qiáng)樹。訓(xùn)練這個(gè)模型應(yīng)該只需要半個(gè)小時(shí)時(shí)間，然后我就必須去睡覺了。

好幾個(gè)小時(shí)過去了，現(xiàn)在的時(shí)間是凌晨三點(diǎn)半。我終于得到了新模型的預(yù)測(cè)結(jié)果，可以沖擊排行榜上的新位置了。我滿懷希望地點(diǎn)了提交按鈕。我已經(jīng)很累了，「你的結(jié)果正在被評(píng)估」的提示看起來都那么模糊。我能到多少位呢，能到前 10% 嗎？我開始甜蜜地遐想。但真正的結(jié)果很快打碎了我的幻象，這一刻我感覺到非常地疲憊。別說得到更好的名次了，這個(gè)新模型的表現(xiàn)還不如上一個(gè)模型。代碼里有 bug？過擬合了？還是我上傳錯(cuò)文件了？我腦中有一個(gè)又一個(gè)的問題冒出來，但是理智告訴我自己必須要躺下了。我在床上翻來覆去，然后夢(mèng)見了一個(gè)不停增長、大到我永遠(yuǎn)沒法理解的決策樹。

[[263283]]

「我得繼續(xù)改進(jìn)我的機(jī)器學(xué)習(xí)模型！」

掀開眼罩看一看

我自己也曾有過類似這樣反復(fù)折騰機(jī)器學(xué)習(xí)比賽用的模型直到深夜的經(jīng)歷，現(xiàn)在我已經(jīng)不會(huì)再這么做了，原因有兩個(gè)，1，正常的睡眠現(xiàn)在對(duì)我來說重要得多，2，我對(duì)機(jī)器學(xué)習(xí)的認(rèn)識(shí)也有了很大變化。

當(dāng)我一開始接觸機(jī)器學(xué)習(xí)的時(shí)候，我認(rèn)為最重要的機(jī)器學(xué)習(xí)技能就是知道如何訓(xùn)練出表現(xiàn)好的模型。為了達(dá)到這個(gè)目標(biāo)，我把全部的精力都用來學(xué)習(xí)更多的算法、更多的特征工程技巧、更多的算法評(píng)估方法，一切都是為了讓模型的誤差立刻降下去。我如此地沉迷，以至于我當(dāng)年甚至為隨機(jī)森林寫了一首詩。

今天我的觀點(diǎn)有了很大變化。我覺得「機(jī)器學(xué)習(xí)」這四個(gè)字的含義遠(yuǎn)不僅僅是把損失函數(shù)最小化。某種程度上，模型的擬合可以說是最簡(jiǎn)單的部分了，因?yàn)橛写笈奈墨I(xiàn)、教材、練習(xí)以及實(shí)用工具來幫你改善現(xiàn)狀。而且你也總能立刻得到反饋（只需要在模型沒有見過的數(shù)據(jù)上進(jìn)行測(cè)試就行），總的來說很讓人滿意。我覺得，以機(jī)器學(xué)習(xí)整個(gè)領(lǐng)域來講，在模型擬合這方面已經(jīng)發(fā)展得相當(dāng)成熟了。但是除了擬合模型之外，我們還需要解決很多別的很困難的問題。比如：

• 如何把現(xiàn)實(shí)問題轉(zhuǎn)化為預(yù)測(cè)任務(wù)？

• 我們?nèi)绾卧陬A(yù)測(cè)模型中建立信任機(jī)制？

• 訓(xùn)練數(shù)據(jù)是否含有偏倚？訓(xùn)練數(shù)據(jù)和實(shí)際部署以后的輸入數(shù)據(jù)相似程度有多高？

• 如果系統(tǒng)的運(yùn)行不太正常，如何為機(jī)器學(xué)習(xí)模型 debug？

• 模型給出的預(yù)測(cè)（尤其是錯(cuò)誤的預(yù)測(cè)）會(huì)對(duì)用戶和產(chǎn)品本身造成什么樣的影響？

• 在當(dāng)前的預(yù)測(cè)和未來會(huì)增添的訓(xùn)練數(shù)據(jù)之間是否存在有害的反饋關(guān)系？

• 一個(gè)固定不變的模型在不斷變化的環(huán)境中會(huì)有怎么樣的表現(xiàn)？

[[263284]]

狗展門口。 - 「我的狗訓(xùn)練得很好啊」-「不行！」

—— 這就是數(shù)據(jù)科學(xué)家們把新的模型整合到真實(shí)世界的時(shí)候的樣子

我自己的觀點(diǎn)是，機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的人們大多數(shù)都還只關(guān)心怎么優(yōu)化模型，對(duì)我列舉的這種模型實(shí)際應(yīng)用中會(huì)遇到的問題知之甚少。但好消息是總的來說大家越來越意識(shí)到這些問題的存在，也投入更多精力考慮這些問題了。系統(tǒng)性思維、可解釋性、公平性、社會(huì)影響、數(shù)據(jù)的角色等等問題都在得到越來越多的關(guān)注。

模型的誘惑

我剛開始做機(jī)器學(xué)習(xí)的那幾年有一則趣事。我那時(shí)候剛加入一家創(chuàng)業(yè)公司，負(fù)責(zé)機(jī)器學(xué)習(xí)相關(guān)的幾個(gè)應(yīng)用。那時(shí)候我的編程水平不如團(tuán)隊(duì)里其它的成員，不過我問了很多問題，比如問他們訓(xùn)練用的數(shù)據(jù)和之后在應(yīng)用里使用的數(shù)據(jù)是否類似。我的導(dǎo)師表揚(yáng)我提了一些好問題，但我自己沒明白他為什么要表揚(yáng)我，顯然我那時(shí)候心里更在乎的是「我怎么還沒學(xué)會(huì)用 Scala 語言編程」；而且我還覺得，知道怎么構(gòu)建更厲害的預(yù)測(cè)模型要比提出這些問題更重要。直到現(xiàn)在我才能完全理解我的導(dǎo)師為什么要表揚(yáng)我。

經(jīng)過了五年時(shí)間我才終于明白了，「擬合出好的機(jī)器學(xué)習(xí)模型」這件事的影響有多小?？擅靼走@個(gè)為什么要花五年呢？簡(jiǎn)單來說，所有的機(jī)器學(xué)習(xí)教學(xué)和科研都太過于關(guān)注「好的模型」，因此也就忽視了數(shù)據(jù)、忽視了人的因素，也忽視了預(yù)測(cè)模型與所在環(huán)境的復(fù)雜相互作用。

展開來說的話，讓我們通過一個(gè)假想的機(jī)器學(xué)習(xí)新人感受一下吧。她的名字叫 Anna，她現(xiàn)在在讀電子工程的碩士，有扎實(shí)的數(shù)學(xué)基礎(chǔ)，也能夠用 C 和 Python 語言寫代碼。她的機(jī)器學(xué)習(xí)入門是吳恩達(dá)的機(jī)器學(xué)習(xí)在線課程，同時(shí)她還在看《統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)（Elements of Statistical Learning）》這本書。和其它所有的教學(xué)材料一樣，在線課程和書里都是一個(gè)接一個(gè)地列出各種模型，并且詳細(xì)介紹模型背后的數(shù)學(xué)原理。它們幾乎不會(huì)提到如何認(rèn)識(shí)數(shù)據(jù)、如何考慮社會(huì)和道德影響、如何解釋模型、模型的應(yīng)用場(chǎng)景等等問題。她當(dāng)然會(huì)看到一些應(yīng)用案例，但這些案例都只不過是經(jīng)過精心設(shè)計(jì)的簡(jiǎn)單理想問題而已。

過了一段時(shí)間以后，她開始參加 Kaggle 上的各種比賽。再一次地，她在 Kaggle 上也看到各種經(jīng)過精心設(shè)計(jì)的預(yù)測(cè)問題，簡(jiǎn)直是喂到嘴邊了：在我們看到的比賽背后，Kaggle 已經(jīng)把最難最累的活都做完了，先尋找企業(yè)、數(shù)據(jù)、問題，把問題轉(zhuǎn)化成預(yù)測(cè)任務(wù)，然后考慮要用哪些數(shù)據(jù)，可能還需要做一些數(shù)據(jù)清理和合并，再選一個(gè)模型評(píng)價(jià)標(biāo)準(zhǔn)，這些都由 Kaggle 包辦了。那對(duì)于參加 Kaggle 比賽的人來說，給他們剩下的事情除了特征工程以外，當(dāng)然就只有「擬合出好的模型」這一件事了！贏走了比賽獎(jiǎng)金的都是誰呢？不是模型表現(xiàn)優(yōu)良、有可解釋性的團(tuán)隊(duì)，不是當(dāng)別人要花幾天訓(xùn)練的時(shí)候他們只需要幾秒鐘的團(tuán)隊(duì)，不是模型真的有機(jī)會(huì)部署在生產(chǎn)環(huán)境中的團(tuán)隊(duì)，因?yàn)檫@些模型的預(yù)測(cè)準(zhǔn)確率注定不會(huì)是很高的。所以 Anna 也就跟著相信，機(jī)器學(xué)習(xí)就只不過是找到預(yù)測(cè)表現(xiàn)最佳的模型，而且這個(gè)信念越來越牢固。這不是開玩笑，大家都看得到，得到了獎(jiǎng)金和榮譽(yù)的就是那些能做出預(yù)測(cè)表現(xiàn)最佳的模型的人，

所以 Anna 對(duì)機(jī)器學(xué)習(xí)的熱情也跟著被點(diǎn)燃了，她想要在下一個(gè)比賽中拿到更好的名次！幸運(yùn)的是，機(jī)器學(xué)習(xí)社區(qū)很棒、很開放，有很多討論如何調(diào)試模型表現(xiàn)的技術(shù)博客可以供她學(xué)習(xí)，也有很多最新的機(jī)器學(xué)習(xí)庫可以讓她從 GitHub 上克隆使用。她終于明白：機(jī)器學(xué)習(xí)就是擬合出好的模型。

Anna 也開始意識(shí)到機(jī)器學(xué)習(xí)這個(gè)領(lǐng)域有多么年輕、學(xué)術(shù)界和工業(yè)界的聯(lián)系又有多么緊密。為了了解最前沿的技術(shù)，她開始閱讀機(jī)器學(xué)習(xí)的學(xué)術(shù)論文。從哪里開始呢，嗯，當(dāng)然是讀引用數(shù)很高的論文了！那么哪些論文引用數(shù)高呢？當(dāng)然是研究常見科研任務(wù)模型的論文和各種機(jī)器學(xué)習(xí)框架的論文了……

[[263285]]

數(shù)據(jù)科學(xué)家們的畢生夢(mèng)想：一個(gè)模型，解決一切（就像魔戒的「一枚戒指，統(tǒng)治一切」）

可以說，在 Anna 的這一路上，她都時(shí)時(shí)刻刻在感受到這條最簡(jiǎn)單的信息：想要做好機(jī)器學(xué)習(xí)，你就需要深入研究建模算法（以及一些特征工程的技巧）。而除此之外的方面，幾乎見不到人提起。

擬合模型不是重要的環(huán)節(jié)

說了這么半天我想已經(jīng)說明白了，只會(huì)贏 Kaggle 比賽是不足以稱得上機(jī)器學(xué)習(xí)專家的。那欠缺的知識(shí)都是什么呢？以我的淺見，下面這些課題的重要性被完全忽視了，整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域都需要開始注意這些問題。

• 問題的格式化：把一個(gè)實(shí)際問題轉(zhuǎn)化為一個(gè)預(yù)測(cè)或者模式識(shí)別問題。

• 數(shù)據(jù)生成過程：理解數(shù)據(jù)，明白數(shù)據(jù)在解決問題中的限制和適用性。

• 模型解釋：用交叉驗(yàn)證的性能估計(jì)方法之外的方式分析模型

• 應(yīng)用場(chǎng)景：思考模型會(huì)如何和真實(shí)世界相互影響

• 模型部署：把模型集成到產(chǎn)品或者計(jì)算過程中

這里只是簡(jiǎn)單列了幾項(xiàng)，大家可以繼續(xù)補(bǔ)充。

你完全有可能在擬合出了好的模型之后在這幾個(gè)方面犯錯(cuò)，然后你的模型就會(huì)變得沒用，甚至變得有害。當(dāng)你的訓(xùn)練數(shù)據(jù)和應(yīng)用中的實(shí)際數(shù)據(jù)不匹配的時(shí)候，你的模型可能根本給不出正確的預(yù)測(cè)結(jié)果。當(dāng)你的高管擔(dān)心模型是個(gè)黑盒子所以拒絕使用它的時(shí)候，你得拿出白板想方設(shè)法給他們解釋。假如你發(fā)現(xiàn)你的模型對(duì)不同膚色的人有偏倚，那你別使用這個(gè)模型。

只要你把問題的格式化、數(shù)據(jù)、解釋、場(chǎng)景和部署做好，你的項(xiàng)目就可以非常成功了，你的模型預(yù)測(cè)準(zhǔn)確率很一般都沒關(guān)系。其他方面如果做不好，那么即便是調(diào)試很久的、在測(cè)試數(shù)據(jù)上的集成模型也只能被扔進(jìn)垃圾桶。

做錯(cuò)容易，做對(duì)很難

機(jī)器學(xué)習(xí)模型完全可以有好的預(yù)測(cè)表現(xiàn)，但是帶來的影響和人們預(yù)期的相反，我給大家講個(gè)故事來說明一這點(diǎn)。我有個(gè)朋友在一家電信公司工作，這家公司的業(yè)務(wù)之一是銷售移動(dòng)通信套餐（通話+短信+流量）。他在公司的數(shù)據(jù)科學(xué)團(tuán)隊(duì)工作，然后公司想要預(yù)測(cè)哪些客戶最有可能不繼續(xù)使用套餐，他也是這個(gè)項(xiàng)目的成員；做這個(gè)預(yù)測(cè)的目標(biāo)是給可能不再繼續(xù)使用的客戶提供性價(jià)比更高的套餐。那么，這個(gè)項(xiàng)目團(tuán)隊(duì)就著手構(gòu)建了一個(gè)機(jī)器學(xué)習(xí)模型，這個(gè)模型分辨用戶的能力也相當(dāng)不錯(cuò)。然后他們把高概率的用戶列出來，給到另一個(gè)團(tuán)隊(duì)，這個(gè)團(tuán)隊(duì)會(huì)和這些用戶逐一聯(lián)系，給他們提供更優(yōu)惠的套餐。

那么結(jié)果呢？取消這家公司套餐的人更多了，而不是更少了！

事后他們才意識(shí)到，他們逐一聯(lián)系那些有可能不再使用他們的服務(wù)的用戶，這提醒了對(duì)方不能繼續(xù)使用這家公司的套餐。聯(lián)系用戶的舉動(dòng)反倒成了使得他們最終解約并轉(zhuǎn)向別的運(yùn)營商的導(dǎo)火索。

為什么不對(duì)勁了？從一開始他們嘗試把實(shí)際問題變成預(yù)測(cè)問題的時(shí)候就出錯(cuò)了。他們的模型預(yù)測(cè)了「客戶 X 解約的可能性如何」，但他們實(shí)際上需要預(yù)測(cè)的是「當(dāng)我們聯(lián)系客戶 X 的時(shí)候他解約的可能性如何」。這也可以看做是和應(yīng)用場(chǎng)景相關(guān)的問題，他們沒有仔細(xì)考慮聯(lián)系已經(jīng)有了解約心思的人之后的后果到底是什么。這個(gè)例子里，模型構(gòu)建可以得 10 分，但問題的格式化和應(yīng)用場(chǎng)景考慮只能得 1 分。

別以為你的隊(duì)友們就靠得住

那么是不是只有初學(xué)者才會(huì)在用機(jī)器學(xué)習(xí)解決真實(shí)世界問題的時(shí)候犯錯(cuò)？當(dāng)然不是。想要學(xué)習(xí)擬合模型之外的機(jī)器學(xué)習(xí)技能，好的方法就是參與解決真實(shí)世界的問題。不過這還不算完，你必須真的希望自己在擬合模型之外的方面也變得更厲害。

只有經(jīng)驗(yàn)是不夠的。谷歌、亞馬遜之類對(duì)機(jī)器學(xué)習(xí)有大規(guī)模長期投入的企業(yè)，是不是就掌握了模型優(yōu)化之外的方方面面了呢？其實(shí)也沒有。即便他們有那么多博士、有那么多資金、有那么多經(jīng)驗(yàn)、有那么多數(shù)據(jù)、那么多技術(shù)特長，他們也還沒能完全弄清楚。實(shí)際上他們也還在犯一些很蠢的錯(cuò)誤，因?yàn)樵谡鎸?shí)世界任務(wù)中應(yīng)用機(jī)器學(xué)習(xí)就是很難。

我舉幾個(gè)大公司用了機(jī)器學(xué)習(xí)然后搞砸了的例子：

• 谷歌照片（Google Photos）會(huì)把黑人分類為黑猩猩。然后他們的解決方案是不再讓模型預(yù)測(cè)黑猩猩這個(gè)類別。這就好像你家的墻漏水了，你貼了張墻紙遮住了事，而不是找你樓上的鄰居談?wù)劇?/p>

• 谷歌流感預(yù)測(cè)（Google Flu Trends）會(huì)高估流感的發(fā)生幾率。他們已經(jīng)下線了這個(gè)產(chǎn)品。它的工作方式是關(guān)注那些和流感發(fā)生有很高相關(guān)性的詞語，然后似乎把「高中籃球」之類的完全沒有因果關(guān)系的詞也學(xué)進(jìn)去了。

• 亞馬遜建立的招聘工具有性別偏倚。亞馬遜拿自己的招聘數(shù)據(jù)訓(xùn)練了模型，然后模型就簡(jiǎn)單直接地反映出了亞馬遜在招聘時(shí)的性別偏倚（也就是說，更傾向于招男性）。所以他們一直都沒有使用這個(gè)工具。但同時(shí)他們的潛臺(tái)詞是：我們不用這個(gè)工具就沒事，當(dāng)前確實(shí)存在的性別偏倚也就當(dāng)作不知道了。和上面一樣，貼墻紙遮住了事。

為什么不用數(shù)據(jù)簡(jiǎn)化你的生活呢？為什么不？

如果工作里沒有什么反饋告訴你做的對(duì)不對(duì)、做的好不好，你可能會(huì)覺得很疲憊。尤其是做學(xué)術(shù)研究，或者你沒有直接上級(jí)的時(shí)候，不確定自己現(xiàn)在做的事情有多大意義是挺常見的一件事。如果有個(gè)老板或者上級(jí)告訴你應(yīng)該做什么，感覺上會(huì)輕松一點(diǎn)，但是我偷偷跟你講個(gè)實(shí)話，沒人能真的弄明白。不管你做了十幾年還是幾十年，不管你有多少社會(huì)閱歷，你都不可能從某一天開始就對(duì)這個(gè)世界上的一切都一清二楚。

有一種解決辦法是用數(shù)據(jù)度量你的進(jìn)展，這會(huì)給你提供一些反饋?？梢运闶峭ㄏ虺晒Φ闹笜?biāo)吧。

• 「今天我讀了 5 篇論文。」

• 「這周我做完了一個(gè) 10 頁的報(bào)告?！?/p>

• 「我的網(wǎng)站這個(gè)月有 10k 訪問量?！?/p>

• 「今年我拿到了 20k 的獎(jiǎng)金?！?/p>

某種程度上，用數(shù)字度量成功是一種很棒的方法，能幫你簡(jiǎn)化工作、幫你更高效地工作。不過這些數(shù)據(jù)也過于簡(jiǎn)化了「成功」這件事，怎么可能把所有條件用簡(jiǎn)單的幾個(gè)數(shù)字就表示出來呢。

• 比如你收入很高，但你不喜歡你的工作內(nèi)容。那你還成功嗎？

• 比如你的論文經(jīng)常被引用，但你對(duì)真實(shí)世界還沒造成什么實(shí)際的影響。那你還成功嗎？

• 比如你有上千個(gè)關(guān)注者，但是沒有人在看完你的動(dòng)態(tài)之后點(diǎn)贊留言。那你還成功嗎？

• 比如你在機(jī)器學(xué)習(xí)競(jìng)賽中取得了很靠前的名次，但是你偷偷利用了數(shù)據(jù)里的漏洞，就和其它排在前面的參賽者一樣。那你還成功嗎？

其實(shí)很難說什么時(shí)候要為了達(dá)成某個(gè)數(shù)字而努力，什么時(shí)候又不要。在我看來，如果要在「達(dá)成數(shù)字」和「難以測(cè)量的工作」（比如研究新的產(chǎn)品，而不是賣更多舊產(chǎn)品）做一個(gè)取舍的話，整個(gè)社會(huì)的口味都嚴(yán)重偏向于達(dá)成數(shù)字的那一邊。機(jī)器學(xué)習(xí)領(lǐng)域也是一樣。

當(dāng)我覺得某人仿佛在「為達(dá)成某個(gè)數(shù)字而努力」的時(shí)候，我腦海里會(huì)浮現(xiàn)出賽馬的景象。有一匹很漂亮、很強(qiáng)壯的馬， 經(jīng)過人們的訓(xùn)練它可以跑得很快。然后如果它在比賽里獲得了好的名次，人們就會(huì)給它獎(jiǎng)勵(lì)胡蘿卜吃（我不太確定馬是不是特別愛吃胡蘿卜，不過為了方便我講故事，我們暫且認(rèn)為馬愛吃的就是胡蘿卜吧）。為了讓馬的注意力完全集中在目標(biāo)上，人們給馬眼睛上戴了眼罩，它會(huì)遮住馬對(duì)左右兩側(cè)的視野，讓它們只看得到前面?，F(xiàn)在我們就是這些賽馬，我們每個(gè)人都帶著眼罩，讓我們只能「盲目」地為了評(píng)價(jià)指標(biāo)而努力。但是很多時(shí)候，如果我們左右看看的話，也許賽道邊上就是一片無人照看的胡蘿卜地。

[[263286]]

作為機(jī)器學(xué)習(xí)這個(gè)領(lǐng)域內(nèi)的成員，我們已經(jīng)在錯(cuò)誤的機(jī)器學(xué)習(xí)比賽里面比拼了太久了。我們得摘掉頭上的眼罩。所以我寫了這篇博客，希望能啟發(fā)更多人摘掉自己的眼罩，以及希望這個(gè)領(lǐng)域的關(guān)注點(diǎn)能夠不再局限于模型表現(xiàn)，而開始更多地關(guān)注數(shù)據(jù)、解釋性、應(yīng)用場(chǎng)景以及社會(huì)影響。

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。