黑箱難題仍在阻礙深度學(xué)習(xí)的普及
當(dāng)前,深度學(xué)習(xí)扛起了人工智能的大旗,讓我們得以一窺智能機(jī)器在將來的能耐。但深度學(xué)習(xí)有個(gè)不小的問題:沒人知道它是如何運(yùn)作的。
我們并不是對深度學(xué)習(xí)一無所知。作為當(dāng)今神經(jīng)網(wǎng)絡(luò)的核心,機(jī)器學(xué)習(xí)算法已經(jīng)發(fā)展了幾十年,它定義完善,文獻(xiàn)豐富。在銀行和保險(xiǎn)業(yè)等受到嚴(yán)格監(jiān)管的行業(yè),這些算法已經(jīng)普及多年,不曾引發(fā)重大問題。
“機(jī)器學(xué)習(xí)基本就是線性數(shù)學(xué),很好解釋,”數(shù)據(jù)公司Teradata***技術(shù)官斯蒂芬·布羅布斯特(Stephen Brobst)在Teradata合作伙伴大會的一場小組討論上說。“然而,一旦涉及到多層神經(jīng)網(wǎng)絡(luò),問題就成了非線性數(shù)學(xué)。不同變量之間的關(guān)系就糾纏不清了。”
神經(jīng)網(wǎng)絡(luò)的明晰性問題植根于它的基本架構(gòu),這種架構(gòu)的復(fù)雜性是與生俱來的。通過將很多隱藏層逐層堆疊起來,我們其實(shí)創(chuàng)造出了幾乎***量的路徑,供數(shù)據(jù)在網(wǎng)絡(luò)中訓(xùn)練時(shí)經(jīng)過。繼而,通過讓數(shù)據(jù)一遍又一遍地經(jīng)過這些路徑,將每次循環(huán)中變量的權(quán)重交由機(jī)器自己決定,我們發(fā)現(xiàn)可以制造出更好的機(jī)器,提供比傳統(tǒng)機(jī)器學(xué)習(xí)方法更加優(yōu)質(zhì)的答案。
這是對人腦的一種粗糙演繹——這里要強(qiáng)調(diào)的是“粗糙”,因?yàn)槲覀內(nèi)晕闯浞终莆杖四X的運(yùn)作原理——但我們知道人腦能起作用,也知道神經(jīng)網(wǎng)絡(luò)能起作用,雖然我們對它們的運(yùn)作原理不甚了了。從某種層面上講,神經(jīng)網(wǎng)絡(luò)的不透明性不是什么缺陷,而是一種特色。
復(fù)雜性正是深度學(xué)習(xí)起效的秘方。
這也是一個(gè)不小的研究領(lǐng)域。金融服務(wù)等行業(yè)都對神經(jīng)網(wǎng)絡(luò)垂涎三尺,但目前都被禁止使用,因?yàn)樗麄儫o法向監(jiān)管機(jī)構(gòu)充分解釋神經(jīng)網(wǎng)絡(luò)的運(yùn)作原理。“在將機(jī)器學(xué)習(xí)投入風(fēng)險(xiǎn)評估等領(lǐng)域的過程中,這是***的一個(gè)障礙,這些領(lǐng)域受到嚴(yán)格的監(jiān)管,”布羅布斯特說。“若只是欺詐檢測和推薦引擎,你還可以僥幸過關(guān)。但監(jiān)管嚴(yán)格的領(lǐng)域就不行了。”
這足以使DataRobot公司在這些領(lǐng)域的客戶回避深度學(xué)習(xí)框架,如Tensorflow等,盡管DataRobot會幫助實(shí)現(xiàn)其自動(dòng)化使用。“有時(shí)候,這些模型會因無法驗(yàn)證而被拒之門外,”DataRobot***運(yùn)營官克里斯·德瓦尼(Chris Devaney)說。“你不太容易為它辯護(hù)。即便不是黑箱,它也表現(xiàn)得像個(gè)黑箱,因?yàn)槟銦o法記錄神經(jīng)網(wǎng)絡(luò)算法深處發(fā)生的一切。”
TensorFlow可以針對大規(guī)模數(shù)據(jù)集作出快速預(yù)測,但DataRobot的顧客不愿觸及。目前,DataRobot正在與Immuta合作,旨在尋找并削減機(jī)器學(xué)習(xí)中的偏差,這方面的工作終將有所成效,但任重道遠(yuǎn)。“對于一些受到嚴(yán)格監(jiān)管的客戶,如果必須在政府機(jī)構(gòu)面前捍衛(wèi)這種模型,他們就會放棄考慮,”他說。
研究公司ForresterResearch副總裁、***分析師麥克·格列蒂里(Mike Gualtieri)說,有些公司一邊使用深度學(xué)習(xí),一邊還抱有某種程度的懷疑。“連使用這些模型的公司都不信任它們,”他在近期的合作伙伴會議上說。
他說,開始使用深度學(xué)習(xí)的公司有辦法對付這種不確定性,包括加入人類干預(yù),用規(guī)則加以限定,他說。
“模型可以作出預(yù)測——這個(gè)預(yù)測始終都是一個(gè)概率——但如果預(yù)測不準(zhǔn)呢?”他說。“你可以用規(guī)則加以限定。比如告訴它‘這是欺詐’,模型可能會說:‘這不是欺詐’。你也可以設(shè)定有利于人類的規(guī)則,比如說,‘我才不管模型怎么說——在我看來,這就是欺詐。”
在增加神經(jīng)網(wǎng)絡(luò)的透明度方面,人們已經(jīng)做了一些工作。其中之一被稱為“局部可理解的與模型無關(guān)的解釋技術(shù)”(Model-Agnostic Explanations;下簡稱LIME)框架,由華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授馬可·圖里奧·里貝羅(Marco Tulio Ribeiro)和他的同事薩米爾·辛格(Sameer Singh)及卡洛斯·格斯特林(Carlos Guestrin)共同提出。
LIME框架的設(shè)計(jì)旨在提高可理解性,使各類不透明算法生成的預(yù)測更易于解釋。這包括傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù),比如隨機(jī)森林與支持向量機(jī)(SVM),以及當(dāng)今日益流行的神經(jīng)網(wǎng)絡(luò)技術(shù)。
作為GitHub上的開源軟件,LIME框架有望逐層剝開神經(jīng)網(wǎng)絡(luò)的外衣。“LIME是一種高效的工具,賦予機(jī)器學(xué)習(xí)從業(yè)人員以信任感,可以加入到他們的工具組合中,”里貝羅、辛格和格斯特林教授在2016年發(fā)表于電腦資訊網(wǎng)站奧萊利(O’Reilly)的文章中寫道。
然而,在得到業(yè)界的信賴之前,LIME還有很多工作要做。Teradata的布羅布斯特說。“以上提到的LIME框架,我們還沒有完成呢,”他說,“這是一個(gè)活躍的研究領(lǐng)域……但我稱之為‘畢業(yè)生代碼’。其用例非常有限。專門用例需要專門定制。”