“能量自監(jiān)督學(xué)習(xí)到底是什么鬼？”不少Reddit網(wǎng)友評(píng)論說。

剛剛，深度學(xué)習(xí)教父Yann LeCu登上了Reddit熱搜。一位不知名的開發(fā)者發(fā)表了一篇題為“Yann LeCun提出基于能量的自監(jiān)督學(xué)習(xí)到底是什么”的帖子，引發(fā)眾多網(wǎng)友討論。

討論的焦點(diǎn)之一是，基于能量的自監(jiān)督學(xué)習(xí)模型能做什么？有什么優(yōu)勢或意義？

這位開發(fā)者剛剛看完LeCun最新的主題演講，他說，Yann LeCun似乎是在建議訓(xùn)練一個(gè)有條件的潛在變量模型，它可以根據(jù)輸入和潛在變量預(yù)測輸出（類似于pix2pix GAN或VAE）；同時(shí)，它也可以處理圖像、視頻或者音頻等不同類型。

但有關(guān)優(yōu)化生成模型的方法有很多，比如OpenAI通過iGPT預(yù)訓(xùn)練預(yù)測缺失像素，采用“對(duì)比預(yù)測編碼法”，通過對(duì)比損失來進(jìn)行丟失信息預(yù)測。這些方法在實(shí)際應(yīng)用中均取得不錯(cuò)的成果。

相比之下，基于能量的自監(jiān)督學(xué)習(xí)好像并沒有特別之處，也沒有相關(guān)的成功應(yīng)用案例。

Reddit上，超過95%的網(wǎng)友對(duì)這一觀點(diǎn)表示了贊同。

另外，還有一位網(wǎng)友透露，最近3-4年很多專家都對(duì)它很著迷，他們認(rèn)為基于能量的模型是深度學(xué)習(xí)的『未來』。

那么，代表ML未來的『能量模型』到底是什么？

AI的未來：『能量』SSL模型

Yann LeCun，是2018年圖靈獎(jiǎng)得主之一，與Geoffrey Hinton 和 Yoshua Bengio二人被合稱為深度學(xué)習(xí)三巨頭。同時(shí)，他自己也被稱為“CNN之父”。

[[357710]]

LeCun在在業(yè)界和學(xué)術(shù)界頗具影響力。目前，他在Facebook公司擔(dān)任人工智能研究院院長一職，同時(shí)也在紐約大學(xué)、Courant 數(shù)學(xué)科學(xué)研究所、神經(jīng)科學(xué)中心和電氣與計(jì)算機(jī)工程系等擔(dān)任要職。

2019年11月，LeCun代表Facebook參加了《Using Physical Insights for Machine Learning》主題研討會(huì)，并發(fā)表了名為《基于能量的自監(jiān)督學(xué)習(xí)（Energy-Based Self-Supervised Learning）》的主題演講。

在這篇演講中，LeCun詳細(xì)介紹了基于能量的學(xué)習(xí)方法在解決現(xiàn)有挑戰(zhàn)方面的可能性。

近幾年，深度學(xué)習(xí)在計(jì)算機(jī)感知、自然語言理解和控制方面取得了重大進(jìn)展。但這些成功在很大程度上都依賴于監(jiān)督學(xué)習(xí)或無模型強(qiáng)化學(xué)習(xí)。其中，監(jiān)督學(xué)習(xí)是從標(biāo)記的訓(xùn)練數(shù)據(jù)來推斷一個(gè)功能的機(jī)器學(xué)習(xí)任務(wù)。強(qiáng)化學(xué)習(xí)分為有模型和無模型兩種策略，前者區(qū)別與后者的特點(diǎn)是，有模型的方法主要學(xué)習(xí)前向狀態(tài)轉(zhuǎn)移模型p(st+1|st,at)，而無模型方法則不是。

從現(xiàn)有研究來看，無論是監(jiān)督學(xué)習(xí)，還是無模型強(qiáng)化學(xué)習(xí)都存在明顯的局限性。前者需要人類提供大量數(shù)據(jù)標(biāo)簽，后者需要機(jī)器學(xué)習(xí)動(dòng)作回報(bào)最大化。

也就是說，監(jiān)督學(xué)習(xí)只適用于特定任務(wù)，即使是學(xué)習(xí)簡單的任務(wù)；強(qiáng)化學(xué)習(xí)也需要與環(huán)境進(jìn)行大量的交互。例如，它在游戲和仿真工作中十分有效，但在現(xiàn)實(shí)世界很難奏效。

但如果存在一款模型能夠像人類或動(dòng)物那樣，只需要少量觀察和互動(dòng)就能學(xué)習(xí)大量與任務(wù)無關(guān)的知識(shí)，那么這些現(xiàn)實(shí)困境就可以被很好的解決。而這款模型必須依靠自監(jiān)督學(xué)習(xí)（Self-Supervised Learning，簡稱SSL）方法。

LeCun認(rèn)為，SSL是深度學(xué)習(xí)的『未來』，基于能量的SSL可以在回避概率的同時(shí)處理不確定性。以下是基于能量的SSL模型：

標(biāo)量值能量函數(shù)F（x，y）可以被測量，包括：

• 測量x和y之間的兼容性。

• 低能量：y是x的最佳預(yù)測

• 高能量：y是x的最差預(yù)測

同時(shí)，它也有無條件的模型版本。

在訓(xùn)練方面，首先將能量函數(shù)參數(shù)化，在獲取訓(xùn)練數(shù)據(jù)，最后計(jì)算出新Shape。這個(gè)過程通常有兩種方法，一是對(duì)比法（Contrastive Methods），二是建構(gòu)法（Architectural Methods）。

其中對(duì)比法涉及三種策略：

C1：數(shù)據(jù)點(diǎn)能量下推，其它位置上推：最大似然（Max likelihood）。

C2：數(shù)據(jù)點(diǎn)能量下推，選擇位置上推：最大似然和MC/MMC/HMC，對(duì)比散度，度量學(xué)習(xí)，噪聲對(duì)比估計(jì)，比率匹配，噪聲對(duì)比估計(jì)，最小概率流，對(duì)抗生成器GAN

C3：訓(xùn)練一個(gè)函數(shù)，將數(shù)據(jù)流形上的點(diǎn)映射到數(shù)據(jù)流形上的點(diǎn)：去噪自動(dòng)編碼器，屏蔽自動(dòng)編碼器（如BERT）

建構(gòu)法涉及三種策略：

A1：建立機(jī)器使低能量物質(zhì)的體積有界：PCA，K-均值，高斯混合模型，平方ICA。

A2：使用正則化項(xiàng)來度量具有低能量的空間體積：稀疏編碼、稀疏自動(dòng)編碼器、LISTA、變分自動(dòng)編碼器

A3：F（x，y）=C（y，G（x，y）），使G（x，y）相對(duì)于y盡可能“恒定”：收縮自動(dòng)編碼器，飽和自動(dòng)編碼器。

A4：最小化梯度，最大化數(shù)據(jù)點(diǎn)周圍的曲率：分?jǐn)?shù)匹配

在此基礎(chǔ)上，LeCun還演示了關(guān)于視頻預(yù)測的應(yīng)用實(shí)例。他表示，無監(jiān)督學(xué)習(xí)會(huì)成為未來的主流，能解決我們的學(xué)習(xí)系統(tǒng)難以處理的眾多問題，研究無監(jiān)督和預(yù)測性前向模型（predictive forward model）的建立，也會(huì)是接下來幾年的挑戰(zhàn)。

（文末獲取LeCun完整PPT內(nèi)容）

網(wǎng)友評(píng)論：『能量』的意義在哪？？

實(shí)際上，LeCun的能量SSL理論還處在“ppt階段”。

目前還未有大量的成功應(yīng)用案例，而他在PPT中也僅演示了自動(dòng)駕駛預(yù)測視頻的結(jié)果。一位網(wǎng)友表示，他曾利用能量SSL模型做過一項(xiàng)測試。

如上文所述，在能量函數(shù)F（x，y）最小化上，LeCun提供了兩種訓(xùn)練方法：對(duì)比法和和建構(gòu)法。但在這個(gè)過程中，他認(rèn)為有多個(gè)不合理之處。比如：自動(dòng)編碼器的潛在變量在哪里？按構(gòu)造，有沒有事先分配樣本的潛在權(quán)利？

如果訓(xùn)練的每一個(gè)SSL模型都可以解釋為基于潛在變量的能量模型，這可能是不正確的。如果拋開潛在變量，認(rèn)為每個(gè)模型都是基于能量的模型，可以勉強(qiáng)接受，但這還有什么意義呢？

它僅僅能夠作為一種解釋性理論，似乎并不具備應(yīng)用的價(jià)值。

還有一位網(wǎng)友表示，LeCun所作的可能是一項(xiàng)“基礎(chǔ)性研究”，就像Hinton研究膠囊網(wǎng)絡(luò)（CapsulesNet）一樣。基礎(chǔ)性研究成功的可能性很低，通常是其他人在此研究之上開創(chuàng)應(yīng)用。

另一位網(wǎng)友表示，Yann基于能量的學(xué)習(xí)方法確實(shí)啟發(fā)了基于深層能量的強(qiáng)化學(xué)習(xí)（RL）研究，軟演員-評(píng)論家（Soft Actor-Critic，SAC）模型已經(jīng)在多個(gè)RL基準(zhǔn)上實(shí)現(xiàn)了SOTA。

那么，你同意這位網(wǎng)友的看法嗎？你認(rèn)為『能量模型』的價(jià)值在哪里？