計算機(jī)科學(xué)家團(tuán)隊近期開發(fā)出一種更敏捷更具彈性的機(jī)器學(xué)習(xí)模型，它們可以周期性忘記已知信息，而現(xiàn)有大語言模型不具備忘卻能力。

實(shí)測表明，在很多情況下，“忘卻法”的訓(xùn)練效率很高，忘卻型模型表現(xiàn)也會更好。韓國基礎(chǔ)科學(xué)研究院（Institute for Basic Science）的AI工程師Jea Kwon說，新研究意味著AI領(lǐng)域取得明顯進(jìn)步。

“忘卻法”訓(xùn)練效率很高

今天的AI語言引擎大多都是人工神經(jīng)網(wǎng)絡(luò)驅(qū)動的。網(wǎng)絡(luò)中的每一個“神經(jīng)元”都是一個數(shù)學(xué)函數(shù)，它會從其它神經(jīng)元接收信號，它會運(yùn)算，然后通過多層神經(jīng)元發(fā)送信號。

最開始時信息流或多或少都是隨機(jī)的，當(dāng)網(wǎng)絡(luò)不斷與訓(xùn)練數(shù)據(jù)匹配，神經(jīng)元之間流動的信息會不斷優(yōu)化。例如，如果研究人員想訓(xùn)練一個雙語翻譯模型，它首先要收集海量雙語文本，用文本訓(xùn)練模型，它會調(diào)整神經(jīng)元之間的連接，將一種語言中的文本與另一種語言中的等效單詞聯(lián)系起來。

上述訓(xùn)練會耗費(fèi)大量計算力。如果模型運(yùn)行時不夠出色，如果后來用戶的需求變了，模型會很難匹配。

新模型研究人員Mikel Artetxe說：“假設(shè)你有一個模型，里面包含100種語言，有1種語言沒有被覆蓋。如果你想將這種語言添加進(jìn)去，那就要重新訓(xùn)練?！?/p>

幾年前，Artetxe和同事用1種語言訓(xùn)練神經(jīng)網(wǎng)絡(luò)，他們抹去神經(jīng)網(wǎng)絡(luò)所知的單詞組成信息，也就是所謂的“Tokens”。Tokens存儲在神經(jīng)網(wǎng)絡(luò)的第一層，它也叫“嵌入層”。對于其它層，不去理睬。抹去第1語言的Tokens之后，用第2種語言訓(xùn)練，第2種語言新的Tokens可以填充到嵌入層。

雖然模型包含大量不匹配信息，但仍然可以用第2種語言重新訓(xùn)練，也就是說模型可以學(xué)習(xí)、處理第2種語言。研究人員認(rèn)為，雖然嵌入層存儲了第2種語言的語匯特殊信息，但神經(jīng)網(wǎng)絡(luò)更底層存儲了抽象信息，它涉及到人類語言的幕后概念，正是這些概念幫助模型學(xué)習(xí)第二種語言。

研究報告作者Yihong Chen認(rèn)為：“我們生活在相同的世界，用不同語言的不同詞匯來賦予相同事物以概念。所以在模型之中會有相同等級的推理，比如一個蘋果，它是甜的，美味的，它不只是一個詞匯?！?/p>

將新語言添加到已訓(xùn)練模型中，采用“忘卻法”效率很高，盡管如此，還是需要重新訓(xùn)練，仍然需要海量數(shù)據(jù)和強(qiáng)大的處理能力。有沒有更好的辦法？當(dāng)然有，不需要訓(xùn)練，直接抹去嵌入層，然后再訓(xùn)練，也就是在初步訓(xùn)練時周期性重置嵌入層。

Artetxe稱：“如此一來，整個模型就能適應(yīng)重置。如果你想擴(kuò)展模型，讓它適應(yīng)另一種語言，過程會變得更容易。”

忘卻型模型表現(xiàn)更好

研究人員用一種比較通用的大語言模型Roberta做實(shí)驗(yàn)，采用周期性忘卻技術(shù)訓(xùn)練，將它與那些用標(biāo)準(zhǔn)、非忘卻方法訓(xùn)練的模型作比較。結(jié)果發(fā)現(xiàn)，在處理第1種語言時，忘卻型模型得分85.1分，傳統(tǒng)標(biāo)準(zhǔn)模型得分86.1分。再用第2種語言訓(xùn)練，只用約500萬Tokens（第一種語言用了700億）訓(xùn)練，忘卻型模型的精準(zhǔn)度得分降至62.7分，標(biāo)準(zhǔn)模型降到53.3分。

再訓(xùn)練時如果研究人員施加計算限制，忘卻型模型的表現(xiàn)會更好。例如，當(dāng)研究人員將訓(xùn)練長度從125000步短到5000步，忘卻型模型的平均得分約為57.8分，標(biāo)準(zhǔn)模型降到37.2分，幾乎和猜測差不多。

因此研究人員得出結(jié)論：在學(xué)習(xí)語言時，忘卻型模型表現(xiàn)更好一些。

魁北克深度學(xué)習(xí)研究中心Mila的研究人員Evgenii Nikishin認(rèn)為：“因?yàn)槟Ｐ驮谟?xùn)練時不斷忘卻，然后再重新學(xué)習(xí)，所以后面再教網(wǎng)絡(luò)一些新東西時會變得更容易些?！狈N種跡象顯示，模型理解語言時會從更深層次著眼，不只是了解單個詞匯的意思。

忘卻法與人類大腦的運(yùn)行模式有些相似。舊金山大學(xué)神經(jīng)科學(xué)家Benjamin Levy認(rèn)為：“存儲大量詳細(xì)信息時人類記憶是相當(dāng)不精準(zhǔn)的。但人類大腦可以記住經(jīng)驗(yàn)要點(diǎn)，記住抽象信息，而且擅長推斷。讓AI像人類一樣處理信息，比如讓它具備忘卻能力，AI也許會更有彈性?！?/p>

Yihong Chen認(rèn)為，未來也許會出現(xiàn)制造語言模型的工廠，這樣的工廠需要忘卻型技術(shù)，它是一個基本模型，可以快速適應(yīng)新領(lǐng)域。（小刀）