MIT學(xué)者提出科爾莫哥羅夫-阿諾德網(wǎng)絡(luò)，代替多層感知機(jī)，更準(zhǔn)確且更易解釋！ 原創(chuàng)
多層感知機(jī)（MLPs）是如此基礎(chǔ)，但是否有替代方案？MLP 在神經(jīng)元上放置激活函數(shù)，但我們是否可以將可學(xué)習(xí)的激活函數(shù)放置在權(quán)重上？是的，我們可以！近日，MIT學(xué)者提出科爾莫哥羅夫-阿諾德網(wǎng)絡(luò)（KAN），比 MLP 更準(zhǔn)確且更易解釋。
MLPs 如今是深度學(xué)習(xí)架構(gòu)的基石。是否存在替代路線/模型？研究人員考慮對(duì) MLPs 進(jìn)行一個(gè)簡(jiǎn)單的改變：將激活函數(shù)從節(jié)點(diǎn)（神經(jīng)元）移到邊緣（權(quán)重）！
這個(gè)改變似乎毫無(wú)來(lái)由，但它與數(shù)學(xué)中的逼近理論有著相當(dāng)深的聯(lián)系。事實(shí)證明，科爾莫哥羅夫-阿諾德表示對(duì)應(yīng)于具有可學(xué)習(xí)的激活函數(shù)在邊緣而不是在節(jié)點(diǎn)上的兩層網(wǎng)絡(luò)。
受到表示定理的啟發(fā)，研究人員明確地使用神經(jīng)網(wǎng)絡(luò)參數(shù)化科爾莫哥羅夫-阿諾德表示。為了紀(jì)念兩位偉大的已故數(shù)學(xué)家安德烈·科爾莫哥羅夫和弗拉基米爾·阿諾德，稱之為科爾莫哥羅夫-阿諾德網(wǎng)絡(luò)（KANs）。
從數(shù)學(xué)角度來(lái)看：MLPs 受到了通用逼近定理（UAT）的啟發(fā)，而 KANs 則受到了科爾莫哥羅夫-阿諾德表示定理（KART）的啟發(fā)。一個(gè)網(wǎng)絡(luò)能否在固定寬度下達(dá)到無(wú)限的精度？UAT 表示不行，而 KART 表示可以（但有附帶條件）。
從算法角度來(lái)看：在某種意義上，KANs 和 MLPs 是對(duì)偶的 —— MLPs 在神經(jīng)元上有固定的激活函數(shù)，而 KANs 在權(quán)重上有可學(xué)習(xí)的激活函數(shù)。這些一維激活函數(shù)被參數(shù)化為樣條函數(shù)。
從實(shí)際角度來(lái)看：研究人員發(fā)現(xiàn) KANs 比 MLPs 更準(zhǔn)確且更易解釋，盡管必須承認(rèn)，由于其可學(xué)習(xí)的激活函數(shù)，KANs 訓(xùn)練速度較慢。以下是實(shí)驗(yàn)結(jié)果：
神經(jīng)網(wǎng)絡(luò)的縮放定律：KANs 的縮放速度比 MLPs 快得多，這在數(shù)學(xué)上基于科爾莫哥羅夫-阿諾德表示定理。KAN 的縮放指數(shù)也可以通過經(jīng)驗(yàn)實(shí)現(xiàn)。
在函數(shù)擬合方面，例如擬合特殊函數(shù)，KANs 比 MLPs 更準(zhǔn)確。
在偏微分方程求解方面，例如求解泊松方程，KANs 比 MLPs 更準(zhǔn)確。
作為額外的好處，研究人員發(fā)現(xiàn) KANs 在避免災(zāi)難性遺忘方面具有天然的能力。
KANs 也是可解釋的。KANs 能夠從符號(hào)公式中揭示合成數(shù)據(jù)集的組合結(jié)構(gòu)和變量依賴關(guān)系。
人類用戶可以與 KANs 進(jìn)行交互，使它們更易解釋。將人類歸納偏好或領(lǐng)域知識(shí)注入到 KANs 中非常容易。
KANs 不僅以更小的網(wǎng)絡(luò)和更高度自動(dòng)化的方式重現(xiàn)了 Deepmind 的結(jié)果，還以無(wú)監(jiān)督的方式發(fā)現(xiàn)了新公式，并發(fā)現(xiàn)了結(jié)論不變量的新關(guān)系。
特別是，Deepmind 的 MLPs 具有約 300,000 個(gè)參數(shù)，而KANs 只有約 200 個(gè)參數(shù)。KANs 可立即解釋，而 MLPs 則需要作為后期分析的特征歸因。
對(duì)科學(xué)家來(lái)說(shuō)，KANs 也是有用的助手或合作者。研究人員展示了 KANs 如何幫助研究安德森局域化，這是凝聚態(tài)物理中的一種相變類型。KANs 使遷移邊緣的提取變得非常容易，無(wú)論是數(shù)值上，還是符號(hào)上。
根據(jù)實(shí)證結(jié)果，由于其準(zhǔn)確性、參數(shù)效率和可解釋性，KANs 將成為 AI + 科學(xué)領(lǐng)域中的一種有用的模型/工具。
論文：https://arxiv.org/abs/2404.19756 Github 倉(cāng)庫(kù)：https://github.com/KindXiaoming/pykan 文檔：https://kindxiaoming.github.io/pykan/
誰(shuí)是科爾莫哥羅夫？
安德雷·尼古拉耶維奇·科爾莫哥羅夫（1903年4月25日—1987年10月20日）是一位俄國(guó)數(shù)學(xué)家，主要研究領(lǐng)域包括概率論、算法信息論、拓?fù)鋵W(xué)、直覺主義邏輯、紊流、經(jīng)典力學(xué)和計(jì)算復(fù)雜性理論。他最為人所稱道的是對(duì)概率論公理化方面的貢獻(xiàn)。他曾表示：“概率論作為數(shù)學(xué)學(xué)科，可以而且應(yīng)該從公理開始建設(shè)，和幾何、代數(shù)的路一樣”。
科爾莫哥羅夫于1903年出生在坦波夫。在他出生時(shí)，他的未婚母親因分娩并未存活。他的阿姨們?cè)诳拷帕_斯拉夫爾的圖諾什納外公家把他養(yǎng)大。關(guān)于他父親的情況所知甚少，據(jù)說(shuō)他曾是一名農(nóng)學(xué)家，在參加反對(duì)沙皇的革命運(yùn)動(dòng)后被從圣彼得堡驅(qū)逐到外省。1919年，他失蹤，被認(rèn)為死于俄國(guó)內(nèi)戰(zhàn)?？聽柲缏宸蛟诎⒁痰泥l(xiāng)村學(xué)校接受教育，他最初的文學(xué)成就和數(shù)學(xué)文章都發(fā)表于校報(bào)。青少年時(shí)，他設(shè)計(jì)了永動(dòng)機(jī)，連老師也找不出其中的必要錯(cuò)誤。1910年，阿姨收養(yǎng)了他，并與他一同遷居到莫斯科，他在那里上了文科中學(xué)，并于1920年畢業(yè)。
本文轉(zhuǎn)載自公眾號(hào)AIGC最前線
