爆火神經(jīng)網(wǎng)絡架構(gòu)KAN更新2.0！研究者可專屬定制，輕松應對經(jīng)典物理學研究，作者：和MLP不能互相取代
爆火神經(jīng)網(wǎng)絡架構(gòu)KAN，上新了！
KAN2.0。
此次與科學問題更深入地融合，可以輕松解出經(jīng)典物理學研究。
比如發(fā)現(xiàn)拉格朗日量（用來描述整個物理系統(tǒng)動力狀態(tài)的函數(shù)）
圖片
除此之外，研究者還可以量身定制屬于自己的KAN2.0，將專業(yè)知識作為輔助變量添加到輸入當中去。
此前，KAN橫空出世，一夜引爆科技圈。它以200萬參數(shù)模型架構(gòu)，直接復現(xiàn)DeepMind用30萬參數(shù)的MLPs發(fā)現(xiàn)數(shù)學定理的研究。要知道，后者可是登上Nature封面的研究。
由于KAN性能太好，一度引來關于「能否替代掉Transformer的MLP層」的探討，大家直呼：Yes We KAN！
MIT博士生劉子鳴再次為論文一作。
圖片
業(yè)內(nèi)學者們，紛紛趕來祝賀。
圖片
圖片
KAN2.0將AI與科學統(tǒng)一起來
AI+科學的一大挑戰(zhàn)在于他們之間固有的不兼容性：當前AI主要基于連接主義，科學則依賴于符號主義。
此次新框架KAN2.0就主打?qū)ANs同科學無縫協(xié)同，這種協(xié)同作用是雙向的：科學到 KAN（將科學知識融入 KAN），KAN到科學（從KAN中提取科學見解）。
圖片
更具體來說，KAN2.0對科學發(fā)現(xiàn)主要有三個方面的作用，從簡單粗略到逐漸精細復雜：
識別重要特征、揭示模塊結(jié)構(gòu)、發(fā)現(xiàn)符號公式。
在原始KAN基礎上主要引入了這三個新功能。
1、MultKAN：帶有乘法節(jié)點的 KAN。
圖片
2、kanpiler：將符號公式編譯成 KAN的編譯器。
圖片
3、樹轉(zhuǎn)化器，將 KAN2.0架構(gòu)（或任何神經(jīng)網(wǎng)絡）轉(zhuǎn)換為樹狀圖。
圖片
跟上一版本相比，KAN2.0的解釋性更通用，比如像化學、生物學等這種很難用符號方程表示的，模塊化結(jié)構(gòu)和關鍵特征能夠來描述。
比如，用戶可以將模塊化結(jié)構(gòu)構(gòu)建到KAN2.0中。
圖片
再通過KAN2.0同MLP神經(jīng)元交換，就可以直接看到模塊化結(jié)構(gòu)。
圖片
此外，團隊探究了如何將先驗知識融入KAN2.0。
圖片
基于這些更新，團隊展示了KAN2.0發(fā)現(xiàn)各種經(jīng)典物理定律的能力。
比如發(fā)現(xiàn)二維諧振子的守恒量。
圖片
利用MLP和KAN2.0重新發(fā)現(xiàn)史瓦西黑洞的隱藏對稱性。
圖片
還有像通過與KAN2.0交互，發(fā)現(xiàn)構(gòu)造定律。
圖片
接下來，團隊有兩個方向：一是將該框架應用于更大規(guī)模的問題；二是將其擴展到物理學以外的其他科學學科。
MIT華人一作
此次研究來自MIT、加州理工學院、MIT CSAIL等機構(gòu)的五位研究者，共有三位華人。
圖片
相比于KAN初始版本，還有不少原班人馬，其中MIT劉子鳴依然為一作。
圖片
劉子鳴目前是MIT四年級博士生，Max Tegmark是他的導師，其研究興趣在于人工智能與物理學的交叉領域，具體像AI科學家、物理學啟發(fā)的深度學習、深度學習科學、機械可解釋性等。
由于KAN受到廣泛的關注，作為核心作者，他在GitHub頁面上特意注明，在設計KAN并編寫代碼的時候，考慮的是數(shù)學和物理示例（規(guī)模相當?。。┮虼藳]有考慮到效率而可重用性方面的優(yōu)化。
對于專注機器學習的用戶，他坦言，KAN可能還不是個可以開箱即用的簡單插件（目前還不是）。
KAN和MLP不能互相取代，他們在某些情況下各有優(yōu)勢，在其他情況下也有局限性。
圖片
