近日，由麻省理工學(xué)院孵化的AI初創(chuàng)企業(yè)Liquid?AI正式推出其三款全新的“液態(tài)基礎(chǔ)模型”(Liquid?Foundation?Model，LFM)，分別為專為資源受限環(huán)境設(shè)計的LFM?1.3B、面向邊緣部署的LFM?3B，以及部署在云服務(wù)器上以處理復(fù)雜用例的LFM?40B?MoE。

事實上，LFM?1.3B在多個基準(zhǔn)測試中表現(xiàn)出色，性能超越過同等規(guī)模Llama3.2等基于Transformer架構(gòu)的模型，LFM?3B可以與更大規(guī)模的模型進(jìn)行競爭，展示了出色的可擴(kuò)展性和靈活性，LFM?40B能夠在保持性能與效率平衡的同時，超越規(guī)模更大的模型。

LFM背后的框架

據(jù)Liquid?AI介紹，LFM兼顧性能和效率。簡單來說，就是可以在使用最少的系統(tǒng)內(nèi)存的同時提供卓越的計算能力。

據(jù)了解，LFM基于動態(tài)系統(tǒng)、數(shù)值線性代數(shù)和信號處理，非常適合處理各種類型的序列數(shù)據(jù)，包括文本、音頻、圖像、視頻和信號。實際上，Liquid?AI首次引起關(guān)注是在去年12月份，當(dāng)時該公司籌集了3760萬美元的種子輪融資，由多家風(fēng)險投資公司和知名天使投資人參與，估值達(dá)到3.03億美元。

Liquid?AI解釋稱，LFM基于一種液態(tài)神經(jīng)網(wǎng)絡(luò)(Liquid?Neural?Net，LNN)，從第一性原理出發(fā)而構(gòu)建，其計算單元植根于動態(tài)系統(tǒng)理論、信號處理和數(shù)值線性代數(shù)，最初在麻省理工學(xué)院的計算機(jī)科學(xué)與人工智能實驗室開發(fā)。

相較于傳統(tǒng)深度學(xué)習(xí)模型需要數(shù)千個神經(jīng)元來執(zhí)行計算任務(wù)不同，LNN可以用更少的神經(jīng)元實現(xiàn)相同的效果。LNN通過將這些神經(jīng)元與創(chuàng)新的數(shù)學(xué)公式相結(jié)合來實現(xiàn)這一目標(biāo)，使其能夠用更少的資源做更多的事情。

值得一提的是，LNN在涉及連續(xù)順序數(shù)據(jù)的用例中表現(xiàn)出色，具體來看：

第一，時間序列數(shù)據(jù)處理與預(yù)測。研究人員在對時間序列數(shù)據(jù)進(jìn)行建模時面臨著一些挑戰(zhàn)，包括時間依賴性、非平穩(wěn)性和時間序列數(shù)據(jù)中的噪聲。

LNN是專門為時間序列數(shù)據(jù)處理和預(yù)測而構(gòu)建的。根據(jù)麻省理工學(xué)院計算機(jī)科學(xué)和人工智能實驗室(CSAIL)博士后哈薩尼(Hasani)的說法，時間序列數(shù)據(jù)無處不在，是幫助我們了解世界的重要參考。“現(xiàn)實世界完全由序列組成。即使是我們的感知，也是如此——你不是在感知圖像，你是在感知一系列圖像?！?/p>

第二，圖像和視頻處理。LNN可以執(zhí)行圖像處理和基于視覺的任務(wù)，如目標(biāo)跟蹤、圖像分割和識別。它們的動態(tài)特性使它們能夠根據(jù)環(huán)境的復(fù)雜性、模式和時間動態(tài)不斷改進(jìn)。

例如，麻省理工學(xué)院的研究人員發(fā)現(xiàn)，無人機(jī)可以通過一個20,000參數(shù)的小型LNN模型進(jìn)行引導(dǎo)，該模型在導(dǎo)航以前看不見的環(huán)境方面比其他神經(jīng)網(wǎng)絡(luò)表現(xiàn)更好。這些出色的導(dǎo)航能力可用于制造更精確的自動駕駛汽車。

第三，自然語言理解。由于其適應(yīng)性、實時學(xué)習(xí)能力和動態(tài)拓?fù)浣Y(jié)構(gòu)，LNN非常擅長理解自然語言文本序列。

以情感分析為例，這是一項旨在理解文本背后潛在情感的自然語言處理(NLP)任務(wù)。LNN從實時數(shù)據(jù)中學(xué)習(xí)的能力有助于他們分析不斷發(fā)展的方言和新短語，從而進(jìn)行更準(zhǔn)確的情感分析。類似的功能在機(jī)器翻譯中也很有用。

挑戰(zhàn)同樣存在

不過，需要指出的是，盡管LNN具有許多優(yōu)勢，但同樣面臨一些約束和挑戰(zhàn)。

第一，消失梯度問題。像其他時間連續(xù)模型一樣，LNN在通過梯度下降訓(xùn)練時可能會遇到消失梯度問題。在深度神經(jīng)網(wǎng)絡(luò)中，當(dāng)用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的梯度變得極小時，就會發(fā)生消失梯度問題。這個問題會阻礙神經(jīng)網(wǎng)絡(luò)達(dá)到最優(yōu)權(quán)重，從而限制了它們有效學(xué)習(xí)長期依賴關(guān)系的能力。

第二，參數(shù)調(diào)優(yōu)。和其他神經(jīng)網(wǎng)絡(luò)一樣，LNN也涉及參數(shù)調(diào)優(yōu)的挑戰(zhàn)。對于LNN而言，參數(shù)調(diào)優(yōu)既耗時又成本高昂。LNN有多個參數(shù)，包括常微分方程(ODE)求解器的選擇、正則化參數(shù)以及網(wǎng)絡(luò)架構(gòu)，這些都必須進(jìn)行調(diào)整以實現(xiàn)最佳性能。

找到合適的參數(shù)設(shè)置通常需要迭代過程，這需要時間。如果參數(shù)調(diào)整效率低下或不正確完成，可能導(dǎo)致網(wǎng)絡(luò)響應(yīng)不佳和性能降低。

第三，文獻(xiàn)資料匱乏。關(guān)于LNN的實施、應(yīng)用和優(yōu)勢的文獻(xiàn)資料有限。研究不足使得理解LNN的最大潛力和局限性變得具有挑戰(zhàn)性，所以不如Transformer那樣廣為人知。

相信隨著更多關(guān)于LNN的研究和開發(fā)工作的進(jìn)行，未來會有新的方法和技術(shù)出現(xiàn)，以克服當(dāng)前所面臨的一些局限性，并進(jìn)一步提高這類模型的可用性。

寫在最后

總的來說，Liquid?AI推出的LFM代表了AI領(lǐng)域的一種創(chuàng)新嘗試，它結(jié)合了動態(tài)系統(tǒng)理論和信號處理技術(shù)，旨在為邊緣計算和云計算環(huán)境提供高效的解決方案。然而，要讓這種新模型成為主流，還需要克服一系列的技術(shù)障礙，并通過持續(xù)研究和發(fā)展來完善其理論基礎(chǔ)和實踐應(yīng)用。