出品 | 51CTO技術(shù)棧（微信號：blog51cto）

在巴黎舉行的初創(chuàng)企業(yè)年度技術(shù)大會VivaTech上，Meta AI的首席執(zhí)行官Yann LeCun建議希望在AI生態(tài)系統(tǒng)中工作的學(xué)生不要從事LLM（大型語言模型）方面的工作。

“如果你是對構(gòu)建下一代AI系統(tǒng)感興趣的學(xué)生，請不要從事LLM方面的工作。這是大公司的事情，你們無法對此有所貢獻(xiàn)，”LeCun在會議上表示。

他還說，人們應(yīng)該開發(fā)能夠克服大型語言模型局限性的下一代AI系統(tǒng)。

1.遠(yuǎn)離LLM

有趣的是，關(guān)于LLM（大型語言模型）替代品的討論已經(jīng)持續(xù)了一段時間。最近，Devika的年輕創(chuàng)始人Mufeed VH（Devika是Devin的替代品）談到了人們應(yīng)該如何遠(yuǎn)離Transformer模型并開始構(gòu)建新的架構(gòu)。

“每個人都在做同樣的事情，但如果我們專注于不同的架構(gòu)，比如RMKV（一種RNN架構(gòu)），那將是非常好的，”Mufeed說，他接著解釋了這種特定架構(gòu)的無限上下文窗口和推理能力。

他還認(rèn)為，通過這種方法，甚至有可能構(gòu)建出與GPT-4一樣令人印象深刻的東西。

圖片

2.但是，LLM 仍在不斷進(jìn)步

盡管LeCun反對一股腦全部研究LLM，但Transformer訓(xùn)練模型仍在不斷發(fā)展。AI/ML顧問Dan Hou談到了GPT-4o，并強(qiáng)調(diào)了其訓(xùn)練模型。

當(dāng)文本被認(rèn)為是所有復(fù)雜模型的基礎(chǔ)時，GPT-4o被設(shè)計用來原生地理解視頻和音頻。這影響了未來版本可以訓(xùn)練的數(shù)據(jù)量。

“AI能變得多聰明？有了原生的多模態(tài)架構(gòu)，我猜測答案是非常、非常好，”Hou說。

此外，Sam Altman在最近的一次采訪中也談到了數(shù)據(jù)將不再是問題，從而解決了訓(xùn)練LLM的擔(dān)憂。可以試想，如果數(shù)據(jù)問題能夠得以解決，LLM的尺度定律將繼續(xù)存在。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??