Meta AI的首席執(zhí)行官LeCun：不要從事LLM工作
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
在巴黎舉行的初創(chuàng)企業(yè)年度技術(shù)大會VivaTech上，Meta AI的首席執(zhí)行官Yann LeCun建議希望在AI生態(tài)系統(tǒng)中工作的學(xué)生不要從事LLM（大型語言模型）方面的工作。
“如果你是對構(gòu)建下一代AI系統(tǒng)感興趣的學(xué)生，請不要從事LLM方面的工作。這是大公司的事情，你們無法對此有所貢獻，”LeCun在會議上表示。
他還說，人們應(yīng)該開發(fā)能夠克服大型語言模型局限性的下一代AI系統(tǒng)。
1.遠離LLM
有趣的是，關(guān)于LLM（大型語言模型）替代品的討論已經(jīng)持續(xù)了一段時間。最近，Devika的年輕創(chuàng)始人Mufeed VH（Devika是Devin的替代品）談到了人們應(yīng)該如何遠離Transformer模型并開始構(gòu)建新的架構(gòu)。
“每個人都在做同樣的事情，但如果我們專注于不同的架構(gòu)，比如RMKV（一種RNN架構(gòu)），那將是非常好的，”Mufeed說，他接著解釋了這種特定架構(gòu)的無限上下文窗口和推理能力。
他還認為，通過這種方法，甚至有可能構(gòu)建出與GPT-4一樣令人印象深刻的東西。
圖片
2.但是，LLM 仍在不斷進步
盡管LeCun反對一股腦全部研究LLM，但Transformer訓(xùn)練模型仍在不斷發(fā)展。AI/ML顧問Dan Hou談到了GPT-4o，并強調(diào)了其訓(xùn)練模型。
當文本被認為是所有復(fù)雜模型的基礎(chǔ)時，GPT-4o被設(shè)計用來原生地理解視頻和音頻。這影響了未來版本可以訓(xùn)練的數(shù)據(jù)量。
“AI能變得多聰明？有了原生的多模態(tài)架構(gòu)，我猜測答案是非常、非常好，”Hou說。
此外，Sam Altman在最近的一次采訪中也談到了數(shù)據(jù)將不再是問題，從而解決了訓(xùn)練LLM的擔憂?？梢栽囅?，如果數(shù)據(jù)問題能夠得以解決，LLM的尺度定律將繼續(xù)存在。
