一場圍繞大模型自研和創(chuàng)新的討論，這兩天在技術圈里炸了鍋。

起初，前阿里技術VP賈揚清，盆友圈爆料吐槽：有大廠新模型就是LLaMA架構，但為了表示不同，通過改變開源代碼名字、替換幾個變量名……

一石激起千層浪，更晚一些時候，“大廠”被與零一萬物關聯(lián)，其剛發(fā)布的新模型Yi-34B被指與LLaMA架構如出一轍。

零一萬物很快給出了說明和回應。但熱議并未就此平息，甚至圍繞大模型原創(chuàng)、自研的標準，開始被更進一步爭論。

而初步激辯中指向的結論——冷峻又真實：

大模型的架構創(chuàng)新，可能早就死了。

好比烤鴨這道菜的菜譜公開之后，核心方法和步奏，都已經被固定了。

所以如果的大模型研發(fā)，都無法再在架構層面另起爐灶……那自研國產大模型，研它還能有啥用？

爭議

就在近日，賈揚清的吐槽，迅速火上了海外技術社區(qū)熱搜。

并且很快，零一萬物就被關聯(lián)起來。

因為就在Yi-34B首次推出后，迅速橫掃了各項中英文評測榜單，在英文領域也超越了Llama-2 70B和Falcon-180B等一眾大尺寸大模型……一時風頭無兩、木秀于林。

賈揚清爆料之后，一封Hugging Face的郵件也對外曝光了，郵件核心內容，就是Yi模型與已經開源的LLaMA架構上存在重合，雖然張量命名不同，但按照開源社區(qū)的規(guī)則和規(guī)范，需要作出調整。

這也成為外界對于零一萬物和Yi-34B模型自研性的質疑所在。

零一萬物很快給出了說明和回應，核心有兩點：

第一，Yi模型確實沿用了公開的架構，但和LLaMA一樣，都基于的是GPT成熟結構。

第二，大模型的研發(fā)中，模型結構只是模型訓練的一部分，還有包括數據工程、訓練方法、baby sitting（訓練過程監(jiān)測）的技巧、hyperparameter設置、評估方法以及對評估指標在內的核心技術挑戰(zhàn)和能力……在大量訓練實驗過程中，由于實驗執(zhí)行需求對代碼做了更名，所以處于尊重開源社區(qū)的反饋，將代碼進行更新，也為更好融入Transformer生態(tài)。

零一的回應，有人表示理解，比如開源社區(qū)領袖Stella Biderman，就認為說誰抄襲LLaMA是無稽之談，因為所有做大模型研發(fā)的團隊，現在都幾乎“華山一條路”了。

但更多的激辯，還在持續(xù)。

激辯

辯論的核心話題，開始不斷指向——如何定義大模型的創(chuàng)新？創(chuàng)新的標準該是什么？

在一則廣為流傳的群聊記錄中，大模型領域知名“布道者”符堯博士，提出了現狀和困惑。

他認為大模型主流架構，就是一個“天下詩歌不斷抄”的過程。LLaMA的架構抄的Chinchilla，chinchilla抄的Gopher，Gopher抄的GPT3……每個都是一兩行的改動。

而且在Hugging Face上，架構一模一樣但名字不同的模型比比皆是……

但需要強調的是，大模型的創(chuàng)新或不同，核心應該關注的是訓練方法和數據配比——而這些并不會反映在架構上。

以及如果嚴格來論，目前國內的自研大模型，不論是零一萬物的Yi，還是百川智能的Baichuan，或者阿里旗下的通義千問，架構上和LLaMA都是一致的。

大模型的創(chuàng)新，看架構沒有意義。

另一則廣為流傳的討論，來自猴子無限的尹伯昊，他表示自己親手玩過各類模型，自己也大模型從業(yè)，可以說說自己的看法。

第一，目前使用LLaMA架構已經是開原模型的最優(yōu)解。因為LLaMA開源大模型已經實現了斷崖式領先，有了大量工具鏈。國內外各種大模型的預訓練，也都是保持了相同或相似的架構。

第二，相同的架構可以做出完全不同的模型，因為大模型的訓練是一個充分的系統(tǒng)工程，考察的因素有很多，最后的能力和效果也與這個系統(tǒng)工程息息相關。

但尹伯昊也強調，大模型創(chuàng)業(yè)者沒必要因為自研ego作祟，就不強調使用已有框架。

從現在的趨勢來看，開源大模型生態(tài)的發(fā)展，其實有統(tǒng)一的架構，對于業(yè)內更多開發(fā)者的切換利大于弊。

實際上，上述圈內人的發(fā)言，也在進一步揭露大模型的現狀和真相：

大模型架構創(chuàng)新，早就結束了。

大模型架構創(chuàng)新已死？

如果從大模型社區(qū)長期的發(fā)展過程來看，我們不難發(fā)現一種趨勢——向通用化收攏。

因為基本上國際主流大模型都是基于Transformer的架構；而后對attention、activation、normalization、positional embedding等部分做一些改動工作。

簡而言之，Transformer這個架構似乎已然是固定的狀態(tài)。

有圈內團隊舉例，好比讓不同的廚師都去做北京烤鴨，原材料和步驟定然是大同小異的（架構）；而最終決定誰做出來的北京烤鴨更好吃，區(qū)別更多的是在于廚師本身對火候、烹調技術的掌握（數據參數、訓練方法等）。

而這種討論，幾乎也打破了圈外對于熱潮中“大模型創(chuàng)新”、“國產大模型”的某些期待，認為大模型的研發(fā)，可以完全另起爐灶。

事實是，架構層面，早就幾近定型了。

OpenAI用GPT-3徹底點燃了大模型架構基礎，LLaMA在GPT基礎上作出了總結并且對外開源，其后更多的玩家，沿著他們的藩籬前行。零一萬物在最新的聲明中也表示，GPT/LLaMA 的架構正在漸成行業(yè)標準。

這種事實，也讓更多圍觀這場爭議和討論的人聯(lián)想到智能手機的系統(tǒng)往事。

當時iPhone發(fā)布，帶來了閉源的iOS。

其后開源陣營中，Android在谷歌的大力扶植中上位，成功成為開源世界的第一名，并在其后真正成為了幾乎“唯一的一個”。

所以GPT和LLaMA，是不是就是iOS和Android的重演？

然而區(qū)別于手機操作系統(tǒng)，國產大模型或許還會有不同。

正如在討論中，大模型創(chuàng)新被強調的訓練方法、數據配比，以及更加重要的開發(fā)者生態(tài)。

iOS和Android之時，完全是太平洋東岸的獨角戲。

但現在，大模型熱潮中，國產玩家其實面臨機遇，如果能在初期就能被全球開發(fā)者認可，那最后獲得話語權和更長遠定義權的，一定是生態(tài)最強的那個玩家。