基于Meta模型打造的輕量版ChatGPT，這就來啦？

Meta宣布推出LLaMA才三天，業(yè)界就出現(xiàn)了把它打造成ChatGPT的開源訓練方法，號稱比ChatGPT訓練速度最高快15倍。

LLaMA是Meta推出的超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運行。

把它變成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人類反饋的強化學習）進行訓練，在網(wǎng)上很快掀起了一陣熱度。

所以，Meta的開源版ChatGPT真的要來了？

先等等，事情倒也沒那么簡單。

把LLaMA訓練成ChatGPT的“開源方法”

點進ChatLLaMA項目主頁來看，會發(fā)現(xiàn)它實際上集成了四個部分——

DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的數(shù)據(jù)集。

其中，DeepSpeed是一個開源深度學習訓練優(yōu)化庫，包含名叫Zero的現(xiàn)存優(yōu)化技術，用于提升大模型訓練能力，具體指幫模型提升訓練速度、降低成本、提升模型可用性等。

RLHF則會采用獎勵模型來對預訓練模型進行微調(diào)。獎勵模型即先用多個模型生成問題問答，再依靠人工對問答進行排序，讓它學會打分；隨后，基于獎勵學習給模型生成的回答進行打分，通過強化學習的方式增強模型能力。

LangChain是一個大語言模型應用開發(fā)庫，希望將各種大語言模型整合起來，結(jié)合其他知識來源或計算能力創(chuàng)建一個實用的應用程序。LangChain agent則會像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。

這時候你會發(fā)現(xiàn)，最關鍵的依舊是LLaMA的模型權重。它從哪里來？

嘿嘿，自己去找Meta申請吧，ChatLLaMA并不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請）

所以本質(zhì)上來說，ChatLLaMA并不是一個開源ChatGPT項目，而只是一種基于LLaMA的訓練方法，其庫內(nèi)集成的幾個項目原本也都是開源的。

實際上，ChatLLaMA也并非由Meta打造，而是來自一個叫做Nebuly AI的初創(chuàng)AI企業(yè)。

Nebuly AI做了一個叫做Nebullvm的開源庫，里面集成了一系列即插即用的優(yōu)化模塊，用于提升AI系統(tǒng)性能。

例如這是Nebullvm目前包含的一些模塊，包括基于DeepMind開源的AlphaTensor算法打造的OpenAlphaTensor、自動感知硬件并對其進行加速的優(yōu)化模塊……

ChatLLaMA也在這一系列模塊中，但要注意的是它的開源license也是不可商用的。?

所以“國產(chǎn)自研ChatGPT”想要直接拿去用，可能還沒那么簡單（doge）。?

看完這個項目后，有網(wǎng)友表示，要是有人真搞到LLaMA的模型權重（代碼）就好了……

但也有網(wǎng)友指出，“比ChatGPT訓練方法快15倍”這種說法是一個純純的誤導：

所謂的快15倍只是因為LLaMA模型本身很小，甚至能在單個GPU上運行，但應該不是因為這個項目所做的任何事情吧？

這位網(wǎng)友還推薦了一個比庫中效果更好的RLHF訓練方法，名叫trlx，訓練速度要比通常的RLHF方法快上3~4倍：

你拿到LLaMA的代碼了嗎？覺得這個訓練方法如何？

ChatLLaMA地址：???https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama??

參考鏈接：???https://twitter.com/omarsar0/status/1630211059876339713??