羊駝家族的“最強開源代碼模型”，迎來了它的“超大杯”——

就在今天凌晨，Meta宣布推出Code Llama的70B版本。

圖片

在HumanEval測試中，Code Llama-70B的表現(xiàn)在開源代碼模型中位列第一，甚至超越了GPT-4。

此次發(fā)布的超大杯，保持著與小號版本相同的許可協(xié)議，也就是仍然可以免費商用。

圖片

版本上，也和往常一樣分為原版、針對自然語言指令微調(diào)的Instruct版和針對Python微調(diào)的Python版。

其中擊敗GPT-4的是Instruct版本，它取得了67.8分的pass@1成績，勝過了GPT-4的67分。

與34B模型相比，基礎(chǔ)版和Instruct版的成績分別提高了8.6%和63.4%。

圖片

Code Llama的所有版本均在16000個token的序列上進行訓練，上下文長度可達10萬token。

這意味著，除了生成更長的代碼，Code Llama還可以從用戶的自定義代碼庫讀取更多內(nèi)容，將其傳遞到模型中。

這樣一來就可以針對具體問題的相關(guān)代碼進行快速定位，解決了用戶面對海量代碼進行調(diào)試時“無從下手”的問題。

Meta CEO小扎也在個人博客中宣布了這一消息，表示為70B Code Llama感到驕傲。

圖片

而小扎的這則帖文，也被細心的網(wǎng)友發(fā)現(xiàn)了玄機。

Llama 3要來了？

等一下……他說的是……Llama……3？

的確，在帖文的結(jié)尾處，小扎說希望這些成果能夠應用到Llama 3當中。

圖片

難道，Llama 3，真的要來了嗎？

早在去年8月，有關(guān)Llama 3的傳聞就已經(jīng)出現(xiàn)，而直到上周小扎才正式透露，Llama 3的訓練過程正在進行。

同時，Meta也在進一步擴充算力，預計到今年年底將擁有35萬塊H100。

如果將其他顯卡也折算成H100，Meta總計將擁有等效于60萬塊H100的算力。

圖片

不過小扎透露的消息似乎沒有滿足網(wǎng)友的好奇心，關(guān)于Llama 3究竟何時能上線的討論也不絕于耳。

Llama 2的訓練用了21天，我們是不是可以期待著Llama 3差不多也是這樣呢？

關(guān)于這個問題，暫時還沒有官方消息，有人推測就在今年第一季度。

圖片

但可以確定的是，Llama 3將繼續(xù)保持開源。

同時小扎還表示，AGI將是下一代人工智能的一大標志，也是Meta所追求的目標。

為了加速AGI的實現(xiàn)，Meta還將旗下的FAIR團隊和GenAI團隊進行了合并。

圖片

卷參數(shù)量，有必要嗎？

除了Llama 3這個“意外發(fā)現(xiàn)”，關(guān)于Code Llama本身，網(wǎng)友們也提出了不少問題和期待。

首先是關(guān)于運行Code Llama所需要的硬件資源，有網(wǎng)友期待在蘋果M2 Max等芯片上就能運行。

圖片

但實際情況是，由于沒有N卡用不了CUDA，Code Llama在M系蘋果芯片上的運行結(jié)果并不理想。

圖片

針對N卡則有人猜測，如果對模型進行量化操作，可能4090就能帶動。

也有人質(zhì)疑這種想法是過度樂觀，4090能帶動的量化程度可能并不適用于這款模型。

但如果愿意用運算速度換取顯存空間，用兩塊3090來代替也未嘗不可。

圖片

但即便4090屬于消費級顯卡，大部分程序員仍然不一定有能高效運行70B模型的設(shè)備。

這也就引發(fā)了另一個問題——堆參數(shù)量，是否真的有必要？

從Pass@1排行榜中，深度求索團隊的DeepSeek Coder表現(xiàn)就比Code Llama高出2.3分，但參數(shù)量卻只有6.7B，不足后者的十分之一。

圖片

如果縱向比較，DeepSeek Coder的6.7B和33B版本僅差了2.5分，參數(shù)量帶來的性能提升并沒有Code Llama當中明顯。

圖片

所以，除了堆參數(shù)量，Meta或許還得在模型本身上再下點功夫。

圖片

參考鏈接：
[1]https://twitter.com/aiatmeta/status/1752013879532782075
[2]https://ai.meta.com/blog/code-llama-large-language-model-coding/
[3]https://www.facebook.com/zuck/posts/pfbid0KccyDFLszKeHkWVssrcSJYnigb1VYfsLuExTjxVPKWzDpXgmd9FYMfZ1hcWpyf3Zl
[4]https://news.ycombinator.com/item?id=39178886