AI 領(lǐng)域再添一員"猛將",Meta 發(fā)布全新大型語(yǔ)言模型LLaMA
ChatGTP走紅以來,圍繞ChatGTP開發(fā)出來的AI應(yīng)用層出不窮;讓人們感受到了人工智能的強(qiáng)大!
近日,F(xiàn)acebook 母公司Meta 發(fā)布了人工智能大型語(yǔ)言模型(Large Language Model Meta AI)簡(jiǎn)稱LLaMA。
扎克伯格在社交媒體上稱:”由 FAIR 團(tuán)隊(duì)研發(fā)的LLaMA模型是目前世界上水平最高的大型語(yǔ)言模型, 目標(biāo)是幫助研究人員推進(jìn)他們?cè)谌斯ぶ悄茴I(lǐng)域的工作!“。
與其他大型模型一樣,Meta LLaMA 的工作原理是將一系列單詞作為“輸入”并預(yù)測(cè)下一個(gè)單詞以遞歸生成文本。
據(jù)介紹,Meta 正在開發(fā)多種參數(shù)(7B、13B、33B 和 65B)的 LLaMA。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 萬億個(gè) tokens 上訓(xùn)練,而最小的模型 LLaMA 7B 也經(jīng)過了 1 萬億個(gè) tokens 的訓(xùn)練。
另外LLaMA 模型接受了 20 種語(yǔ)言訓(xùn)練,包括拉丁語(yǔ)和西里爾字母語(yǔ)言,所需的計(jì)算能力遠(yuǎn)低于之前推出的大模型。
FAIR團(tuán)隊(duì)表示,LLaMA 目前尚未被應(yīng)用在 Meta 的任何產(chǎn)品之中。
與”DeepMind“ 和 ”O(jiān)penAI“ 不同的是,LLaMA將會(huì)公開訓(xùn)練代碼;
Meta 還計(jì)劃將這項(xiàng)技術(shù)優(yōu)先開放給 AI 研究人員,如果想使用 LLaMA 可以提交申請(qǐng),審核通過就可以使用。