譯者 | 布加迪

審校 | 重樓

每周都有新的大語(yǔ)言模型（LLM）出現(xiàn)，越來(lái)越多的聊天機(jī)器人可供我們使用。然而，很難找出哪一個(gè)LLM是最好的、每一個(gè)LLM方面的進(jìn)展以及哪一個(gè)LLM最有用。

HuggingFace有一個(gè)開(kāi)放的LLM排行榜，負(fù)責(zé)跟蹤、評(píng)估和排名新發(fā)布的LLM。它使用一個(gè)獨(dú)特的框架來(lái)測(cè)試生成式語(yǔ)言模型處理不同評(píng)估任務(wù)的表現(xiàn)。

之前，LLaMA（大語(yǔ)言模型Meta人工智能）在排行榜上名列前茅，但最近已被一個(gè)新的預(yù)訓(xùn)練LLM：Falcon 40B所取代。

關(guān)于科技創(chuàng)新研究所

Falcon LLM由科技創(chuàng)新研究所（TII）創(chuàng)立和開(kāi)發(fā)，該公司隸屬阿布扎比政府先進(jìn)技術(shù)研究委員會(huì)。政府監(jiān)督整個(gè)阿聯(lián)酋的技術(shù)研究，該研究所的科學(xué)家、研究人員和工程師團(tuán)隊(duì)專(zhuān)注于提供變革性技術(shù)和科學(xué)發(fā)現(xiàn)。

Falcon 40B簡(jiǎn)介

Falcon-40B是一個(gè)具有400億個(gè)參數(shù)的基礎(chǔ)LLM，在一萬(wàn)億token上進(jìn)行訓(xùn)練。Falcon 40B是一種自回歸純解碼器模型。自回歸純解碼器模型意味著該模型經(jīng)過(guò)訓(xùn)練，可以在給定前一個(gè)token的序列中預(yù)測(cè)下一個(gè)token。GPT模型就是一種典型的自回歸純解碼器模型。

結(jié)果證明，Falcon的架構(gòu)在訓(xùn)練計(jì)算預(yù)算僅為GPT-3 75%的情況下上明顯優(yōu)于GPT-3，而且只在推理時(shí)需要計(jì)算。

大規(guī)模的數(shù)據(jù)質(zhì)量是科技創(chuàng)新研究所團(tuán)隊(duì)關(guān)注的一個(gè)重要方向，因?yàn)槲覀冎?/span>LLM對(duì)訓(xùn)練數(shù)據(jù)的質(zhì)量非常敏感。該團(tuán)隊(duì)建立了一條數(shù)據(jù)管道，可以擴(kuò)展到數(shù)萬(wàn)個(gè)CPU核心，以進(jìn)行快速處理，并能夠使用廣泛的過(guò)濾和重復(fù)數(shù)據(jù)刪除從網(wǎng)上提取高質(zhì)量的內(nèi)容。

科技創(chuàng)新研究所還有另一個(gè)簡(jiǎn)化版：Falcon-7B，它有70億個(gè)參數(shù)，在15000億個(gè)token上訓(xùn)練。如果你在尋找一個(gè)隨時(shí)可用的聊天模型，可以使用Falcon-40B-Instruct和Falcon-7B-Instruct。

Falcon 40B能做什么？

與其他LLM相似，Falcon 40B可以:

• 生成創(chuàng)意內(nèi)容
• 解決復(fù)雜問(wèn)題
• 客戶(hù)服務(wù)運(yùn)作
• 提供虛擬助手
• 提供語(yǔ)言翻譯
• 提供情緒分析
• 減少和自動(dòng)化“重復(fù)性”工作
• 幫助阿聯(lián)酋公司提高效率

Falcon 40B是如何訓(xùn)練的？

在兩個(gè)多月的時(shí)間里，它在1萬(wàn)億個(gè)token上進(jìn)行訓(xùn)練，在AWS上使用384個(gè)GPU，并在RefinedWeb的10000億token上進(jìn)行訓(xùn)練。其中，RefinedWeb是一個(gè)由TII構(gòu)建的大型英語(yǔ)網(wǎng)絡(luò)數(shù)據(jù)集。

預(yù)訓(xùn)練數(shù)據(jù)由來(lái)自網(wǎng)上的公共數(shù)據(jù)集合組成，使用CommonCrawl。該團(tuán)隊(duì)經(jīng)歷了一個(gè)徹底的過(guò)濾階段，刪除了機(jī)器生成的文本和成人內(nèi)容，并進(jìn)行了重復(fù)數(shù)據(jù)刪除，以生成一個(gè)擁有近5萬(wàn)億個(gè)token的預(yù)訓(xùn)練數(shù)據(jù)集。

RefinedWeb數(shù)據(jù)集建立在CommonCrawl之上，顯示模型比在精選數(shù)據(jù)集上進(jìn)行訓(xùn)練的模型具有更好的性能。RefinedWeb也是對(duì)多模態(tài)友好的。

Falcon LLM已開(kāi)源

他們已向公眾開(kāi)放了Falcon LLM的源代碼，使Falcon 40B和7B更容易被研究人員和開(kāi)發(fā)人員使用，它是基于Apache許可證2.0版本發(fā)布的。

該LLM曾經(jīng)只用于研究和商業(yè)用途，現(xiàn)在已經(jīng)開(kāi)源，以滿(mǎn)足全球全面獲取AI的需求。由于阿聯(lián)酋致力于改變AI領(lǐng)域的挑戰(zhàn)和極限，因此它沒(méi)有商業(yè)使用限制方面的版稅。

Apache 2.0旨在AI領(lǐng)域促進(jìn)一個(gè)協(xié)作、創(chuàng)新和共享知識(shí)的生態(tài)系統(tǒng)，確保了開(kāi)源軟件的安全性。

如何使用Falcon- 7B Instruct LLM？

如果您想試試簡(jiǎn)化版的Falcon-40B，它更適合聊天機(jī)器人風(fēng)格的通用指令，不妨先使用Falcon-7B。

讓我們開(kāi)始吧。

如果還沒(méi)有安裝，請(qǐng)安裝以下軟件包：

!pip install transformers
!pip install einops
!pip install accelerate
!pip install xformers

一旦您安裝了這些軟件包，就可以繼續(xù)運(yùn)行為Falcon 7B Instruct提供的代碼：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model = "tiiuae/falcon-7b-instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
  "text-generation",
 model=model,
 tokenizer=tokenizer,
 torch_dtype=torch.bfloat16,
 trust_remote_code=True,
 device_map="auto",
)
sequences = pipeline(
 "Girafatron is obsessed with giraffes, the most glorious animal on the face of this Earth. Giraftron believes all other animals are irrelevant when compared to the glorious majesty of the giraffe.\nDaniel: Hello, Girafatron!\nGirafatron:",
 max_length=200,
 do_sample=True,
 top_k=10,
 num_return_sequences=1,
 eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
  print(f"Result: {seq['generated_text']}")

結(jié)語(yǔ)

作為目前最好的開(kāi)源模型，F(xiàn)alcon摘得了LLaMA的桂冠，人們驚嘆于其強(qiáng)大的優(yōu)化架構(gòu)、采用獨(dú)特許可證的開(kāi)源以及40B和7B參數(shù)這兩種規(guī)格。

原文標(biāo)題：Falcon LLM: The New King of Open-Source LLMs，作者：Nisha Arya