前些天，Meta 發(fā)布的免費(fèi)可商用版本  Llama 2，可謂在 AI 界引起了巨大的轟動(dòng)。 

Meta 一口氣發(fā)布了多個(gè)模型系列：包含 70 億、130 億和 700 億三種參數(shù)變體，此外還訓(xùn)練了一個(gè) 340 億參數(shù)變體。

公布的測(cè)評(píng)結(jié)果顯示，Llama 2 在包括推理、編碼、精通性和知識(shí)測(cè)試等許多外部基準(zhǔn)測(cè)試中都優(yōu)于其他開(kāi)源語(yǔ)言模型。

不同于 ChatGPT、GPT-4 等閉源模型，由于 Llama 2 可用于商業(yè)目的，一經(jīng)發(fā)布就吸引了一大波 AI 研究人員的注意。由于任何人都可以通過(guò)在 Meta 網(wǎng)站上填寫(xiě)表格來(lái)請(qǐng)求下載 Llama 2，根據(jù)官方消息，自發(fā)布以來(lái)，Llama 2 一周內(nèi)就有超過(guò) 15 萬(wàn)次的下載請(qǐng)求。Meta 對(duì)于這一數(shù)字的描述是難以置信，并且用戶(hù)請(qǐng)求數(shù)量還在增長(zhǎng)。

Llama 2 請(qǐng)求地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

來(lái)源：https://ai.meta.com/blog/llama-2-update/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_cnotallow=card

隨著 Llama 2 的逐漸走紅，大家對(duì)它的二次開(kāi)發(fā)開(kāi)始流行起來(lái)。前幾天，OpenAI 科學(xué)家 Karpathy 利用周末時(shí)間開(kāi)發(fā)了一個(gè)明星項(xiàng)目 llama2.c，借助 GPT-4，該項(xiàng)目?jī)H用 500 行 C 語(yǔ)言就實(shí)現(xiàn)了對(duì) Llama 2 baby 模型的推理。該項(xiàng)目可以在蘋(píng)果 M1 筆記本上每秒輸出 98 個(gè) token。

剛剛，又有一個(gè)和 LLaMA 2 相關(guān)的項(xiàng)目 llama2.rs 開(kāi)始得到大家的關(guān)注，項(xiàng)目作者是來(lái)自康奈爾大學(xué)的助理教授 Alexander Rush。

總結(jié)而言，該項(xiàng)目主要是用 Rust 實(shí)現(xiàn) Llama2，結(jié)果表明，用這種方式實(shí)現(xiàn)的 LLaMA 2 非常安全，而且很快。值得一提的是，該項(xiàng)目用到了 Karpathy 的 llama2.c 項(xiàng)目的 Rust 端口。

項(xiàng)目地址：https://github.com/srush/llama2.rs

深度學(xué)習(xí)三巨頭之一的 Yann LeCun 也宣傳了一波：

接下來(lái)我們看看，如何使用 llama2.rs。

構(gòu)建 llama2.rs 非常簡(jiǎn)單，只需一行代碼：

> cargo build --release

運(yùn)行程序如下，顯示 tok/s 為 0.92618316：

> target/release/llama2_rs ../llama2.c/llama2_7b.bin 0.0 11 "The only thing"
The only thing that is certain in life is change.
achieved tok/s: 0.92618316

作為對(duì)比，下面是作者在電腦上運(yùn)行原始 llama2.c，顯示 tok/s 為 0.139889：

> ./run llama2_7b.bin 0.0 11 "The only thing"
The only thing that is certain in life is change.
achieved tok/s: 0.139889

在談到為何開(kāi)發(fā)這一項(xiàng)目時(shí)，Alexander Rush 表示，自己只是想做一些關(guān)于 Rust 的練習(xí)，與此同時(shí)，學(xué)習(xí)該如何進(jìn)行程序移植，比如內(nèi)存映射、并行處理和一些數(shù)學(xué)技巧。

接下來(lái)，Alexander Rush 打算嘗試移植 minitorch，感興趣的讀者可以關(guān)注一下了。