背景介紹

在當今這個數(shù)據(jù)爆炸的時代，語言模型的訓練變得越來越復雜和困難。我們需要巨大的計算資源和時間來訓練一個高效的語言模型。然而，這對許多人來說并不現(xiàn)實。與此同時，我們也遇到了如何在有限的內(nèi)存和計算資源中使用大型語言模型的挑戰(zhàn)，特別是在邊緣設備上。

今天要給大家推薦一個 GitHub 開源項目 jzhang38/TinyLlama，該項目在 GitHub 有超過 4.3k Star，用一句話介紹該項目就是：“The TinyLlama project is an open endeavor to pretrain a 1.1B Llama model on 3 trillion tokens.”。

項目介紹

TinyLlama 旨在預訓練一個在 3 萬億的 token 上的 1.1B Llama 模型。在一些恰當?shù)膬?yōu)化下，我們可以在短短 90 天內(nèi)使用 16 個 A100-40G GPUs 來達到這個目標。該項目采用了與 Llama 2 完全相同的架構(gòu)和 tokenizer，這意味著 TinyLlama 可以在許多基于 Llama 的開源項目中插入并使用。此外，TinyLlama 非常緊湊，只有 1.1B 的參數(shù)。這種緊湊性使其能夠滿足許多需要限制計算和內(nèi)存占用的應用。

如何使用

直接下載模型就可以使用，或者通過 huggingface 使用 demo。

如果你想自己訓練的話，參考如下訓練詳情。

項目推介

TinyLlama 是一個令人興奮的開源項目，它正在積極解決一些關(guān)鍵問題，并在開源社區(qū)中得到了廣泛的關(guān)注。

以下是該項目 Star 趨勢圖（代表項目的活躍程度）：

更多項目詳情請查看如下鏈接。

開源項目地址：https://github.com/jzhang38/TinyLlama

開源項目作者：jzhang38

以下是參與項目建設的所有成員：