2017年，谷歌團隊在論文「Attention Is All You Need」提出了開創(chuàng)性的NLP架構(gòu)Transformer，自此一路開掛。

多年來，這一架構(gòu)風(fēng)靡微軟、谷歌、Meta等大型科技公司。就連橫掃世界的ChatGPT，也是基于Transformer開發(fā)的。

而就在今天，Transformer在GitHub上星標破10萬大關(guān)！

Hugging Face，最初只是一個聊天機器人程序，因其作為Transformer模型的中心而聲名鵲起，一舉成為聞名世界的開源社區(qū)。

為了慶祝這一里程碑，Hugging Face也總結(jié)了100個基于Transformer架構(gòu)搭建的項目。

Transformer引爆機器學(xué)習(xí)圈

2017年6月，谷歌發(fā)布「Attention Is All You Need」論文時，或許誰也沒有想到這個深度學(xué)習(xí)架構(gòu)Transformer能夠帶來多少驚喜。

從誕生至今，Transformer已經(jīng)成為AI領(lǐng)域的基石王者。19年，谷歌還專門為其申請了專利。

隨著Transformer在NLP領(lǐng)域占據(jù)了主流地位，還開始了向其他領(lǐng)域的跨界，越來越多的工作也開始嘗試將其引到CV領(lǐng)域。

看到Transformer突破這一里程碑，許多網(wǎng)友甚是激動。

「我一直是許多受歡迎的開源項目的貢獻者，但看到Transformer在GitHub上達到10萬顆星，還是很特別的！」

前段時間Auto-GPT的GitHub星量超過了pytorch引起了很大的轟動。

網(wǎng)友不禁好奇Auto-GPT和Transformer相比呢？

其實，Auto-GPT遠遠超過了Transformer，已經(jīng)有13萬星。

目前，Tensorflow有17多萬星?？梢?，Transformer是繼這兩個項目之后，第三個星標破10萬的機器學(xué)習(xí)庫。

還有網(wǎng)友回憶起了最初使用Transformers庫時，那時的名字叫「pytorch-pretrained-BERT」。

基于Transformer的50個超贊項目

Transformers不僅是一個使用預(yù)訓(xùn)練模型的工具包，它還是一個圍繞Transformers和Hugging Face Hub構(gòu)建的項目社區(qū)。

在下面列表中，Hugging Face總結(jié)了100個基于Transformer搭建的讓人驚嘆的新穎項目。

以下，我們節(jié)選了前50個個項目進行介紹：

gpt4all

gpt4all是一個開源聊天機器人生態(tài)系統(tǒng)。它是在大量干凈的助手數(shù)據(jù)集合上訓(xùn)練出來的，包括代碼、故事和對話。它提供開源的大型語言模型，如LLaMA和GPT-J，以助理的方式進行訓(xùn)練。

關(guān)鍵詞: 開源，LLaMa，GPT-J，指令，助手

recommenders

這個存儲庫包含構(gòu)建推薦系統(tǒng)的示例和最佳實踐，以Jupiter筆記本形式提供。它涵蓋了建立有效推薦系統(tǒng)所需的幾個方面: 數(shù)據(jù)準備、建模、評估、模型選擇和優(yōu)化，以及操作化。

關(guān)鍵詞：推薦系統(tǒng)，AzureML

lama-cleaner

基于Stable Diffusion技術(shù)的圖像修復(fù)工具?？梢詮膱D片中擦出任何你不想要的物體、缺陷、甚至是人，并替換圖片上的任何東西。

關(guān)鍵詞：修補，SD，Stable Diffusion

flair

FLAIR是一個強大的PyTorch自然語言處理框架，可以轉(zhuǎn)換幾個重要的任務(wù)：NER、情感分析、詞性標注、文本和對偶嵌入等。

關(guān)鍵詞：NLP，文本嵌入，文檔嵌入，生物醫(yī)學(xué)，NER，PoS，情感分析

mindsdb

MindsDB是一個低代碼的機器學(xué)習(xí)平臺。它將幾個ML框架作為「AI表」自動集成到數(shù)據(jù)棧中，以簡化AI在應(yīng)用程序中的集成，讓所有技能水平的開發(fā)人員都能使用。

關(guān)鍵詞：數(shù)據(jù)庫，低代碼，AI表

langchain

Langchain旨在協(xié)助開發(fā)兼容 LLM 和其他知識來源的應(yīng)用程序。該庫允許對應(yīng)用程序進行鏈式調(diào)用，在許多工具中創(chuàng)建一個序列。

關(guān)鍵詞：LLM，大型語言模型，智能體，鏈

ParlAI

ParlAI是一個用于分享、訓(xùn)練和測試對話模型的python框架，從開放領(lǐng)域的聊天，到面向任務(wù)的對話，再到可視化問題回答。它在同一個API下提供了100多個數(shù)據(jù)集，許多預(yù)訓(xùn)練模型，一組智能體，并有幾個集成。

關(guān)鍵詞：對話，聊天機器人，VQA，數(shù)據(jù)集，智能體

sentence-transformers

這個框架提供了一種簡單的方法來計算句子、段落和圖像的密集向量表示。這些模型基于BERT/RoBERTa/XLM-RoBERTa等Transformer為基礎(chǔ)的網(wǎng)絡(luò)，并在各種任務(wù)中取得SOTA。文本嵌入到向量空間中，這樣類似的文本就很接近，可以通過余弦相似度高效找到。

關(guān)鍵詞：密集向量表示，文本嵌入，句子嵌入

ludwig

Ludwig是一個聲明式的機器學(xué)習(xí)框架，使用一個簡單而靈活的數(shù)據(jù)驅(qū)動的配置系統(tǒng)，可以輕松定義機器學(xué)習(xí)pipelines。Ludwig針對的是各類AI任，提供了一個數(shù)據(jù)驅(qū)動的配置系統(tǒng)，訓(xùn)練、預(yù)測和評估腳本，以及一個編程的API。

關(guān)鍵字：聲明式，數(shù)據(jù)驅(qū)動，ML 框架

InvokeAI

InvokeAI是Stable Diffusion模型的一個引擎，面向?qū)I(yè)人士、藝術(shù)家和愛好者。它通過CLI以及WebUI來利用最新的AI驅(qū)動技術(shù)。

關(guān)鍵詞：Stable Diffusion，WebUI，CLI

PaddleNLP

PaddleNLP是一個易于使用且功能強大的NLP庫，特別是針對中文語言。它支持多個預(yù)訓(xùn)練的模型動物園，并支持從研究到工業(yè)應(yīng)用的廣泛的NLP任務(wù)。

關(guān)鍵詞：自然語言處理，漢語，研究，工業(yè)

stanza

斯坦福大學(xué)NLP小組的官方Python NLP庫。它支持在60多種語言上運行各種精確的自然語言處理工具，并支持從Python訪問Java Stanford CoreNLP軟件。

關(guān)鍵詞：NLP，多語言，CoreNLP

DeepPavlov

DeepPavlov是一個開源的對話式人工智能庫。它被設(shè)計用于開發(fā)可生產(chǎn)的聊天機器人，和復(fù)雜的對話系統(tǒng)，以及在NLP領(lǐng)域的研究，特別是對話系統(tǒng)。

關(guān)鍵詞：對話，聊天機器人

alpaca-lora

Alpaca-lora包含了使用低秩適應(yīng)（LoRA）重現(xiàn)斯坦福大學(xué)Alpaca結(jié)果的代碼。該資源庫提供訓(xùn)練（微調(diào)）以及生成腳本。

關(guān)鍵詞：LoRA，參數(shù)高效微調(diào)

imagen-pytorch

一個Imagen的開源實現(xiàn)，谷歌的封閉源文本到圖像的神經(jīng)網(wǎng)絡(luò)擊敗了DALL-E2。imagen-pytorch是用于文本到圖像合成的新SOTA。

關(guān)鍵詞：Imagen，文生圖

adapter-transformers

adapter-transformers是Transformers 庫的一個擴展，通過納入AdapterHub，將適配器集成到最先進的語言模型中，AdapterHub是一個預(yù)訓(xùn)練的適配器模塊的中央存儲庫。它是Transformers的直接替代品，定期更新以保持與Transformers發(fā)展同步。

關(guān)鍵字：適配器，LoRA，參數(shù)高效微調(diào)，Hub

NeMo

NVIDIA NeMo是為從事自動語音識別（ASR）、文本-語音合成（TTS）、大語言模型和自然語言處理的研究人員構(gòu)建的會話AI工具包。NeMo的主要目標是幫助來自工業(yè)界和學(xué)術(shù)界的研究人員重新利用以前的工作（代碼和預(yù)先訓(xùn)練的模型），并使其更容易創(chuàng)建新的項目。

關(guān)鍵詞：對話，ASR，TTS，LLM，NLP

Runhouse

Runhouse允許用Python將代碼和數(shù)據(jù)發(fā)送到任何計算機或數(shù)據(jù)下層，并繼續(xù)從現(xiàn)有代碼和環(huán)境正常地與它們進行交互。Runhouse開發(fā)者提到：

可以將它看作 Python 解釋器的擴展包，它可以繞道遠程機器或操作遠程數(shù)據(jù)。

關(guān)鍵詞: MLOps，基礎(chǔ)設(shè)施，數(shù)據(jù)存儲，建模

MONAI

MONAI是PyTorch生態(tài)系統(tǒng)的一部分，是一個基于PyTorch的開源框架，用于醫(yī)療成像領(lǐng)域的深度學(xué)習(xí)。它的目標是:

- 發(fā)展一個學(xué)術(shù)、工業(yè)和臨床研究人員的共同基礎(chǔ)上的合作社區(qū)；

- 為醫(yī)療成像創(chuàng)建SOTA、端到端訓(xùn)練的工作流程；

- 為深度學(xué)習(xí)模型的建立和評價提供了優(yōu)化和標準化的方法。

關(guān)鍵詞：醫(yī)療成像，訓(xùn)練，評估

simpletransformers

Simple Transformers讓您快速訓(xùn)練和評估Transformer模型。初始化、訓(xùn)練和評估模型只需要3行代碼。它支持各種各樣的 NLP 任務(wù)。

關(guān)鍵詞：框架，簡單性，NLP

JARVIS

JARVIS是一個將GPT-4等在內(nèi)的LLM與開源機器學(xué)習(xí)社區(qū)其他模型合并的系統(tǒng)，利用多達60個下游模型來執(zhí)行 LLM 確定的任務(wù)。

關(guān)鍵詞：LLM，智能體，HF Hub

transformers.js

transformers.js是一個JavaScript庫，目標是直接在瀏覽器中從transformers運行模型。

關(guān)鍵詞：Transformers，JavaScript，瀏覽器

bumblebee

Bumblebee在Axon之上提供了預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，Axon是用于Elixir語言的神經(jīng)網(wǎng)絡(luò)庫。它包括與模型的集成，允許任何人下載和執(zhí)行機器學(xué)習(xí)任務(wù)，只需要幾行代碼。

關(guān)鍵詞：Elixir，Axon

argilla

Argilla是一個提供高級NLP標簽、監(jiān)控和工作區(qū)的開源平臺。它與許多開源生態(tài)系統(tǒng)兼容，例如Hugging Face、Stanza、FLAIR等。

關(guān)鍵詞：NLP，標簽，監(jiān)控，工作區(qū)

haystack

Haystack是一個開源的NLP框架，可以使用Transformer模型和LLM與數(shù)據(jù)進行交互。它為快速構(gòu)建復(fù)雜的決策制定、問題回答、語義搜索、文本生成應(yīng)用程序等提供了可用于生產(chǎn)的工具。

關(guān)鍵詞：NLP，F(xiàn)ramework，LLM

spaCy

SpaCy是一個用于Python和Cython中高級自然語言處理的庫。它建立在最新的研究基礎(chǔ)之上，從一開始就被設(shè)計用于實際產(chǎn)品。它通過其第三方軟件包spacy-transformers為Transformers模型提供支持。

關(guān)鍵詞：NLP，架構(gòu)

speechbrain

SpeechBrain是一個基于PyTorch的開源、一體化的會話AI工具包。我們的目標是創(chuàng)建一個單一的、靈活的、用戶友好的工具包，可以用來輕松開發(fā)最先進的語音技術(shù)，包括語音識別、講話者識別、語音增強、語音分離、語言識別、多麥克風(fēng)信號處理等系統(tǒng)。

關(guān)鍵詞：對話，演講

skorch

Skorch是一個包裝PyTorch的具有scikit-learn兼容性的神經(jīng)網(wǎng)絡(luò)庫。它支持Transformers中的模型，以及來自標記器的標記器。

關(guān)鍵詞：Scikit-Learning，PyTorch

bertviz

BertViz是一個交互式工具，用于在諸如BERT、GPT2或T5之類的Transformer語言模型中可視化注意力。它可以通過支持大多數(shù)Huggingface模型的簡單Python API在Jupiter或Colab筆記本中運行。

關(guān)鍵詞：可視化，Transformers

mesh-transformer-jax

mesh-transformer-jax是一個俳句庫，使用JAX中的xmap/pjit運算符實現(xiàn)Transformers模型并行性。

這個庫被設(shè)計為在TPUv3上可擴展到大約40B的參數(shù)。它是用來訓(xùn)練GPT-J模型的庫。

關(guān)鍵詞：俳句，模型并行，LLM，TPUdeepchem

OpenNRE

一種用于神經(jīng)關(guān)系提取的開源軟件包（NRE）。它的目標用戶范圍很廣，從新手、到開發(fā)人員、研究人員或?qū)W生。

關(guān)鍵詞：神經(jīng)關(guān)系抽取，框架

pycorrector

一種中文文本糾錯工具。該方法利用語言模型檢測錯誤、拼音特征和形狀特征來糾正漢語文本錯誤?？捎糜跐h語拼音和筆畫輸入法。

關(guān)鍵詞: 中文，糾錯工具，語言模型，Pinyin

nlpaug

這個python庫可以幫助你為機器學(xué)習(xí)項目增強nlp。它是一個輕量級的庫，具有生成合成數(shù)據(jù)以提高模型性能的功能，支持音頻和文本，并與幾個生態(tài)系統(tǒng)（scikit-learn、pytorch、tensorflow）兼容。

關(guān)鍵詞：數(shù)據(jù)增強，合成數(shù)據(jù)生成，音頻，自然語言處理

dream-textures

dream-textures是一個旨在為Blender帶來穩(wěn)定擴散支持的庫。它支持多種用例，例如圖像生成、紋理投影、內(nèi)畫/外畫、 ControlNet和升級。

關(guān)鍵詞: Stable-Diffusion，Blender

seldon-core

Seldon core將你的ML 模型（Tensorflow、 Pytorch、 H2o等）或語言包裝器（Python、 Java等）轉(zhuǎn)換為生產(chǎn) REST/GRPC微服務(wù)。Seldon可以處理擴展到數(shù)以千計的生產(chǎn)機器學(xué)習(xí)模型，并提供先進的機器學(xué)習(xí)功能，包括高級指標、請求日志、解釋器、離群值檢測器、A/B測試、Canaries等。

關(guān)鍵詞：微服務(wù)，建模，語言包裝

open_model_zoo

該庫包括優(yōu)化的深度學(xué)習(xí)模型和一組演示，以加快高性能深度學(xué)習(xí)推理應(yīng)用程序的開發(fā)。使用這些免費的預(yù)訓(xùn)練模型，而不是訓(xùn)練自己的模型來加速開發(fā)和生產(chǎn)部署過程。

關(guān)鍵詞：優(yōu)化模型，演示

ml-stable-diffusion

ML-Stable-Diffusion是蘋果在蘋果芯片設(shè)備上為Core ML帶來Stable Diffusion支持的一個倉庫。它支持托管在Hugging Face Hub上的穩(wěn)定擴散檢查點。

關(guān)鍵詞：Stable Diffusion，蘋果芯片，Core ML

stable-dreamfusion

Stable-Dreamfusion是文本到3D模型Dreamfusion的pytorch實現(xiàn)，由Stable Diffusion文本到2D模型提供動力。

關(guān)鍵詞：文本到3D，Stable Diffusion

txtai

Txtai是一個開源平臺，支持語義搜索和語言模型驅(qū)動的工作流。Txtai構(gòu)建了嵌入式數(shù)據(jù)庫，它是向量索引和關(guān)系數(shù)據(jù)庫的結(jié)合，支持SQL近鄰搜索。語義工作流將語言模型連接到統(tǒng)一的應(yīng)用程序中。

關(guān)鍵詞：語義搜索，LLM

djl

Deep Java Library (DJL)是一個用于深度學(xué)習(xí)的開源、高級、引擎無關(guān)的Java框架，易于開發(fā)人員使用。DJL像其他常規(guī)Java庫一樣提供了本地Java開發(fā)經(jīng)驗和函數(shù)。DJL為HuggingFace Tokenizer提供了Java綁定，并為HuggingFace模型在Java中部署提供了簡單的轉(zhuǎn)換工具包。

關(guān)鍵詞：Java，架構(gòu)

lm-evaluation-harness

該項目提供了一個統(tǒng)一的框架，以測試生成語言模型在大量不同的評估任務(wù)。它支持200多項任務(wù)，并支持不同的生態(tài)系統(tǒng)：HF Transformers，GPT-NeoX，DeepSpeed，以及OpenAI API。

關(guān)鍵詞：LLM，評估，少樣本

gpt-neox

這個資源庫記錄了EleutherAI用于在GPU上訓(xùn)練大規(guī)模語言模型的庫。該框架以英偉達的Megatron語言模型為基礎(chǔ)，并以DeepSpeed的技術(shù)和一些新的優(yōu)化來增強。它的重點是訓(xùn)練數(shù)十億參數(shù)的模型。

關(guān)鍵詞：訓(xùn)練，LLM，Megatron，DeepSpeed

muzic

Muzic是一個關(guān)于人工智能音樂的研究項目，它能夠通過深度學(xué)習(xí)和人工智能來理解和生成音樂。Muzic是由微軟亞洲研究院的研究人員創(chuàng)建的。

關(guān)鍵詞：音樂理解，音樂生成

dalle-flow

DALL · E Flow是一個交互式工作流程，用于從文本提示符生成高清圖像。它利用DALL · E-Mega、GLID-3 XL和Stable Diffusion生成候選圖像，然后調(diào)用CLIP-as-service對候選圖像進行提示排序。首選的候選者被饋送到GLID-3 XL進行擴散，這通常會豐富紋理和背景。最后，通過SwinIR將候選項擴展到1024x1024。

關(guān)鍵詞：高清度圖像生成，Stable Diffusion，DALL-E Mega，GLID-3 XL，CLIP，SwinIR

lightseq

LightSeq是在CUDA中實現(xiàn)的用于序列處理和生成的高性能訓(xùn)練和推理庫。它能夠高效地計算現(xiàn)代NLP和CV模型，如BERT，GPT，Transformer等。因此，它對于機器翻譯、文本生成、圖像分類和其他與序列相關(guān)的任務(wù)非常有用。

關(guān)鍵詞：訓(xùn)練，推理，序列處理，序列生成

LaTeX-OCR

該項目的目標是創(chuàng)建一個基于學(xué)習(xí)的系統(tǒng)，該系統(tǒng)采用數(shù)學(xué)公式的圖像，并返回相應(yīng)的LaTeX代碼。

關(guān)鍵詞：OCR，LaTeX，數(shù)學(xué)公式

open_clip

OpenCLIP是OpenAI的CLIP的開源實現(xiàn)。

這個資源庫的目標是使具有對比性的圖像-文本監(jiān)督的訓(xùn)練模型成為可能，并研究它們的屬性，如對分布轉(zhuǎn)移的魯棒性。項目的出發(fā)點是CLIP的實現(xiàn)，當在相同的數(shù)據(jù)集上訓(xùn)練時，與原始CLIP模型的準確性相匹配。

具體來說，一個以O(shè)penAI的1500萬圖像子集YFCC為代碼基礎(chǔ)訓(xùn)練的ResNet-50模型在ImageNet上達到32.7%的最高準確率。

關(guān)鍵詞：CLIP，開源，對比，圖像文本

dalle-playground

一個playground生成圖像從任何文本提示使用Stable Diffusion和Dall-E mini。

關(guān)鍵詞：WebUI，Stable Diffusion，Dall-E mini

FedML

FedML是一個聯(lián)邦學(xué)習(xí)和分析庫，能夠在任何地方、任何規(guī)模的分散數(shù)據(jù)上進行安全和協(xié)作的機器學(xué)習(xí)。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)，分析，協(xié)作機器學(xué)習(xí)，分散