GPT-4最強(qiáng)平替更新了！

這次，基于全新的Llama 2，UC伯克利發(fā)布了更新版Vicuna v1.5。

不僅支持4K和16K上下文，并且在幾乎所有基準(zhǔn)測(cè)試中取得了SOTA。

自3月發(fā)布以來(lái)，Vicuna已成為最受歡迎的聊天LLM之一。它在多模態(tài)、AI安全和評(píng)估方面的研究具有開(kāi)創(chuàng)性。

上個(gè)月，Vicuna模型在Hugging Face上的下載量超過(guò)了200萬(wàn)次。

LeCun也轉(zhuǎn)發(fā)了基于自家模型搭建的新版Vicuna。

最新模型權(quán)重

Vicuna基于LLaMA，應(yīng)在LLaMA的模型許可下使用。

你可以使用下面的命令開(kāi)始聊天。

它會(huì)自動(dòng)從Hugging Face存儲(chǔ)庫(kù)下載權(quán)重。在下面的「使用命令行界面進(jìn)行推理」部分中查看更多命令選項(xiàng)以及如何處理內(nèi)存不足。

注意：transformers>=4.31 是16K版本所必需的。

目前，有可試用的demo。

https://chat.lmsys.org/

Vicuna的優(yōu)秀項(xiàng)目

MiniGPT4

地址：https://minigpt-4.github.io

MiniGPT-4的新模型，使用先進(jìn)的大型語(yǔ)言模型Vicuna進(jìn)行調(diào)優(yōu)。

它在文本預(yù)言方面可以達(dá)到ChatGPT的90%。在視覺(jué)感知方面，研究人員還使用了與BLIP-2相同的預(yù)訓(xùn)練視覺(jué)組件。

其中組件由EVA-CLIP的ViT-G/14和Q-Former組成。

MiniGPT-4 只添加了一個(gè)映射層，將編碼的視覺(jué)特征與Vicuna語(yǔ)言模型對(duì)齊，凍結(jié)了所有視覺(jué)和語(yǔ)言組件參數(shù)。

LLaVA

地址：https://llava-vl.github.io

LLaVA是一個(gè)由威斯康星大學(xué)麥迪遜分校、微軟和哥大研究人員共同發(fā)布的多模態(tài)大模型。

該模型結(jié)合了視覺(jué)編碼器和Vicuna對(duì)于通用的視覺(jué)和語(yǔ)言理解。

其能力接近GPT-4的圖文理解能力，相對(duì)于GPT-4獲得了85.1%的相對(duì)得分，并在科學(xué)QA上實(shí)現(xiàn)了當(dāng)前最先進(jìn)的準(zhǔn)確性。

LLM-Attacks

地址：https://llm-attacks.org

CMU和人工智能安全中心的研究人員發(fā)現(xiàn)，只要通過(guò)附加一系列特定的無(wú)意義token，就能生成一個(gè)神秘的prompt后綴。

由此，任何人都可以輕松破解LLM的安全措施，生成無(wú)限量的有害內(nèi)容。

有趣的是，這種「對(duì)抗性攻擊」方法不僅突破開(kāi)源系統(tǒng)的護(hù)欄，而且也可以繞過(guò)閉源系統(tǒng)，包括ChatGPT、Bard、Claude等。

Gorilla

地址：https://github.com/ShishirPatil/gorilla

Gorilla是一種基于LLaMA架構(gòu)的大型語(yǔ)言模型，它可以生成合適的API調(diào)用。

它在Torch Hub、TensorFlow Hub和HuggingFace等三個(gè)大型機(jī)器學(xué)習(xí)庫(kù)的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。

Gorilla還可以快速添加新的領(lǐng)域知識(shí)，包括Kubernetes、GCP、AWS、OpenAPI等。

在零樣本的情況下，Gorilla的表現(xiàn)優(yōu)于GPT-4、ChatGPT和Claude等模型。

QLoRA

地址：https://github.com/artidoro/qlora

華盛頓大學(xué)的研究人員首次證明，在不損失模型性能的前提下，也可以微調(diào)量化的4位模型。

他們提出的新方法QLoRA，使用一種新的高精度技術(shù)將預(yù)訓(xùn)練模型量化為4位，然后添加一小部分可學(xué)習(xí)的低秩適配器權(quán)重。

這些適配器權(quán)重通過(guò)量化權(quán)重的反向傳播梯度進(jìn)行調(diào)整。

QLoRA方法證明了4位量化模型也可以進(jìn)行有效的微調(diào),達(dá)到與全精度模型相當(dāng)?shù)男阅堋?/span>

ToolLLaMA

地址：https://github.com/OpenBMB/ToolBench

ToolLLM這個(gè)項(xiàng)目，是為了構(gòu)建開(kāi)源、大規(guī)模、高質(zhì)量的指令調(diào)優(yōu)SFT數(shù)據(jù)集，以促進(jìn)構(gòu)建具有通用工具使用能力的強(qiáng)大語(yǔ)言模型。

研究人員表示，開(kāi)源LLM能夠掌握數(shù)千種不同的現(xiàn)實(shí)世界API，并通過(guò)收集高質(zhì)量的指令調(diào)優(yōu)數(shù)據(jù)集來(lái)實(shí)現(xiàn)這一點(diǎn)。