現(xiàn)在市面上的大模型越來越多，選擇多了也可能成為一種幸福的煩惱。

如何選擇一個好模型？

在機器學(xué)習(xí)中，通常會使用一些評估指標(biāo)來選擇模型，例如，用精度、召回率、F1等指標(biāo)來評估一個分類模型的性能；使用IOU，AUC等指標(biāo)評估目標(biāo)檢測和分割模型的性能。

同理，大模型也有評估指標(biāo)。

質(zhì)量：大模型的指令跟隨以及推理能力，例如，通用推理能力，或者具有某一方面的編碼、數(shù)學(xué)推理能力。

性能：大模型的反應(yīng)速度和記憶能力，例如，每秒輸入、輸出token數(shù)、上下文長度。

價格：大模型API調(diào)用計費，例如，每1M tokens多少刀。

我們當(dāng)然希望能有一個模型各項指標(biāo)都第一，但這是不現(xiàn)實的，就像分布式系統(tǒng)中CAP三個屬性最多只能同時滿足兩個一樣，大模型的評估指標(biāo)之間，通常也存在相互制約關(guān)系，

例如，如果提升了上下文長度，那必然會導(dǎo)致反應(yīng)延遲以及更多計算存儲資源的消耗。

例如，如果想讓其具備某一領(lǐng)域的特長，就可能會損失一定的通用推理能力。

例如，如果通過增加模型參數(shù)來增強模型推理能力，那么推理成本就會增加，就會上調(diào)API調(diào)用價格。

所以，在實踐中，最常見的做法將所有大模型都擺到明面上，通過量化指標(biāo)展示各自優(yōu)缺點，然后讓用戶結(jié)合自己的需求來進行選擇。

今天給大家介紹一個大模型統(tǒng)計網(wǎng)站。

??https://artificialanalysis.ai/??

它通過可視化方法將市面上常見的大模型的性能指標(biāo)進行了量化分析、統(tǒng)籌比較。

例如，昨天OpenAI進行了產(chǎn)品升級，GPT3.5成為歷史，取而代之的是GPT-4o mini，官方數(shù)據(jù)顯示GPT-4o mini具有超快的響應(yīng)速度，同時兼顧推理能力和極低的API調(diào)用成本。

接下來，通過該網(wǎng)站的統(tǒng)計數(shù)據(jù)看看是不是這么回事。

通過數(shù)據(jù)可見，其推理速度第一，API計費僅次于開源的llama 3，更重要的是并沒有因此犧牲太多的推理能力。

如果想兼顧模型質(zhì)量、推理速度和價格，就要將所有模型放到同一個坐標(biāo)系下，坐標(biāo)系下橫軸是推理速度，縱軸是模型質(zhì)量，點的大小代表價格。最理想的當(dāng)然是靠近右上角且小點的模型。

兼顧模型質(zhì)量、上下文長度和價格。

兼顧推理速度和價格，越靠近左上角的模型質(zhì)量越好。

不同大小輸入token下的輸出速度對比。

該網(wǎng)站還對不同組織旗下的大模型進行了匯總。

除了大語言模型，該網(wǎng)站還包括文本轉(zhuǎn)語音、語音轉(zhuǎn)文本、文生圖等大模型的統(tǒng)計數(shù)據(jù)。

本文轉(zhuǎn)載自公眾號人工智能大講堂 

原文鏈接：???https://mp.weixin.qq.com/s/ELDZEIKDekfe-FETbqNP3w???