前一天發(fā)布 LLMPerf 排行榜，宣稱要推動(dòng)大型語(yǔ)言模型推理領(lǐng)域的發(fā)展，鼓勵(lì)創(chuàng)新與超越。

第二天就收獲 AI 社區(qū)的大量吐槽，原因是排行榜的「基準(zhǔn)甚至沒(méi)有得到很好的校準(zhǔn)」。

這是 Anyscale 這家初創(chuàng)公司正在經(jīng)歷的事情。

Anyscale 是一家專注分布式計(jì)算領(lǐng)域的美國(guó)初創(chuàng)公司，雖然創(chuàng)立僅三年時(shí)間，但卻收獲了不少的關(guān)注。

首先就是 Anyscale 旗下開源項(xiàng)目 Ray 帶來(lái)的光環(huán)。Ray 是一個(gè)開源的分布式計(jì)算框架，可以將 AI/ML 和 Python 的 workload 從單機(jī)拓展至多臺(tái)計(jì)算機(jī)上，從而提高 workload 的運(yùn)行效率，目前已經(jīng)在 Github 上收獲了兩萬(wàn)多個(gè) Star。帶動(dòng)了最新一波大模型熱潮的 ChatGPT，也是基于 Ray 框架訓(xùn)練的。

還有一部分原因是創(chuàng)始團(tuán)隊(duì)的光環(huán)。這家初創(chuàng)公司的創(chuàng)始人之一、UC 伯克利教授 Ion Stoica 是市值 310 億美元的數(shù)據(jù)巨頭 Databricks 的聯(lián)合創(chuàng)始人，他在十年前帶領(lǐng)學(xué)生創(chuàng)立了 Databricks，收獲了商業(yè)上的巨大成功。在 2019 年，他又一次做出了創(chuàng)業(yè)的決定 ——Anyscale 誕生了。公司創(chuàng)始團(tuán)隊(duì)中的 CEO Robert Nishihara 和 CTO Philipp Moritz ，也都是他在伯克利的學(xué)生。此外，伯克利教授 Michael I. Jordan 也參與了 Anyscale 的創(chuàng)業(yè)。

這些要素，都讓人們?cè)?Anyscale 身上看到了 Databricks 的影子，一些投資者將 Anyscale 描述為充滿希望的「下一個(gè) Databricks」

2021 年 12 月，Anyscale 完成了 1 億美元的 C 輪融資，估值達(dá)到 10 億美元，投資者包括 a16z、Addition、NEA、Intel 等。今年 8 月，Addition 和 Intel 又共同牽頭追加了新一輪 9,900 萬(wàn)美元投資。

這應(yīng)該是一個(gè)前景光明的技術(shù)團(tuán)隊(duì)。而此次被吐槽事件的經(jīng)過(guò)是這樣的：

11 月初，Anyscale 發(fā)布過(guò)一個(gè)開源大模型推理基準(zhǔn)，叫做「LLMPerf」。這個(gè)基準(zhǔn)是為了方便廣大研究者評(píng)估 LLM API 性能。

三天前，Anyscale 在上述工作的基礎(chǔ)上，推出了 LLMPerf 排行榜。

排行榜地址：https://github.com/ray-project/llmperf-leaderboard

Anyscale 稱，他們已經(jīng)利用 LLMPerf 對(duì)一些 LLM 推理提供商進(jìn)行了基準(zhǔn)測(cè)試，評(píng)估大模型性能、可靠性、效率的關(guān)鍵指標(biāo)包括以下三點(diǎn)：

• 第一個(gè) token 的時(shí)間（TTFT），表示 LLM 返回第一個(gè) token 的持續(xù)時(shí)間。TTFT 對(duì)于聊天機(jī)器人等流媒體應(yīng)用尤為重要。
• token 間延遲：連續(xù) token 之間的平均時(shí)間。
• 成功率：推理 API 在無(wú)錯(cuò)誤的情況下成功響應(yīng)的比例。由于服務(wù)器問(wèn)題或超出速率限制，可能會(huì)出現(xiàn)失敗，這反映了 API 的可靠性和穩(wěn)定性。

但 Anyscale 曬出的這些測(cè)評(píng)結(jié)果引發(fā)了不小的爭(zhēng)議，比如 TTFT 這一項(xiàng)指標(biāo)，對(duì)于不同規(guī)模的模型，Anyscale 都是第一名。

70B Models：

13B Models：

7B Models：

后兩項(xiàng)指標(biāo)的測(cè)評(píng)結(jié)果中，Anyscale 也顯示出「遙遙領(lǐng)先」的水準(zhǔn)。

面對(duì)這么多優(yōu)秀對(duì)手，Anyscale 真的能實(shí)現(xiàn)「吊打」嗎？圖中結(jié)果令人懷疑。

對(duì)此，PyTorch 創(chuàng)始人 Soumith Chintala 表示：「看到來(lái)自可靠來(lái)源的構(gòu)建不佳的基準(zhǔn)讓我感到痛苦。我希望 Anyscale 能夠解決問(wèn)題，并在發(fā)布此類基準(zhǔn)之前咨詢其他利益相關(guān)者。如果我不是很了解 Anyscale，我會(huì)認(rèn)為這是惡意行為?！?/p>

問(wèn)題出在哪里呢？Soumith Chintala 認(rèn)為，這個(gè)基準(zhǔn)沒(méi)有得到很好的校準(zhǔn)，「它僅在很短的時(shí)間內(nèi)展示了復(fù)雜問(wèn)題的一個(gè)方面」。

至少，用戶需要了解多個(gè)附加因素：1. 服務(wù)的每個(gè) token 成本；2. 吞吐量，而不僅僅是延遲；3. 在一段時(shí)間內(nèi)測(cè)量的可靠性、延遲和吞吐量，而不僅僅是突發(fā)可靠性，突發(fā)可靠性可能會(huì)根據(jù)一天中的時(shí)間而有很大變化。

此外，Anyscale 應(yīng)該明確標(biāo)記該基準(zhǔn)是有偏見的，因?yàn)?Anyscale 正在管理它，或者向其他利益相關(guān)者開放基準(zhǔn)的設(shè)計(jì)和治理，即開放治理，而不僅僅是開源。試圖制定和控制標(biāo)準(zhǔn)并不好。

「基準(zhǔn)游戲」并不新鮮，曾經(jīng)的數(shù)據(jù)庫(kù)之戰(zhàn)、大數(shù)據(jù)之戰(zhàn)、機(jī)器學(xué)習(xí)框架之戰(zhàn)都涉及到各種投機(jī)取巧的基準(zhǔn)測(cè)試，僅僅為了更好地展示自己。

兩位 AI 學(xué)者陳天奇和賈揚(yáng)清也回憶起，那些年關(guān)于「基準(zhǔn)游戲」的故事：

作為 LeptonAI 的創(chuàng)始人，賈揚(yáng)清還分析了 Anyscale 發(fā)布的大模型推理排行榜為什么不夠合理：

作為 AI 框架領(lǐng)域的資深人士，請(qǐng)?jiān)试S我分享一個(gè)故事。在圖像模式時(shí)代，每個(gè)人都想成為 「最快的框架」，為了讓自己的速度快上 2%，不惜犧牲很多其他因素。

有一個(gè)框架從來(lái)都不是最快的。猜猜它是什么?

這個(gè)框架的名字叫 PyTorch。直到今天，PyTorch 仍然不是最快的框架，這是我從同事 Soumith Chintala 身上學(xué)到的重要一課。這是一個(gè)有意識(shí)的選擇，以確保不會(huì)過(guò)度優(yōu)化單一(或少數(shù))標(biāo)準(zhǔn)。

我為 Anyscale 制作基準(zhǔn)測(cè)試而鼓掌，恕我直言，這是一個(gè)誠(chéng)實(shí)、用心良苦的基準(zhǔn)測(cè)試，卻存在嚴(yán)重錯(cuò)誤和不明確的參數(shù)。比如，在引擎蓋下運(yùn)行這些服務(wù)的是什么 GPU？

但是，既然性能比較不可避免，那我就把結(jié)果公布出來(lái)吧。

在 Anyscale 在 10 月份發(fā)布的一篇帖子中，曾對(duì)比過(guò)三家 API 的推理性能。賈揚(yáng)清曬出了一張 Lepton API 與這三家 API 的對(duì)比圖片：

基準(zhǔn)數(shù)據(jù)來(lái)源：https://anyscale.com/blog/reproducible-performance-metrics-for-llm-inference

「原始數(shù)據(jù)不是由 Anyscale 發(fā)布的，因此我們不得不在帖子中的原始圖片上疊加圖表。很抱歉把這些東西拼湊在一起?！官Z揚(yáng)清表示：「我們并不打算用它來(lái)衡量誰(shuí)是最快的，只是想證明我們是名列前茅的?！?/p>

除了賈揚(yáng)清，其他「被上榜」的 API 所屬團(tuán)隊(duì)也提出了質(zhì)疑。

比如 FireworksAI 聯(lián)合創(chuàng)始人、CTO Dmytro Dzhulgakov：

TogetherAI 的 CEO 表示：「Anyscale 是為了清洗他們 API 糟糕性能進(jìn)行的基準(zhǔn)測(cè)試?！?/p>

多方質(zhì)疑之下，Anyscale 的 CEO 親自回應(yīng)了基準(zhǔn)的缺陷問(wèn)題：

我同意你的很多反饋，我們將解決它!

一些具體的事情：

我們將添加成本作為一個(gè)指標(biāo)(這非常重要)。

我們將隨著時(shí)間的推移測(cè)量延遲和可靠性。正如您提到的，這些事情根據(jù)一天中的時(shí)間而變化。

關(guān)于吞吐量，此處的預(yù)期范圍是對(duì) API 端點(diǎn)產(chǎn)品進(jìn)行基準(zhǔn)測(cè)試(而不是 LLM 推理引擎)。每個(gè)副本的吞吐量不是一個(gè)面向用戶的概念，我們可以在不訪問(wèn)內(nèi)部的情況下進(jìn)行基準(zhǔn)測(cè)試。吞吐量非常重要，但這是一種不同的設(shè)置。

我們的目的是使其對(duì)社區(qū)有用。僅當(dāng)其成為共同努力并且社區(qū)認(rèn)為這是公平時(shí)，它才會(huì)有用。我們正在與所有利益相關(guān)者聯(lián)系以就此進(jìn)行合作。

與此同時(shí)，Anysacle 也在邀請(qǐng)各位 API 提供商共同參于排行版的「修正」：

對(duì)于此事，你怎么看？