繼OpenAI最近的爭(zhēng)議后，AI工程師和公司開(kāi)始減少乃至完全擺脫對(duì)其API的依賴。

譯自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是 The New Stack 的高級(jí)編輯，并撰寫有關(guān) Web 和應(yīng)用程序開(kāi)發(fā)趨勢(shì)的文章。此前，他于 2003 年創(chuàng)立了 ReadWriteWeb，并將其打造成為世界上最有影響力的技術(shù)新聞網(wǎng)站之一。從早期開(kāi)始...

無(wú)論過(guò)去幾天圍繞 OpenAI 的劇情如何發(fā)展，有一件事是清楚的:那些依賴 OpenAI API 構(gòu)建的創(chuàng)業(yè)公司現(xiàn)在正在重新思考他們的策略。正如 Shawn "swyx" Wang 在劇情泄露到新聞后不久所指出的那樣，"99% 的 AI 工程師的工作以 OpenAI 模型開(kāi)始，可能也將以 OpenAI 模型結(jié)束。" 但是現(xiàn)在，Wang 警告說(shuō)，"OpenAI 霸權(quán)的日子結(jié)束了。"

人們預(yù)計(jì) OpenAI 的競(jìng)爭(zhēng)對(duì)手，如 Anthropic 和 Google，將從中受益；開(kāi)源 LLM 如 Meta 的 Llama 2 也是如此。但這種動(dòng)蕩也會(huì)滲透到第三方工具中。例如，Swyx 認(rèn)為，"相對(duì)來(lái)說(shuō)，像 LangChain 和 LlamaIndex 這樣與模型無(wú)關(guān)的工具，以及模型路由器和網(wǎng)關(guān)，將更有價(jià)值。"

歸根結(jié)底，最大的教訓(xùn)是一個(gè)熟悉的教訓(xùn)：不要讓你的工作項(xiàng)目或創(chuàng)業(yè)公司依賴于另一家公司的技術(shù)。這是 Twitter 開(kāi)發(fā)人員早在 2012 年(然后在十年后重新學(xué)習(xí))就吃到了苦頭的事情。

直到上周，AI 工程師們普遍認(rèn)為 OpenAI 的 LLM 優(yōu)于所有其他 LLM。今年有人談?wù)?/span>開(kāi)源模型正在趕上。Meta 在 7 月宣布的 Llama 2 目前領(lǐng)先于斯坦福大學(xué)的 HELM(語(yǔ)言模型整體評(píng)估)基準(zhǔn)排行榜。然而，OpenAI 最新的模型(GPT-4 及以上)還沒(méi)有被 HELM 評(píng)估——感覺(jué)是 GPT 仍然是最好的。

OpenAI 的開(kāi)發(fā)者體驗(yàn)也很難打敗，主要是因?yàn)槟悴恍枰约河?xùn)練或微調(diào) LLM。你只需要使用 OpenAI 的 API，然后在它上面做提示工程，在如 LangChain 這樣的工具幫助下。

總的來(lái)說(shuō)，使用 OpenAI 的 API 一直被視為 AI 工程最高效、最簡(jiǎn)單的方法。然而，過(guò)去幾天的鬧劇生動(dòng)地展示了依賴一家公司 API 的風(fēng)險(xiǎn)。所以，許多 AI 初創(chuàng)公司現(xiàn)在可能會(huì)決定，擁有對(duì) LLM 的直接訪問(wèn)權(quán)限(特別是如果它們是開(kāi)源的)才是更好的選擇。

評(píng)估替代方案

非 OpenAI 的供應(yīng)商已經(jīng)站出來(lái)幫助創(chuàng)業(yè)公司測(cè)試替代方案。AnyScale 的 Robert Nishihara最近在 X(原 Twitter)上寫道:

“如果你想要并排比較 OpenAI 和開(kāi)源模型(Llama 2、Mistral、Zephyr 等)，請(qǐng)查看 Anyscale Endpoints。我們提供兼容 OpenAI 的 API(用于推理和微調(diào))?！?/p>

即使創(chuàng)業(yè)公司決定繼續(xù)使用 OpenAI 目前市場(chǎng)領(lǐng)先的 GPT 模型，它們也可能決定從 OpenAI 更穩(wěn)定的合作伙伴那里為它們提供服務(wù)：Microsoft。一家名為 Sardine 的 AI 創(chuàng)業(yè)公司的創(chuàng)始人兼 CEO Soups Ranjan 在 X 上評(píng)論說(shuō)：“許多公司可能已經(jīng)將他們的模型服務(wù)直接遷移到了 Microsoft 的 Azure AI API?！钡拇_，Ranjan 證實(shí)他的公司就是這么做的。

Ranjan 還建議 AI 創(chuàng)業(yè)公司應(yīng)該通過(guò)“跨多個(gè)模型編排——如 Google 的 PaLM、Anthropic 的 Claude2 或開(kāi)源模型 Llama”來(lái)使其 LLM 多樣化。

然而，Ranjan 警告說(shuō)，開(kāi)源不是簡(jiǎn)單的選擇，你需要一個(gè)堅(jiān)實(shí)的后端來(lái)使其工作。他在 X 上寫道："不要低估 OpenAI 或 Azure 或 Google Cloud 的超級(jí)力量——他們擁有世界級(jí)的服務(wù)基礎(chǔ)設(shè)施，可以托管這些需要大量 RAM 或定制 GPU 芯片(如英偉達(dá) A100 或 H100)的大型語(yǔ)言模型，而這些芯片供應(yīng)非常緊張。"

但最終它可能是值得的。Ranjan 總結(jié)說(shuō)："控制你的模型，控制你的命運(yùn)。"

執(zhí)行 AI 轉(zhuǎn)型

在 LinkedIn 上，AI 創(chuàng)業(yè)家 Aishwarya (AG) Goel 寫了一篇指南，介紹如何讓你的創(chuàng)業(yè)公司擺脫 OpenAI，轉(zhuǎn)向Hugging Face 的開(kāi)源工具。她概述了如何在該平臺(tái)上找到模型，使用 Hugging Face 的推理 API 對(duì)其進(jìn)行測(cè)試，進(jìn)行成本分析，并考慮“無(wú)服務(wù)器部署選項(xiàng)”(她自己的公司提供該服務(wù))。

但要當(dāng)心，更改 LLM 提供商有隱藏的危險(xiǎn)。LangChain 是 OpenAI 的重要合作伙伴，可能是除 OpenAI 自身之外使用最廣泛的AI 工程工具，它在一條推文中寫道：“不同的 LLM 通常需要不同的提示策略?！?/p>

LangChain 補(bǔ)充說(shuō)：“切換 API 端點(diǎn)通常是簡(jiǎn)單的部分。難點(diǎn)是讓一個(gè) LLM 的表現(xiàn)與另一個(gè) LLM 類似。讓單個(gè) LLM 表現(xiàn)良好就已經(jīng)夠難的了!”

該公司說(shuō)目前沒(méi)有"很好的選擇"來(lái)做到這一點(diǎn)，但它建議開(kāi)發(fā)人員使用其自己的LangSmith Prompt Hub來(lái)測(cè)試“適用于你正在使用的模型的提示示例”。

是時(shí)候擴(kuò)展業(yè)務(wù)了

在撰寫本文時(shí)(美國(guó)太平洋時(shí)間周三凌晨早些時(shí)候)，OpenAI 劇情的最新消息是 Sam Altman 將回任 CEO，并且最終不會(huì)加入 Microsoft。如果那確實(shí)發(fā)生了，許多 AI 工程師和 AI 創(chuàng)業(yè)公司將舒了一口氣。但他們不應(yīng)忘記這里的基本教訓(xùn)：不要依賴一家公司來(lái)運(yùn)行你的產(chǎn)品！

其中一位已經(jīng)開(kāi)始測(cè)試 OpenAI 替代方案的工程師是 Redis 的創(chuàng)造者 Salvatore Sanfilippo(也稱為 @antirez)。在一條推文中承認(rèn)他喜歡 ChatGPT 后，他寫道：“如果你的產(chǎn)品使用了 OpenAI API，而你沒(méi)有嘗試這個(gè)任務(wù)是否可以由微調(diào)(通過(guò) LoRa 或其他方式)的 Mistral 7B 來(lái)處理......嗯，在這種情況下，你真的錯(cuò)過(guò)了一些東西?！?/p>

如果 Redis 的創(chuàng)造者正在考慮其他選擇——在他的例子中是一個(gè)名為Mistral 7B的新的開(kāi)源 LLM——那么你也許也應(yīng)該這么做。