從零開始構(gòu)建一個新的大型語言模型(LLM)是一種選擇，但對于許多公司來說，成本可能高得難以承受。幸運的是，還有其他幾種部署定制LLM的方法，這些方法更快、更容易，而且最重要的是，更便宜。

GenAI是歷史上發(fā)展最快的新技術(shù)。它正在改變世界，根據(jù)9月發(fā)布的美國3000多名在職成年人的實時人口調(diào)查，四分之一的人在上一周至少使用過一次GenAI進行工作，近11%的人每天都在使用。

因此，與互聯(lián)網(wǎng)相比，這項新技術(shù)的采用速度大約快了一倍。在S&P Global Market Intelligence代表Weka發(fā)布的一份最近報告中，88%的受訪企業(yè)使用GenAI，24%的企業(yè)將其作為工作流程中的集成能力。

更具體地說，LLM是一種專注于文本和代碼而不是圖像或音頻的GenAI，盡管有些LLM已經(jīng)開始整合不同的模態(tài)。當前企業(yè)中最受歡迎的LLM有ChatGPT和其他OpenAI GPT模型、Anthropic的Claude、Google的Gemini、Meta的Llama，以及由Meta和Google的DeepMind前員工創(chuàng)建的開源項目Mistral。

隨著勢頭不斷增強，以及行業(yè)壓力要求更直接地應用GenAI，我們研究了公司當前在部署LLM時面臨的七種不同程度的復雜性，以及他們?yōu)榇_保競爭優(yōu)勢而愿意付出的努力。

引入聊天機器人

聊天機器人是公司在工作中開始使用GenAI的最簡單方式。對于風險最低的使用場景，如AI驅(qū)動的互聯(lián)網(wǎng)搜索或公共文檔總結(jié)，有免費的公共選項可供選擇。這些聊天機器人也有企業(yè)版，供應商承諾保證所有對話的安全，不會將其用于訓練AI。

根據(jù)Netskope Threat Labs 7月的一份報告，96%的企業(yè)使用GenAI聊天機器人，一年前這一比例為74%。在企業(yè)中，ChatGPT是最受歡迎的通用GenAI聊天機器人平臺，使用率為80%。其次是Microsoft Copilot，使用率為67%，Google Gemini的使用率為51%。

此外，企業(yè)軟件供應商越來越多地在其平臺中嵌入GenAI功能。例如，Grammarly和Salesforce都具有GenAI功能。大多數(shù)主要的企業(yè)軟件供應商要么已經(jīng)推出了一些GenAI功能，要么已將其納入路線圖。

“當然，今年以及未來兩年，你能歸因于GenAI的大部分價值創(chuàng)造，將體現(xiàn)在你的搜索引擎、應用程序和工具中的副駕駛或助手功能上，”全球咨詢公司SSA & Company應用解決方案負責人Nick Kramer表示。

在其評估中，Gartner預測，到2026年，超過80%的企業(yè)軟件供應商將具備GenAI功能，而3月時這一比例還不到5%。

應用程序編程接口

下一個最常見的GenAI部署策略是在企業(yè)平臺中添加應用程序編程接口(API)。例如，如果員工使用某個應用程序來跟蹤會議，那么可以使用API自動生成會議記錄的摘要。Gartner表示，到2026年，超過30%的API需求增長將來自GenAI。

“你可以通過基于使用量的定價模型訪問大型科技公司創(chuàng)建的商用LLM的API，”Kearney數(shù)字和分析實踐合伙人Bharath Thota表示?！霸S多云提供商讓人們能夠輕松訪問這些LLM?！?/p>

他表示，對于像總結(jié)報告這樣的任務，可以直接使用LLM，而無需檢索增強生成(RAG)嵌入或微調(diào);只需使用提示本身，但這取決于需要解決的業(yè)務問題。這是一種低風險、低成本的方式，可以在不產(chǎn)生大量開銷的情況下為企業(yè)系統(tǒng)添加GenAI功能。這也是公司學習這些API的工作原理以及如何創(chuàng)建有效提示的機會。

根據(jù)OpenAI的數(shù)據(jù)，92%的《財富》500強公司正在使用其API，并且由于新模型的發(fā)布、成本降低和性能提高，自7月以來其使用量已翻倍。

向量數(shù)據(jù)庫和檢索增強生成

對于大多數(shù)希望定制其LLM的公司來說，檢索增強生成(RAG)是最佳選擇。如果有人談論嵌入或向量數(shù)據(jù)庫，通常指的就是這個。它的工作原理是，如果用戶詢問有關(guān)公司政策或產(chǎn)品的問題，該問題不會立即發(fā)送給LLM。相反，它會首先進行處理，以確定用戶是否有權(quán)訪問該信息。如果有訪問權(quán)限，則會檢索所有可能相關(guān)的信息，通常是從向量數(shù)據(jù)庫中檢索。然后，將問題和相關(guān)信息發(fā)送給LLM，并嵌入到一個優(yōu)化后的提示中，該提示還可能指定答案的首選格式和LLM應使用的語氣。

向量數(shù)據(jù)庫是一種通過一系列列表來企業(yè)信息的方式，每個列表都根據(jù)不同的屬性進行排序。例如，如果有一個按字母順序排列的列表，那么你的回復在該順序中越接近，就越相關(guān)。字母順序列表是一維向量數(shù)據(jù)庫，但它們可以有無限維度，允許你根據(jù)與任意數(shù)量因素的接近度來搜索相關(guān)答案。這使得它們非常適合與LLM結(jié)合使用。

“現(xiàn)在，我們正在將所有內(nèi)容轉(zhuǎn)換為向量數(shù)據(jù)庫，”銷售參與平臺供應商Salesloft的首席產(chǎn)品和工程官Ellie Fields表示?！笆堑?，它們確實有效?！?/p>

她說，這比使用簡單文檔來為LLM查詢提供上下文更有效。該公司主要使用ChromaDB，這是一個開源的向量存儲庫，其主要用途是為LLM服務。Salesloft使用的另一個向量數(shù)據(jù)庫是PGVector，這是PostgreSQL數(shù)據(jù)庫的向量相似性搜索擴展。

“但我們也使用FAISS和Pinecone進行了一些研究，”Fields表示。FAISS(Facebook AI Similarity Search)是Meta提供的開源庫，支持在多媒體文檔中進行相似性搜索。

Pinecone是一個專有的基于云的向量數(shù)據(jù)庫，也受到開發(fā)者的歡迎，其免費層級支持多達10萬個向量。一旦從向量數(shù)據(jù)庫中檢索到相關(guān)信息并嵌入到提示中，就會將其發(fā)送到在Microsoft Azure上私有實例中運行的OpenAI。

“我們讓Azure在我們的平臺上通過了新子處理器的認證，”Fields表示。“我們總是會讓客戶知道我們有了新的信息處理器?！?/p>

但Salesloft也與Google和IBM合作，并且正在開發(fā)一種也使用這些平臺的GenAI功能。

“我們肯定會與不同的供應商和不同的模型合作，”她表示?！扒闆r每周都在變化。如果你不看不同的模型，你就會錯失良機。”因此，RAG允許企業(yè)將專有數(shù)據(jù)與模型本身分離，從而能夠更輕松地隨著更好模型的發(fā)布而更換模型。此外，向量數(shù)據(jù)庫可以實時更新，無需對模型進行更多的微調(diào)或重新訓練。

有時不同的模型有不同的API。但更換模型仍然比重新訓練更容易?！拔覀冞€沒有找到一個使用場景，通過微調(diào)而不是向量數(shù)據(jù)庫能獲得更好的效果，”Fields補充道?！拔蚁嘈庞羞@樣的使用場景，但到目前為止，我們還沒有找到一個表現(xiàn)更好的?！?/p>

Salesloft推出的LLM的首批應用之一是添加了一個功能，讓客戶能夠為潛在客戶生成銷售電子郵件。“客戶要花很多時間來寫這些電子郵件，”Fields表示?！昂茈y開始，而且經(jīng)常會遇到寫作障礙。”所以現(xiàn)在客戶可以指定目標人物、價值主張和行動號召，然后他們會收到三封不同的電子郵件草稿，可以根據(jù)需要進行個性化定制。

本地運行的開源模型

Constellation Research副總裁兼首席分析師Andy Thurai清楚地看到，開源LLM已經(jīng)變得非常強大。例如，Meta剛剛發(fā)布了具有新視覺功能的幾種尺寸的Llama 3.2模型，并表示這些模型已被下載了近3.5億次，在一年內(nèi)增長了10倍，并且有6萬多個針對特定使用場景進行微調(diào)的衍生模型。

根據(jù)Chatbot Arena LLM排行榜，Meta的頂級Llama模型在質(zhì)量上與OpenAI的GPT 4和Anthropic的Claude 3.5 Sonnet相當。

“雖然Llama具有早期優(yōu)勢，但許多其他企業(yè)公司也在創(chuàng)建自己的開源LLM版本，”Thurai表示，包括IBM的Granite模型、AWS的Titan，以及Google的幾個開源模型。鑒于這種增長趨勢，API公司Kong最近對數(shù)百名IT專業(yè)人士和商業(yè)領(lǐng)袖進行了一項調(diào)查，結(jié)果顯示大多數(shù)企業(yè)直接使用或通過Azure AI使用OpenAI，其次是Google Gemini，而Meta的Llama位居第三。

開源模型有多種尺寸，這對企業(yè)來說是一個優(yōu)勢，因為較小的模型更便宜、更快。

“許多企業(yè)正在從試驗階段轉(zhuǎn)向部署模式，推理和優(yōu)化的成本正在成為一個大問題，”圖拉伊(Thurai)說?！八麄冎械暮芏嗳嗽谙胍渴鸬囊?guī)模上遭遇了成本沖擊?！?/p>

總部位于波士頓的Ikigai Labs也提供了一個平臺，允許公司構(gòu)建定制的大型圖形模型，或設(shè)計用于處理結(jié)構(gòu)化數(shù)據(jù)的人工智能模型。但為了讓界面更易于使用，Ikigai利用大型語言模型(LLM)為其前端提供支持。例如，該公司使用了擁有70億參數(shù)的Falcon開源LLM，并在自己的環(huán)境中為一些客戶運行它。

Ikigai的聯(lián)合創(chuàng)始人兼聯(lián)合首席執(zhí)行官德瓦夫拉特·沙阿(Devavrat Shah)表示，為了給LLM提供信息，Ikigai使用了一個也在本地運行的向量數(shù)據(jù)庫?！八哪昵霸诼槭±砉W院，我和我的一些學生試驗了大量的向量數(shù)據(jù)庫，”同時也是麻省理工學院人工智能教授的沙阿說?！拔抑浪鼤杏?，但沒想到這么有用。”

他說，將模型和向量數(shù)據(jù)庫都保持在本地意味著數(shù)據(jù)不會泄露給第三方?！皩τ谠敢鈱⒉樵儼l(fā)送給其他人的客戶，我們使用OpenAI，”沙阿說?！拔覀儗LM持開放態(tài)度?！?/p>

還有普華永道，該公司構(gòu)建了自己的ChatPwC工具，并且也對LLM持開放態(tài)度?！癈hatPwC讓我們的員工更有能力，”該公司合伙人兼GenAI(gen AI)市場化戰(zhàn)略負責人布雷特·格林斯坦(Bret Greenstein)說。例如，它包含預構(gòu)建的提示和嵌入，以實現(xiàn)諸如生成職位描述等用例。“這是為了使用我們的格式、模板和術(shù)語，”他說?！盀榱藙?chuàng)建這個，我們有人力資源、數(shù)據(jù)和提示專家，我們優(yōu)化了用例以生成良好、一致的職位發(fā)布?，F(xiàn)在，最終用戶不需要知道如何提示來生成職位描述?！?/p>

該工具構(gòu)建于Microsoft Azure之上，該公司還為其構(gòu)建了適用于Google Cloud Platform和AWS的版本?！拔覀儽仨毞瘴覀兊目蛻?，而他們在每一片云上都存在，”格林斯坦說。同樣，它也被優(yōu)化為在后端使用不同的模型，因為這就是客戶的需求?！拔覀冏屆恳粋€主要模型都運行起來，”他補充說?！癈laude、Anthropic、OpenAI、Llama、Falcon——我們應有盡有?！?/p>

當然，市場正在快速變化，格林斯坦建議企業(yè)對人工智能部署采取無悔政策。

“人們可以做很多事情，比如獨立于模型構(gòu)建自己的數(shù)據(jù)，并建立治理體系，”他說。然后，當市場發(fā)生變化，新的模型和技術(shù)出現(xiàn)時，數(shù)據(jù)和治理結(jié)構(gòu)仍然具有相關(guān)性。

微調(diào)

管理咨詢公司AArete在AWS Bedrock的Claude 2.5 Sonnet上使用基于少量學習的微調(diào)?！拔覀兪茿WS Bedrock在美國東部-1區(qū)域的最大用戶，”該公司數(shù)字技術(shù)服務副總裁普麗雅·伊拉加瓦拉普(Priya Iragavarapu)說?！拔覀円呀?jīng)能夠有效地將我們的GenAI應用投入生產(chǎn)?！?/p>

如果AArete使用托管模型并通過API連接到它，就會產(chǎn)生信任問題。“我們擔心提示中的數(shù)據(jù)最終會去向何方，”她說?！拔覀儾幌朊斑@些風險?！?/p>

在選擇開源模型時，她會查看它之前被下載的次數(shù)、社區(qū)支持情況以及硬件要求。

“基礎(chǔ)模型從去年開始已經(jīng)變得非常強大，以至于我們不需要擔心任務相關(guān)性的有效性輸出，”她說?！艾F(xiàn)在唯一的區(qū)別是模型在可以接受的token數(shù)量和版本控制方面的差異。”

金融界和醫(yī)療保健行業(yè)的許多公司都在基于自己的附加數(shù)據(jù)集對LLM進行微調(diào)?；A(chǔ)的LLM是在整個互聯(lián)網(wǎng)上訓練的，但通過微調(diào)，公司可以創(chuàng)建一個專門針對其業(yè)務用例的模型。實現(xiàn)這一目標的常見方法是創(chuàng)建一個問題和答案列表，并基于這些對模型進行微調(diào)。事實上，OpenAI從2023年8月開始允許使用問答方法對GPT 3.5模型進行微調(diào)，并在11月的DevDay上推出了一套新的微調(diào)、定制和檢索增強生成(RAG)選項。這對于客戶服務和幫助臺應用程序特別有用，因為公司可能已經(jīng)有一個常見問題解答(FAQ)數(shù)據(jù)庫。

普華永道的格林斯坦表示，構(gòu)建SaaS應用等應用程序的軟件公司可能會使用微調(diào)?！叭绻阌幸粋€高度可重復的模式，微調(diào)可以降低你的成本，”他說，但在企業(yè)部署中，RAG在高達95%的情況下效率更高。

從零開始

很少有公司會從頭開始構(gòu)建自己的LLM。OpenAI的GPT 3有1750億個參數(shù)，在45TB的數(shù)據(jù)集上進行訓練，訓練成本為460萬美元。據(jù)OpenAI首席執(zhí)行官薩姆·奧特曼(Sam Altman)稱，GPT 4的成本超過1億美元。正是這種規(guī)模賦予了LLM處理人類語言的魔力，以及一定程度的常識和遵循指令的能力。

Insight的首席數(shù)據(jù)官卡姆·塔利亞蒂(Carm Taglienti)說：“雖然你可以創(chuàng)建自己的LLM，但這需要大量的數(shù)據(jù)和計算能力投資?！薄皬念^開始訓練模型需要足夠的數(shù)據(jù)量，才能基于你的數(shù)據(jù)執(zhí)行你期望的LLM任務。”

然后，一旦模型完成了基礎(chǔ)訓練，就需要進行帶有人類反饋的強化學習(RLHF)步驟，這是模型以適當方式與用戶交互所必需的。

如今，幾乎所有的LLM都來自大型超大規(guī)模企業(yè)或?qū)Ｗ⒂谌斯ぶ悄艿某鮿?chuàng)公司，如OpenAI和Anthropic。即使是有豐富構(gòu)建自己模型經(jīng)驗的公司也避免創(chuàng)建自己的LLM。例如，Salesloft多年來一直在構(gòu)建自己的AI和ML模型，包括使用早期技術(shù)的通用AI模型，但對于從頭開始構(gòu)建一個全新的、尖端的基礎(chǔ)模型卻猶豫不決。

“這是一個巨大的計算步驟，至少在現(xiàn)階段，我看不到我們會這樣做，”菲爾德斯(Fields)說。

模型花園

對于最成熟的公司來說，一個通用AI模型是不夠的。不同的模型適用于不同類型的用例，并且與它們相關(guān)的成本和性能指標也不同。而且不斷有新玩家進入這個領(lǐng)域，超越已有的巨頭。此外，一些模型可以在本地或托管數(shù)據(jù)中心運行，這可以降低公司的成本或提供額外的安全性或靈活性。為了利用這些選項，公司創(chuàng)建了精心策劃的模型花園，即經(jīng)過仔細審查的LLM私有集合，包括定制模型或微調(diào)模型，并使用路由系統(tǒng)將請求引導到最合適的模型。“還沒有多少公司做到這一點，”凱爾尼(Kearney)的托塔(Thota)說?！斑@很復雜，但我相信這就是未來。”