生成型人工智能優(yōu)化框架研究 原創(chuàng)
簡(jiǎn)介
生成類似人類的文本和語(yǔ)音曾經(jīng)只有在科幻小說(shuō)中才成為可能。但是，GPT-3和PaLM等大型語(yǔ)言模型（LLM）的快速發(fā)展使這一愿景更接近現(xiàn)實(shí)，并且相應(yīng)地出現(xiàn)一系列基于它們的從聊天機(jī)器人到內(nèi)容創(chuàng)建等領(lǐng)域頗有前景的商業(yè)應(yīng)用程序。
然而，通用的基礎(chǔ)模型往往無(wú)法滿足特定行業(yè)場(chǎng)景的具體需求。企業(yè)對(duì)其生成型人工智能應(yīng)用程序有不同的要求，涉及到從性能、成本、延遲性乃至到可解釋性等諸多方面。此外，可用于模型訓(xùn)練的數(shù)據(jù)的性質(zhì)和數(shù)量也可能存在顯著差異。因此，產(chǎn)品團(tuán)隊(duì)必須為其生成式人工智能應(yīng)用程序構(gòu)建關(guān)鍵業(yè)務(wù)標(biāo)準(zhǔn)，并選擇合適的優(yōu)化技術(shù)工具包來(lái)滿足這些需求。
在這篇文章中，我們將向您展示一種框架，用于為您的生成型人工智能應(yīng)用程序確定和優(yōu)先考慮戰(zhàn)略重點(diǎn)領(lǐng)域。我們還將探索一些流行的優(yōu)化方法，并討論它們各自的獨(dú)特優(yōu)勢(shì)、理想的應(yīng)用程序以及在滿足應(yīng)用程序需求方面的權(quán)衡。通過(guò)以明確的商業(yè)目標(biāo)為指導(dǎo)的正確優(yōu)化戰(zhàn)略，公司便可以開發(fā)定制的人工智能解決方案，平衡對(duì)其成功至關(guān)重要的優(yōu)先事項(xiàng)。接下來(lái)，就讓我們一起開始這一探索吧！
評(píng)估業(yè)務(wù)需求和限制的框架
為了有效地調(diào)整優(yōu)化LLM的策略，產(chǎn)品團(tuán)隊(duì)?wèi)?yīng)該從深入了解業(yè)務(wù)目標(biāo)和運(yùn)營(yíng)限制開始。為您的業(yè)務(wù)場(chǎng)景評(píng)估并確定以下關(guān)鍵維度的優(yōu)先級(jí)：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
1.績(jī)效目標(biāo)
（Performance Goal）：定義人工智能需要實(shí)現(xiàn)的績(jī)效指標(biāo)和水平。這可以是事實(shí)準(zhǔn)確性、與人類價(jià)值觀的一致性或其他特定任務(wù)指標(biāo)的組合。
需要考慮的問(wèn)題：衡量績(jī)效的最佳維度是什么？可接受的最低性能標(biāo)準(zhǔn)是多少？您所在行業(yè)的性能如何與用戶期望保持一致？
2.延遲目標(biāo)
（Latency Targets）：確定應(yīng)用程序能夠承受的最長(zhǎng)響應(yīng)時(shí)間，而不會(huì)對(duì)用戶體驗(yàn)產(chǎn)生負(fù)面影響。當(dāng)LLM部署在時(shí)間敏感或資源受限的場(chǎng)景（例如，語(yǔ)音助手、邊緣設(shè)備）中時(shí)，這一點(diǎn)可能尤為重要。
需要考慮的問(wèn)題：延遲如何影響用戶滿意度和保留率？響應(yīng)時(shí)間的行業(yè)標(biāo)準(zhǔn)是什么？
3.成本效率
（Cost Efficiency）：根據(jù)預(yù)期ROI（投資回報(bào)率）評(píng)估人工智能的運(yùn)營(yíng)成本。當(dāng)更高的初始成本帶來(lái)可觀的節(jié)約、收入增長(zhǎng)或超過(guò)投資的戰(zhàn)略效益時(shí)，這些成本可能是合理的。
需要考慮的問(wèn)題：LLM的運(yùn)營(yíng)成本如何影響您的預(yù)算？投資回報(bào)率與人工智能部署成本相比如何？
4.可解釋性和信任
（Explainability & Trust）：確定是否需要確保人工智能決策易于被用戶理解，這對(duì)于建立信任至關(guān)重要，尤其是在監(jiān)管要求嚴(yán)格的領(lǐng)域。
需要考慮的問(wèn)題：您所在的行業(yè)是否受到監(jiān)管，要求人工智能決策的透明度？可解釋性如何影響用戶的信任和采用？
5.外部知識(shí)
（External Knowledge）：評(píng)估您的人工智能是否需要訪問(wèn)外部數(shù)據(jù)源以保持相關(guān)性并提供準(zhǔn)確的響應(yīng)。
需要考慮的問(wèn)題：您的人工智能是否需要實(shí)時(shí)數(shù)據(jù)來(lái)做出決策？
6.數(shù)據(jù)可用性
（Data Availability）：可用于訓(xùn)練人工智能的數(shù)據(jù)的性質(zhì)和數(shù)量可能會(huì)廣泛影響優(yōu)化策略。
需要考慮的問(wèn)題：您是否可以訪問(wèn)大型數(shù)據(jù)集進(jìn)行訓(xùn)練，或者是否需要使用合成或增強(qiáng)的數(shù)據(jù)？您需要多久更新一次訓(xùn)練數(shù)據(jù)以保持人工智能的相關(guān)性？
下表概述了生成式人工智能應(yīng)用程序的三個(gè)不同用例，并對(duì)框架內(nèi)每個(gè)維度的優(yōu)先級(jí)進(jìn)行了相應(yīng)評(píng)估：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
正如您從上表中所看到的，優(yōu)先級(jí)和約束在不同的用例中可能有很大的差異。
例如，考慮一家旨在開發(fā)客戶支持聊天機(jī)器人以減輕員工工作量的公司。在這種情況下，準(zhǔn)確性性能和外部數(shù)據(jù)集成是優(yōu)先需要考慮的事項(xiàng)，以便提供既正確又最及時(shí)的響應(yīng)。雖然延遲具有一定的意義，但用戶可能愿意容忍短暫的延遲。通常，這樣的公司可以訪問(wèn)可用于訓(xùn)練模型的非常廣泛的檔案——這些數(shù)據(jù)都是與老客戶交互過(guò)程產(chǎn)生的。
相比之下，人工智能在評(píng)估軟件代碼質(zhì)量和風(fēng)險(xiǎn)方面的關(guān)鍵應(yīng)用需要更加關(guān)注人工智能見解的事實(shí)準(zhǔn)確性和可解釋性，這通常是由于潛在的錯(cuò)誤后果所致。在這種情況下，成本和延遲就成為次要考慮因素。在某些情況下，此用例可能受益于外部數(shù)據(jù)集成，并且這通常面臨豐富的訓(xùn)練數(shù)據(jù)集的可用性方面的限制。
如果對(duì)與用例相關(guān)的戰(zhàn)略優(yōu)先級(jí)和限制有深入的了解，就可以幫助團(tuán)隊(duì)制定量身定制的戰(zhàn)略來(lái)優(yōu)化LLM，以滿足用戶的獨(dú)特需求。
深入研究LLM優(yōu)化技術(shù)
本節(jié)將深入研究各種優(yōu)化技術(shù)，強(qiáng)調(diào)它們的目標(biāo)、理想的使用場(chǎng)景和固有的權(quán)衡，特別是在平衡上述業(yè)務(wù)目標(biāo)的情況下。
技術(shù)表格細(xì)分如下所示：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
1.提示工程 （Prompt Engineering）
執(zhí)行復(fù)雜度：低
何時(shí)使用：適用于在不改變模型的情況下提高響應(yīng)時(shí)間與迅速改進(jìn)。在嘗試更復(fù)雜的優(yōu)化方法之前，可以先從這項(xiàng)技術(shù)開始，從而最大限度地提高預(yù)訓(xùn)練模型的有效性。
需要付出的代價(jià)：提示工程包括以一種能夠獲得所需輸出的方式，精心制作對(duì)模型的輸入查詢。它需要了解模型如何響應(yīng)不同類型的指令，但不需要重新訓(xùn)練模型或更改其體系結(jié)構(gòu)。這種方法只是優(yōu)化了現(xiàn)有模型訪問(wèn)和應(yīng)用其預(yù)先訓(xùn)練的知識(shí)的方式，并沒(méi)有增強(qiáng)模型的內(nèi)在能力。
“這就像調(diào)整你向知識(shí)淵博的朋友提問(wèn)的方式，以獲得盡可能好的答案?！?/p>
示例：
- 要求語(yǔ)言模型“以莎士比亞的風(fēng)格寫詩(shī)（Write a poem in the style of Shakespeare）”與“寫詩(shī)（Write a poem）”，以特定的文學(xué)風(fēng)格引發(fā)反應(yīng)。
- 提供一個(gè)詳細(xì)的場(chǎng)景，提示對(duì)話式人工智能，以確保模型了解其作為客戶服務(wù)代理的角色。
利弊 權(quán)衡：
試錯(cuò)：設(shè)計(jì)最有效的提示需要多次迭代，因?yàn)樘崾竞腿斯ぶ悄茌敵鲋g的關(guān)系并不總是直觀的。
輸出質(zhì)量：輸出的質(zhì)量在很大程度上取決于提示的設(shè)計(jì)，并且通過(guò)這種方法可以實(shí)現(xiàn)的改進(jìn)程度也是有限的。
2.微調(diào) （Fine-Tuning）
執(zhí)行復(fù)雜性：中等
何時(shí)使用：當(dāng)您需要模型適應(yīng)基礎(chǔ)預(yù)訓(xùn)練模型可能無(wú)法很好地涵蓋特定的領(lǐng)域或任務(wù)時(shí)，應(yīng)考慮進(jìn)行微調(diào)。這是朝著提高特定領(lǐng)域的準(zhǔn)確性和創(chuàng)建一個(gè)可以處理特定領(lǐng)域數(shù)據(jù)和術(shù)語(yǔ)的更專業(yè)的模型邁出的一步。
需要付出的代價(jià)：微調(diào)是在代表目標(biāo)任務(wù)或領(lǐng)域的新數(shù)據(jù)集上繼續(xù)訓(xùn)練預(yù)訓(xùn)練模型的過(guò)程。這個(gè)新的數(shù)據(jù)集由輸入輸出對(duì)組成，它們提供了所需行為的示例。在微調(diào)過(guò)程中，更新模型的權(quán)重以最大限度地減少新數(shù)據(jù)集上的損失，從而有效地使模型適應(yīng)新的領(lǐng)域。
“可以把它想象成給你的朋友上一堂關(guān)于你希望他們成為專家的主題的速成課程；向他們展示測(cè)試中可能出現(xiàn)的多個(gè)問(wèn)題示例以及他們應(yīng)該回答的樣本答案?！?/p>
示例：
通用語(yǔ)言模型可以對(duì)法律文檔進(jìn)行微調(diào)，以提高其審查此類文檔的性能。
圖像識(shí)別模型可以與醫(yī)學(xué)成像數(shù)據(jù)集進(jìn)行微調(diào)，以更好地識(shí)別X射線或MRI中的特定疾病。
利弊 權(quán)衡：
數(shù)據(jù)要求：微調(diào)需要一個(gè)與任務(wù)相關(guān)的標(biāo)記數(shù)據(jù)集，創(chuàng)建該數(shù)據(jù)集可能需要耗費(fèi)大量資源。
過(guò)度擬合風(fēng)險(xiǎn)：存在模型對(duì)微調(diào)數(shù)據(jù)過(guò)于專業(yè)化的潛在風(fēng)險(xiǎn)，這可能會(huì)降低其推廣到其他上下文或數(shù)據(jù)集的能力。
3.檢索增強(qiáng)生成（RAG）
執(zhí)行復(fù)雜性：高
何時(shí)使用：當(dāng)人工智能模型需要訪問(wèn)和整合外部信息以生成響應(yīng)時(shí)，應(yīng)考慮使用RAG。當(dāng)期望模型提供未包含在其預(yù)先訓(xùn)練的知識(shí)庫(kù)中的最新或高度特定的信息時(shí)，這一點(diǎn)尤其重要。
需要付出的代價(jià)：RAG將LLM的生成能力與檢索系統(tǒng)相結(jié)合。檢索系統(tǒng)查詢數(shù)據(jù)庫(kù)、知識(shí)庫(kù)或互聯(lián)網(wǎng)以查找與輸入提示相關(guān)的信息。然后，將檢索到的信息提供給語(yǔ)言模型，語(yǔ)言模型結(jié)合了該上下文以生成更豐富、更準(zhǔn)確的響應(yīng)。通過(guò)引用RAG系統(tǒng)用于生成響應(yīng)的來(lái)源，生成型人工智能應(yīng)用程序可以增強(qiáng)對(duì)用戶的解釋能力。
在未來(lái)幾年，隨著越來(lái)越多的產(chǎn)品尋求利用其最新的商業(yè)數(shù)據(jù)為客戶量身定制體驗(yàn)，這種優(yōu)化技術(shù)預(yù)計(jì)將廣受歡迎。
“這就像你的朋友可以在網(wǎng)上查找信息，回答他們直接專業(yè)知識(shí)之外的問(wèn)題。這是一種開卷考試?！?/p>
示例：
在基于RAG的在線聊天機(jī)器人中，檢索器可以從數(shù)據(jù)庫(kù)或互聯(lián)網(wǎng)中提取相關(guān)信息，以提供最新答案。
家庭作業(yè)助理AI可以使用RAG獲取最新的科學(xué)數(shù)據(jù)，以回答學(xué)生關(guān)于氣候變化的問(wèn)題。
利弊 權(quán)衡：
復(fù)雜的實(shí)現(xiàn)：RAG系統(tǒng)需要一個(gè)集成良好的檢索系統(tǒng)，這在設(shè)置和維護(hù)方面可能具有挑戰(zhàn)性。
信息質(zhì)量：生成的回復(fù)的有用性在很大程度上取決于檢索到的信息的相關(guān)性和準(zhǔn)確性。如果檢索系統(tǒng)的來(lái)源過(guò)時(shí)或不正確，則回復(fù)將反映這一點(diǎn)。
響應(yīng)時(shí)間慢：從外部源檢索信息以生成響應(yīng)可能會(huì)增加延遲。
4.從人的反饋中強(qiáng)化學(xué)習(xí)（RLHF）
執(zhí)行復(fù)雜性：非常高
何時(shí)使用：當(dāng)模型的輸出需要與復(fù)雜的人類判斷和偏好緊密一致時(shí)，應(yīng)使用RLHF。
需要付出的代價(jià)：RLHF是一種復(fù)雜的強(qiáng)化學(xué)習(xí)技術(shù)，通過(guò)將人類評(píng)估直接納入訓(xùn)練過(guò)程來(lái)細(xì)化模型的行為。該過(guò)程通常包括從人工操作員那里收集數(shù)據(jù)，操作員根據(jù)各種質(zhì)量指標(biāo)（如相關(guān)性、有用性、語(yǔ)氣等）對(duì)人工智能的輸出進(jìn)行排名。然后，這些數(shù)據(jù)信號(hào)被用于訓(xùn)練獎(jiǎng)勵(lì)模型，該模型指導(dǎo)強(qiáng)化學(xué)習(xí)過(guò)程，以產(chǎn)生更符合人類偏好的輸出。
“這類似于你的朋友從過(guò)去的對(duì)話中學(xué)習(xí)是什么讓討論變得愉快，并利用這些知識(shí)來(lái)改善未來(lái)的互動(dòng)?！?/p>
示例：
社交媒體平臺(tái)可以使用RLHF來(lái)訓(xùn)練一個(gè)審核機(jī)器人，該機(jī)器人不僅可以識(shí)別不合適的內(nèi)容，還可以以建設(shè)性和對(duì)上下文敏感的方式對(duì)用戶做出回應(yīng)。
可以使用RLHF對(duì)虛擬助理進(jìn)行微調(diào)，以提供對(duì)用戶請(qǐng)求的更個(gè)性化和上下文感知的響應(yīng)。
利弊 權(quán)衡：
高復(fù)雜性：RLHF涉及復(fù)雜的資源密集型過(guò)程，包括人類反饋收集、獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)。
質(zhì)量風(fēng)險(xiǎn)：反饋數(shù)據(jù)存在偏差的風(fēng)險(xiǎn)，這可能會(huì)影響模型質(zhì)量。確保人類反饋的質(zhì)量一致并使獎(jiǎng)勵(lì)模型與期望的結(jié)果保持一致可能很困難。
5.知識(shí)蒸餾 （Knowledge Distillation）
執(zhí)行復(fù)雜性：中等到高
何時(shí)使用：當(dāng)您需要在計(jì)算能力有限的設(shè)備上或在響應(yīng)時(shí)間至關(guān)重要的應(yīng)用程序中部署復(fù)雜的模型時(shí)，會(huì)使用知識(shí)蒸餾。
需要付出的代價(jià)：這是一種壓縮技術(shù)，訓(xùn)練一個(gè)更小、更高效的模型（稱為學(xué)生）來(lái)復(fù)制一個(gè)更大、更復(fù)雜的模型（教師）的性能。訓(xùn)練不僅僅是學(xué)習(xí)正確的答案（硬目標(biāo)），還包括學(xué)生試圖產(chǎn)生與老師預(yù)測(cè)相似的概率（軟目標(biāo)）。這種方法使學(xué)生模型能夠捕捉到教師模型所學(xué)到的細(xì)微的模式和見解。
“這類似于將經(jīng)驗(yàn)豐富的專家的智慧提煉成一本簡(jiǎn)明的指南，新手無(wú)需多年的經(jīng)驗(yàn)就可以用它來(lái)做出專家級(jí)的決策?！?/p>
示例：
一個(gè)大規(guī)模的語(yǔ)言模型可以被蒸餾成一個(gè)較小的模型，該模型可以在智能手機(jī)上高效運(yùn)行，用于實(shí)時(shí)語(yǔ)言翻譯。
自動(dòng)駕駛汽車中使用的圖像識(shí)別系統(tǒng)可以蒸餾成一個(gè)可以在汽車車載計(jì)算機(jī)上運(yùn)行的輕型模型。
利弊 權(quán)衡：
性能與規(guī)模：提取的模型可能并不總是與教師模型的性能相匹配，這可能會(huì)導(dǎo)致準(zhǔn)確性或質(zhì)量下降。
訓(xùn)練復(fù)雜性：蒸餾過(guò)程非常耗時(shí)，需要仔細(xì)的實(shí)驗(yàn)來(lái)確保學(xué)生模型有效地學(xué)習(xí)。它需要對(duì)模型的體系結(jié)構(gòu)有深入的理解，并有能力將知識(shí)從一個(gè)模型轉(zhuǎn)換到另一個(gè)模型。
現(xiàn)在，讓我們來(lái)看一個(gè)實(shí)際應(yīng)用中的示例。
示例：客戶支持 型 聊天機(jī)器人
讓我們重新審視構(gòu)建客戶支持型聊天機(jī)器人的用例，以減少人力支持人員的工作量。
要求/限制包括：
- 性能：高優(yōu)先級(jí)（強(qiáng)調(diào)事實(shí)準(zhǔn)確性）
- 外部知識(shí)：高度優(yōu)先
- 延遲目標(biāo)：中等優(yōu)先級(jí)
- 成本效率：低優(yōu)先級(jí)
- 可解釋性和可信度：中等優(yōu)先級(jí)
數(shù)據(jù)可用性：充足（過(guò)去的對(duì)話數(shù)據(jù)）
有了對(duì)業(yè)務(wù)背景和優(yōu)先級(jí)的清晰理解，產(chǎn)品開發(fā)者就可以制定出最有效的優(yōu)化策略。
LLM優(yōu)化決策步驟：
提示工程應(yīng)作為提高聊天機(jī)器人初始理解和響應(yīng)能力的第一步。然而，僅憑這一點(diǎn)不太可能滿足專業(yè)領(lǐng)域的準(zhǔn)確性。
利用歷史客戶對(duì)話數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，對(duì)于提高聊天機(jī)器人的準(zhǔn)確性性能，并使模型擅長(zhǎng)處理細(xì)微的行業(yè)特定查詢至關(guān)重要。
合并檢索增強(qiáng)生成（RAG）對(duì)于向用戶提供最新的產(chǎn)品信息和相關(guān)的網(wǎng)絡(luò)鏈接至關(guān)重要。
雖然一定程度的延遲是可以容忍的，但監(jiān)控并潛在地優(yōu)化響應(yīng)時(shí)間仍然是可取的。這里的優(yōu)化策略可以包括緩存常見查詢以加快響應(yīng)，以及戰(zhàn)略性地使用即時(shí)工程來(lái)減少不必要的外部數(shù)據(jù)檢索。
正如您所看到的，為了滿足用例的特定需求，策略的組合通常是必要的。優(yōu)化策略的靈活性至關(guān)重要，因?yàn)樾枨罂赡軙?huì)隨著時(shí)間的推移而變化，系統(tǒng)需要同時(shí)平衡多個(gè)需求。
結(jié)論
為業(yè)務(wù)用例優(yōu)化LLM既是一門藝術(shù)，也是一門科學(xué)，需要深入了解底層技術(shù)和當(dāng)前的目標(biāo)。隨著人工智能的不斷發(fā)展，優(yōu)化技術(shù)的選擇將變得越來(lái)越具有戰(zhàn)略意義，不僅會(huì)影響單個(gè)應(yīng)用程序的性能，還會(huì)影響人工智能在社會(huì)中作用的整體軌跡。
無(wú)論您是在速度、準(zhǔn)確性、成本還是透明度方面進(jìn)行優(yōu)化，上述技術(shù)都提供了一個(gè)增強(qiáng)LLM的工具包，以滿足未來(lái)生成型人工智能商業(yè)應(yīng)用程序的需求。通過(guò)深思熟慮地應(yīng)用這些方法，我們可以創(chuàng)造出不僅有效而且負(fù)責(zé)任的人工智能，還能適應(yīng)用戶的細(xì)微需求。
譯者介紹
朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計(jì)算機(jī)教師，自由編程界老兵一枚。
原文標(biāo)題：Framework for Optimizing Generative AI to Meet Business Needs，作者：Sarthak Handa
