編者按： "為什么明明選擇了最先進(jìn)的大語言模型，構(gòu)建的 AI 產(chǎn)品卻總是無法達(dá)到預(yù)期效果？" —— 這大概是今年眾多技術(shù)團(tuán)隊(duì)都在苦惱的問題。從選擇合適的商業(yè)場景，到組建專業(yè)團(tuán)隊(duì)，再到技術(shù)架構(gòu)設(shè)計(jì)，每一步都充滿挑戰(zhàn)。一個錯誤的決策，可能導(dǎo)致數(shù)月的努力付諸東流，更遑論昂貴的模型調(diào)用成本。

本文作者憑借近十年的 Web 應(yīng)用和云原生開發(fā)經(jīng)驗(yàn)，以及 2024 年深度參與 LLM 應(yīng)用開發(fā)的第一手經(jīng)歷，為我們揭示了一個重要發(fā)現(xiàn)：成功的 LLM 應(yīng)用開發(fā)需要拋棄傳統(tǒng)的產(chǎn)品開發(fā)思維，轉(zhuǎn)而采用"持續(xù)研究-實(shí)驗(yàn)-評估"的創(chuàng)新模式。

作者 | Satwiki De

編譯 | 岳揚(yáng)

大語言模型（LLMs）有望改變我們對待人工智能的方式，這一點(diǎn)在將 LLMs 與 Web 應(yīng)用融合的創(chuàng)新設(shè)計(jì)中已初露端倪。自 2022 年末起，眾多框架、軟件開發(fā)工具包（SDK）和工具紛紛亮相，展示了如何將 LLMs 與 Web 應(yīng)用或商業(yè)工具相結(jié)合，形成初步原型。隨著越來越多的資金投入到基于生成式 AI 的商業(yè)應(yīng)用和工具的開發(fā)中，將這些原型推向生產(chǎn)階段并實(shí)現(xiàn)商業(yè)價(jià)值變得尤為重要。如果你打算投入時(shí)間和資金打造一個 LLM 原生工具，你該如何確保這一投資能夠帶來長期回報(bào)？

為此，制定一套開發(fā) LLM 應(yīng)用的最佳實(shí)踐是關(guān)鍵所在。在過去一年里，我投身于 LLM 應(yīng)用的開發(fā)，這段經(jīng)歷不僅令人振奮，而且收獲頗豐。基于我在設(shè)計(jì)和構(gòu)建 Web 應(yīng)用及云原生應(yīng)用方面近十年的經(jīng)驗(yàn)，我認(rèn)識到，傳統(tǒng)的產(chǎn)品開發(fā)模式往往不適用于 LLM 原生應(yīng)用。相反，持續(xù)的研究、實(shí)驗(yàn)和評估循環(huán)被證明對打造卓越的 AI 驅(qū)動產(chǎn)品更為有效。

為了幫助各位讀者應(yīng)對 LLM 應(yīng)用開發(fā)的道路上的各種挑戰(zhàn)，我將分享以下幾個關(guān)鍵領(lǐng)域的最佳實(shí)踐：商業(yè)場景挑選、團(tuán)隊(duì)理念、開發(fā)策略、responsible AI 實(shí)踐以及成本控制。

01 構(gòu)思階段：挑選合適的商業(yè)應(yīng)用場景

是否每個問題都需要依賴 AI 來解決？答案顯然是否定的。倒不如問問自己，哪些商業(yè)場景能夠通過運(yùn)用 LLMs 獲益最多？企業(yè)在開發(fā)應(yīng)用之前，需要先回答這些問題。有時(shí)候，合適的商業(yè)場景就在我們眼前；有時(shí)候，通過與同事交流或在公司內(nèi)部進(jìn)行研究，可能會找到正確的方向。以下幾個方面可能有助于我們做出決定。

1. 提出的解決方案是否滿足市場需求？針對擬定的商業(yè)場景進(jìn)行市場調(diào)研，把握當(dāng)前的市場形勢。找出是否存在集成了 AI 或不集成 AI 的現(xiàn)有解決方案，分析它們的優(yōu)缺點(diǎn)，以及目前您提議的 LLM 應(yīng)用方案能否彌補(bǔ)現(xiàn)有缺陷。這一步包括對競爭對手、行業(yè)動態(tài)和客戶反饋的分析。
2. 它能幫助用戶嗎？如果您的解決方案旨在為公司內(nèi)部用戶服務(wù)，衡量用戶期望的一個簡單方法是看該解決方案是否能夠通過節(jié)省時(shí)間來提升工作效率。例如，提供一個 IT 或 HR 支持的聊天機(jī)器人，幫助員工解答關(guān)于公司的日常問題。此外，通過對潛在用戶進(jìn)行快速調(diào)查，也能幫助您了解 AI 可以解決哪些痛點(diǎn)。
3. 它能否提升業(yè)務(wù)流程效率？有些應(yīng)用場景可能專注于優(yōu)化業(yè)務(wù)流程，從而間接惠及用戶。例如，對呼叫中心記錄進(jìn)行情感分析、進(jìn)行個性化推薦、總結(jié)法律和財(cái)務(wù)文件等。對于這類應(yīng)用場景，自動化技術(shù)的應(yīng)用是將 LLM 融入日常業(yè)務(wù)流程的關(guān)鍵。
4. 我們是否擁有必要的數(shù)據(jù)？基于 LLM 的應(yīng)用通常采用 RAG（檢索增強(qiáng)生成）技術(shù)，從特定知識庫中生成與上下文相關(guān)且基于事實(shí)的答案?；?RAG 的解決方案的基礎(chǔ)在于數(shù)據(jù)的可用性、類型和質(zhì)量。如果缺乏充足的知識庫或高質(zhì)量數(shù)據(jù)，這種解決方案的效果可能就不盡如人意。數(shù)據(jù)的可獲取性同樣重要，因?yàn)椴⒎撬袡C(jī)密或敏感數(shù)據(jù)都能輕易獲取。
5. 提出的解決方案是否切實(shí)可行？決定是否采用 AI 解決方案，不僅需要考慮技術(shù)層面的可行性，還需評估倫理、法律和財(cái)務(wù)等因素。若涉及敏感數(shù)據(jù)，還需在確定商業(yè)應(yīng)用場景前考慮隱私保護(hù)和合規(guī)性問題。
6. 解決方案是否滿足您的業(yè)務(wù)需求？思考 AI 解決方案如何助力您的短期和長期業(yè)務(wù)目標(biāo)。同時(shí)，合理管理期望值也很關(guān)鍵，過于追求短期目標(biāo)可能不利于價(jià)值的實(shí)現(xiàn)。通常，AI 應(yīng)用的投資回報(bào)是一個長期過程。

正確設(shè)定預(yù)期目標(biāo)

在挑選應(yīng)用場景的同時(shí)，產(chǎn)品負(fù)責(zé)人還需考慮為團(tuán)隊(duì)設(shè)定恰當(dāng)?shù)念A(yù)期目標(biāo)和短期、可實(shí)現(xiàn)的小步驟。每個小步驟都應(yīng)具備明確的目標(biāo)和預(yù)定時(shí)間表，且需得到團(tuán)隊(duì)的認(rèn)同，這樣利益相關(guān)者才能定期檢查項(xiàng)目進(jìn)展。這對于決定如何推進(jìn)基于 LLM 的解決方案、實(shí)施生產(chǎn)化策略、引入用戶等方面做出明智的選擇至關(guān)重要。

02 實(shí)驗(yàn)階段：培養(yǎng)正確的思維方式

在人工智能領(lǐng)域，研究和實(shí)驗(yàn)是不可或缺的。開發(fā) LLM 應(yīng)用程序同樣如此。與遵循固定設(shè)計(jì)的傳統(tǒng) Web 應(yīng)用不同，基于 AI 的設(shè)計(jì)更依賴于實(shí)驗(yàn)，并根據(jù)早期結(jié)果靈活調(diào)整。成功的關(guān)鍵在于對明確的目標(biāo)進(jìn)行反復(fù)試驗(yàn)，并持續(xù)對每次試驗(yàn)進(jìn)行評估。在 LLM 原生開發(fā)中，衡量成功的標(biāo)準(zhǔn)通常是輸出的質(zhì)量，這意味著我們需要專注于生成精確且相關(guān)性高的結(jié)果，無論是聊天機(jī)器人的回答、文本摘要、圖像生成，還是 LLM 定義的操作（Agentic 方法）。要穩(wěn)定輸出高質(zhì)量的結(jié)果，需要對語言模型有深刻理解，不斷優(yōu)化提示詞，并進(jìn)行嚴(yán)格評估，以確保應(yīng)用達(dá)到預(yù)期標(biāo)準(zhǔn)。

團(tuán)隊(duì)?wèi)?yīng)具備哪些技術(shù)能力？

或許您可能會認(rèn)為，只需幾位數(shù)據(jù)科學(xué)家就能構(gòu)建 LLM 應(yīng)用程序。但實(shí)際上，工程技能同樣重要，甚至更為關(guān)鍵，因?yàn)?LLM 應(yīng)用并不完全遵循傳統(tǒng)的機(jī)器學(xué)習(xí)路徑。數(shù)據(jù)科學(xué)家和軟件工程師都需要調(diào)整心態(tài)，以適應(yīng)這種開發(fā)方式。我見證過這樣的轉(zhuǎn)變：數(shù)據(jù)科學(xué)家開始熟悉云基礎(chǔ)設(shè)施和應(yīng)用部署，而工程師則開始掌握模型使用和評估 LLM 輸出的細(xì)節(jié)。最終，團(tuán)隊(duì)需要的 AI 實(shí)踐者不僅僅是能夠編碼，更重要的是他們能夠進(jìn)行研究、協(xié)作，并不斷提升 AI 的應(yīng)用潛力。

既然將采用預(yù)訓(xùn)練的語言模型，我們真的還需要進(jìn)行“實(shí)驗(yàn)”嗎？

像 GPT-4o 這樣的流行大語言模型（LLMs）已經(jīng)在大數(shù)據(jù)集上完成了訓(xùn)練，能夠識別和生成文本、圖像等，因此無需我們再進(jìn)行“訓(xùn)練”。在極少數(shù)情況下，可能需要對模型進(jìn)行微調(diào)，但這也可以輕松完成，無需傳統(tǒng)的機(jī)器學(xué)習(xí)（ML）方法。不過，我們要區(qū)分“實(shí)驗(yàn)”與 predictive ML 中的“模型訓(xùn)練”概念。如本文先前所述，應(yīng)用程序的輸出質(zhì)量至關(guān)重要。通過設(shè)置多次迭代實(shí)驗(yàn)，我們可以逐步提升結(jié)果的質(zhì)量。例如，如果你正在開發(fā)一個聊天機(jī)器人，并希望控制其輸出給最終用戶的效果，那么采用迭代和實(shí)驗(yàn)性的方法來優(yōu)化提示詞和調(diào)整超參數(shù)，將有助于我們找到生成最精確和最一致輸出的最佳途徑。

盡早構(gòu)建原型

在項(xiàng)目初期，應(yīng)盡可能快地構(gòu)建一個僅包含必要核心功能的原型（即 MVP —— 最小可行產(chǎn)品），最佳時(shí)間是在 2 至 4 周內(nèi)完成。若采用基于知識庫的 RAG 方法，請使用數(shù)據(jù)子集，以減少繁瑣的數(shù)據(jù)預(yù)處理工作。

通過目標(biāo)用戶小范圍的快速反饋，我們可以了解解決方案是否達(dá)到了用戶的預(yù)期。

與項(xiàng)目利益相關(guān)者進(jìn)行評審，不僅要展示正面的成果，還要討論在原型構(gòu)建過程中團(tuán)隊(duì)遇到的局限性和制約因素。這樣做對于早期風(fēng)險(xiǎn)防范和做出明智的交付決策至關(guān)重要。

團(tuán)隊(duì)?wèi)?yīng)據(jù)此確定技術(shù)選型、安全性和可擴(kuò)展性需求，以便將原型進(jìn)一步完善為功能齊全的產(chǎn)品，并規(guī)劃出合理的交付時(shí)間表。

判斷原型是否已準(zhǔn)備好轉(zhuǎn)化為“產(chǎn)品”

眾多 AI 相關(guān)的樣本讓原型的構(gòu)建變得非常容易，而且這些原型的初期測試往往成效顯著。當(dāng)原型開發(fā)完成時(shí)，團(tuán)隊(duì)可能已經(jīng)對成功標(biāo)準(zhǔn)、市場調(diào)研、目標(biāo)用戶群體、平臺需求等有了更深入的認(rèn)識。此時(shí)，思考以下問題有助于明確產(chǎn)品的發(fā)展路徑：

1. 原型中的功能是否真正解決了終端用戶或業(yè)務(wù)流程的核心需求？
2. 在原型開發(fā)過程中遇到的問題，哪些可能會在生產(chǎn)階段重現(xiàn)？有哪些策略可以提前規(guī)避這些風(fēng)險(xiǎn)？
3. 原型在遵循 responsible AI 原則（譯者注：“responsible AI” 要求技術(shù)開發(fā)者、用戶、政策制定者和其他利益相關(guān)者共同努力，確保 AI 技術(shù)的發(fā)展和應(yīng)用能夠造福人類社會。）方面是否存在潛在風(fēng)險(xiǎn)？如果有，應(yīng)采取哪些預(yù)防措施？（我們將在第二部分深入討論這一點(diǎn)）
4. 若要將解決方案融入現(xiàn)有產(chǎn)品，可能會遇到哪些障礙？
5. 如果該解決方案要處理敏感數(shù)據(jù)，是否采取了有效措施來保護(hù)數(shù)據(jù)隱私和安全？
6. 是否需要為產(chǎn)品設(shè)定性能標(biāo)準(zhǔn)？原型的表現(xiàn)是否符合預(yù)期，或者還有提升空間？
7. 產(chǎn)品需要滿足哪些安全標(biāo)準(zhǔn)？
8. 產(chǎn)品是否需要用戶界面？（基于 LLM 的聊天機(jī)器人等應(yīng)用，需盡早明確 UI 需求）
9. 對于 MVP 階段的 LLM 使用，是否有成本預(yù)算？結(jié)合預(yù)期的生產(chǎn)使用規(guī)模和預(yù)算，這個預(yù)算是否合理？

在初步審查后，若您對大多數(shù)問題都有了滿意的答復(fù)，并且原型測試表現(xiàn)優(yōu)異，那么就可以著手推進(jìn)產(chǎn)品開發(fā)了。

敬請期待第二部分，屆時(shí)我將探討產(chǎn)品開發(fā)應(yīng)采取的策略、如何在產(chǎn)品初期嵌入 responsible AI 實(shí)踐，以及成本管理的技巧。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

About the authors

Satwiki De

Software Engineer @Microsoft | Experienced in App Dev, Cloud-native solutions, DevOps & Generative AI | Curious explorer of tech and life

END

本期互動內(nèi)容 ??

?在原型轉(zhuǎn)向產(chǎn)品的過程中，你采取了哪些措施來控制和規(guī)避風(fēng)險(xiǎn)？有什么經(jīng)驗(yàn)教訓(xùn)？

原文鏈接：

??https://towardsdatascience.com/what-did-i-learn-from-building-llm-applications-in-2024-part-1-d299b638773b??