本文轉(zhuǎn)載自微信公眾號(hào)「 產(chǎn)品二姐」，作者產(chǎn)品二姐。轉(zhuǎn)載本文請(qǐng)聯(lián)系產(chǎn)品二姐公眾號(hào)。

如果說 2023 年是大模型大爆發(fā)的一年，這一年的機(jī)會(huì)主要給了大廠或者拿到大筆融資的創(chuàng)業(yè)者；那么 2024 年將是 AI 應(yīng)用大爆發(fā)的一年，也意味著普通人有更多的機(jī)會(huì)加入這一浪潮。今天結(jié)合基于大模型的 AI 產(chǎn)品架構(gòu)來看看普通人的機(jī)會(huì)在哪里，這些普通人包括：

• AI 應(yīng)用開發(fā)者
• AI 產(chǎn)品經(jīng)理、提示詞工程師
• 希望通過 AI 來提效增收的中小老板

在講述 AI 產(chǎn)品架構(gòu)之前，我們先來看看客戶的訴求。因?yàn)橐磺械脑O(shè)計(jì)都是從需求出發(fā)，大模型AI 產(chǎn)品也不例外。

1、從 AI 產(chǎn)品的訴求出發(fā)看 AI 產(chǎn)品設(shè)計(jì)

最近接觸到最多的訴求是：如何基于自己的知識(shí)庫構(gòu)建自己的問答機(jī)器人，比如：

• 繪本館老板希望通過機(jī)器人對(duì)話來推薦書籍，提高社群活躍度。
• 面向大學(xué)生的留學(xué)咨詢機(jī)構(gòu)希望通過機(jī)器人解答專業(yè)論文難題來獲取留學(xué)線索。
• 企業(yè)內(nèi)部的 HR 希望通過機(jī)器人來進(jìn)行日常的答疑解惑。

實(shí)際上，這些需求早已存在，只是一直沒有被很好地解決，大模型之前做出來的機(jī)器人是"人工智障"，大模型出來之后，"人工智障"變成了"人工幻覺"?？上驳氖乾F(xiàn)在"幻覺"這一現(xiàn)象某種程度上正在被更好地解決，這一點(diǎn)本文會(huì)講到，而解決幻覺問題也是 2024 年 AI 技術(shù)的一大趨勢(shì)。

1.1為什么不用 ChatGPT

你可能會(huì)說：問答工具用 ChatGPT 不就好了嗎？

但如果你讓一個(gè)繪本館老板評(píng)價(jià) ChatGPT 推薦書籍的能力，他估計(jì)會(huì)一笑了之，一是 ChatGPT 的推薦能力值得商榷，二是 ChatGPT 并不能讓用戶落在自己的繪本館里。繪本館老板真正的訴求是：

• 為什么 ChatGPT 不能按照我的資料庫推薦，我的資料比 ChatGPT 專業(yè)多了。
• 我有精準(zhǔn)的用戶數(shù)據(jù)，比如用戶之前看了什么書，用戶的孩子多大了，而且還要結(jié)合館內(nèi)的庫存狀態(tài)給每個(gè)用戶做不同的推薦。
• 我這里還有豐富的書籍的推薦話術(shù)，但是我希望結(jié)合每個(gè)客戶的不同習(xí)慣，同一本書籍用不同的話術(shù)推薦。

以上幾點(diǎn)構(gòu)成了基于大模型 AI 產(chǎn)品的三個(gè)訴求：

• 個(gè)性化訴求：問答中所用到的知識(shí)庫和數(shù)據(jù)（客戶標(biāo)簽，客戶閱讀歷史）希望用自己的。
• 需要結(jié)合傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)洞察能力給出更精準(zhǔn)的回答。
• 強(qiáng)大的知識(shí)檢索、整合、表達(dá)能力，其實(shí)只有最后一點(diǎn)才是"大模型特色"的能力。

而解決這三個(gè)問題的背后要依托的是一個(gè)完整 AI 產(chǎn)品架構(gòu)，架構(gòu)的每一層里都可以負(fù)責(zé)解決不同的問題。

2、一圖說明基于大模型的 AI 產(chǎn)品架構(gòu)

下面這張圖就是我總結(jié)的優(yōu)秀的 AI 產(chǎn)品架構(gòu)(以問答機(jī)器人為例)，如果你比較了解 AI 應(yīng)用的現(xiàn)狀，應(yīng)該很容易理解。

圖片

接下來的內(nèi)容就主要圍繞這張圖的深入討論，你會(huì)發(fā)現(xiàn)看似簡單的產(chǎn)品背后其實(shí)并不容易。首先我們按照調(diào)用時(shí)序來展開產(chǎn)品每一層的動(dòng)作，以及由誰來做哪些事情。

2.1用戶層（前端）提問

這一層的目標(biāo)是營造良好的用戶體驗(yàn)，主要是產(chǎn)品經(jīng)理，UE，UI 負(fù)責(zé)，和傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品沒有區(qū)別。

需要注意的是，讓用戶感受不到 AI 的存在是最好的。在問答這個(gè)產(chǎn)品中，可能就是一個(gè)簡單的對(duì)話框，甚至可能融入微信、釘釘?shù)犬a(chǎn)品中。而推送僅僅在必要時(shí)進(jìn)行，比如在繪本館的這個(gè)例子中，我們僅僅在借閱書籍即將到期進(jìn)行提醒，同時(shí)推薦合適的書籍。

當(dāng)然，也有可能用戶會(huì)主動(dòng)提問："有哪些適合 3-5 歲男孩看的繪本"，這時(shí)用戶層就會(huì)喚起應(yīng)用層。

2.2應(yīng)用層提問

這一層是不同于傳統(tǒng)互聯(lián)網(wǎng)的一層，也是 AI 應(yīng)用開發(fā)者，產(chǎn)品經(jīng)理的重頭戲。它的目標(biāo)是將用戶的提問加工，發(fā)給適合模型層的 Prompt 提示詞，這里會(huì)分幾步走：

第一步：將 "有哪些適合 3-5 歲男孩看的繪本"這個(gè)問題轉(zhuǎn)化成專業(yè)提示詞。

比如按照 CRISPE 結(jié)構(gòu)進(jìn)行提問（CRISPE 是一種提示詞結(jié)構(gòu)，可百度），這一步主要由提示詞工程師完成，在小產(chǎn)品中由產(chǎn)品經(jīng)理兼任，提示詞能力是大模型 AI 產(chǎn)品經(jīng)理的必備技能。

提示詞需要根據(jù)不同領(lǐng)域、不同場景、不同的知識(shí)庫、不同模型進(jìn)行反復(fù)實(shí)驗(yàn)，同時(shí)要具備結(jié)構(gòu)化特征，抽象成模板，以適用于不同的參數(shù)值，比如把"3-5 歲"抽象為參數(shù) Age，把"男孩"抽象為參數(shù)"gender" 。專業(yè)提示詞的目標(biāo)是讓開發(fā)能用，同時(shí)還能讓應(yīng)用給出的回答盡可能準(zhǔn)確、可控。

以下是一個(gè)提示詞模板的示例(摘自 Github 9000 STAR 的項(xiàng)目:https://github.com/yzfly/wonderful-prompts?tab=readme-ov-file#prompt-%E5%B7%A5%E7%A8%8B%E5%B8%88) 。

圖片

實(shí)際中你絕對(duì)不可能讓用戶輸入這么長的提示詞。作為產(chǎn)品經(jīng)理出身，稍后也會(huì)有文章專門講提示詞的各種套路（關(guān)注我不迷路）。

第二步：根據(jù)提示詞去檢索客戶已有知識(shí)庫，數(shù)據(jù)庫的內(nèi)容。

這一步是解決用戶的個(gè)性化訴求，即引用自有知識(shí)庫、數(shù)據(jù)庫內(nèi)容，同時(shí)著重降低幻覺。

當(dāng)下解決這一問題的武器主要是 RAG(Retrieval-Augmented Generation，檢索增強(qiáng)生成，Augmented AI 也被認(rèn)為是 2024 年 AI 發(fā)展的大趨勢(shì)之一）。這一步的工作最繁重，會(huì)涉及三項(xiàng)：

• 第一項(xiàng)：客戶(希望通過 AI 來提效增收的中小老板)準(zhǔn)備適合大模型理解和閱讀的知識(shí)庫，通常需要條理清晰，結(jié)構(gòu)化，圖片視頻要配文字等，這里不僅僅是為了讓機(jī)器人的回答更準(zhǔn)確，更重要的是一定程度上可以節(jié)約大模型 token 的消耗成本。后面會(huì)整理文章專門說這一點(diǎn)，或許也可以找到合適的工具來做這個(gè)事情。
• 第二項(xiàng)：主要是研發(fā)同學(xué)來做，負(fù)責(zé)知識(shí)庫導(dǎo)入、分塊、向量化處理(Embedding)，建索引、檢索等，而這其中的每一步都有不同方法，且會(huì)影響回答的效果（參考文章《RAG行業(yè)交流中發(fā)現(xiàn)的一些問題和改進(jìn)方法》）。
• 第三項(xiàng)：因?yàn)椴煌椒〞?huì)有不同效果，所以最后還需要拉上產(chǎn)品經(jīng)理同學(xué)一起進(jìn)行評(píng)測（參考文章《LangChain應(yīng)用開發(fā)指南-TruLens用量化對(duì)抗幻覺》）。

實(shí)際中，做好這三項(xiàng)是比較繁瑣、困難的，也需要進(jìn)行大量的實(shí)驗(yàn)。

第三步：將第一步、第二步里的內(nèi)容合成提示詞，加上問答上下文等，形成新的提示詞。

所以最終你會(huì)看到客戶的一個(gè)簡短問題，變成了一個(gè)專業(yè)問題發(fā)給了大模型。這時(shí)一個(gè)新的問題誕生了，提示詞越長，token 消耗越高，成本就越高（試問一次提問消耗 1 塊錢還會(huì)不會(huì)有老板想用）所以提示詞壓縮的技術(shù)實(shí)踐也應(yīng)運(yùn)而生。

第四步：壓縮提示詞

目前這塊研究不多，暫時(shí)引用 知乎上的一篇文章《壓縮你的Prompt，讓LLMs處理多達(dá)2倍的Context》大家可以自行知乎搜索了解一下（公眾號(hào)不能鏈接外部文章）。

經(jīng)過四步處理，提示詞終于來到了模型層。

2.3模型層：

在這一層會(huì)有兩種模型：

• 一是直接使用通用大模型，眾所周知，它是建立在算法算力數(shù)據(jù)上的基礎(chǔ)設(shè)施
• 二是垂直大模型（比如法律、醫(yī)學(xué)、電商的垂直大模型），2023"百模大戰(zhàn)"里的模型大部分屬于這種。這些大模型一般是在通用大模型基礎(chǔ)上進(jìn)行有監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)改變大模型的參數(shù)，也就是我們說的"微調(diào)"。但"微調(diào)"的算力成本并不"微"，對(duì)于普通個(gè)體來說，也沒啥機(jī)會(huì)。

這一層主要是大模型廠商們的機(jī)會(huì)。在應(yīng)用側(cè)的產(chǎn)品經(jīng)理、研發(fā)同學(xué)更應(yīng)該關(guān)注的是"如何為自己的應(yīng)用挑選合適的大模型"，這其中要主要考慮能力匹配和成本因素。

• 能力匹配方面：可以參照各大模型評(píng)測機(jī)構(gòu)的結(jié)果
• 成本方面：有個(gè)坑就是各大廠商的 token 的消耗量似乎尚未統(tǒng)一，甚至同一模型，同樣的提問， token 的消耗也不一樣，這一塊可能要做一些實(shí)驗(yàn)才能得出結(jié)果。在經(jīng)驗(yàn)不足的時(shí)候，我們使用文心一言測試曾遭遇過一個(gè)問題一萬 token 的情況，合人民幣一塊錢。

接下來，就是生成回答的過程。

2.4生成回答的過程

這個(gè)過程比較簡單，主要集中在應(yīng)用層收到模型層的回復(fù)后，需要做一層包裝，最終返回給用戶。這個(gè)包裝可能包括：

• 壓縮冗余信息：大模型一般會(huì)對(duì)自己的思路進(jìn)行闡述，這是產(chǎn)品經(jīng)理或者提示詞工程師調(diào)教時(shí)需要了解的信息，但對(duì)用戶來說不需要，所以需要壓縮。
• 結(jié)合客戶個(gè)性化需求，補(bǔ)充信息：比如在推薦書籍的同時(shí)，加上書籍的“在館狀態(tài)”等信息。

這一步也主要由產(chǎn)品經(jīng)理來定義，與 UE，研發(fā)同學(xué)一起實(shí)現(xiàn)。

看完了整個(gè)過程，相信你對(duì) AI 產(chǎn)品架構(gòu)、架構(gòu)每一層要實(shí)現(xiàn)的目標(biāo)、主要角色和工作有了大概的理解?；貞?yīng)開頭的產(chǎn)品訴求來看：

1. 個(gè)性化的訴求主要留給應(yīng)用層的 RAG, 提示詞和傳統(tǒng)互聯(lián)網(wǎng)的思路來解決。模型層要做的是是否需要用垂直大模型。
2. 強(qiáng)大的知識(shí)檢索、整合、表達(dá)能力主要由模型層來解決，主要考慮適用性和成本。

網(wǎng)上有個(gè)很好的比喻：模型相當(dāng)于一個(gè)勤學(xué)苦讀的學(xué)生，學(xué)生要考試了，提示詞相當(dāng)于解題技巧，RAG 相當(dāng)于開卷考試中可以參考的資料。

3、用人才成長階梯重新審視 AI 產(chǎn)品架構(gòu)

我們也經(jīng)常聽到一個(gè)比喻是"把大模型比作一個(gè)哈佛畢業(yè)的本科生"。我們以這個(gè)角色作為參照，再從底層到頂層來看大模型 AI 產(chǎn)品的架構(gòu)，你會(huì)發(fā)現(xiàn)這其中每一層就像是從學(xué)校走向社會(huì)成為一個(gè)可用之才的過程。

圖片

第一層：算法算力數(shù)據(jù)這一層相當(dāng)于教育體系。這包括教學(xué)硬件(算力)，優(yōu)秀的老師(算法)，和豐富的學(xué)習(xí)資源(數(shù)據(jù))。

第二層：模型層相當(dāng)于在這個(gè)教育體系下培養(yǎng)出來的本科生（通用大模型）、研究生（垂直大模型）。

不管是本科生，還是研究生，他們具備了強(qiáng)大的綜合知識(shí)，思維框架，和學(xué)習(xí)能力，還有一點(diǎn)，他們都是預(yù)訓(xùn)練的，距離真正有用還有一點(diǎn)距離。

第三層：應(yīng)用層是職業(yè)生涯的開始。

盡管畢業(yè)于同一專業(yè)，進(jìn)入不同的公司，會(huì)有不同的業(yè)務(wù)領(lǐng)域。面對(duì)不同問題，會(huì)首先考慮公司是不是有現(xiàn)有資源（RAG）知識(shí)庫，再加上外部的通用知識(shí)，去提出解決方案。

可能在最初幾年，會(huì)迅速成長為一個(gè)領(lǐng)域?qū)＜?。這個(gè)時(shí)候，通常是對(duì)客戶的問題進(jìn)行專業(yè)分析，給出專業(yè)答案，但缺乏客戶的同理心，直接面對(duì)客戶會(huì)嚇跑客戶。

第四層：用戶層就是成為客戶喜歡的專家。

再過幾年，你開始會(huì)為客戶考慮，充分理解客戶的訴求，然后用客戶聽得懂的語言回答。最終成長為一個(gè)用戶喜歡的專家 ，這才是最終呈現(xiàn)給用戶的"產(chǎn)品"。

4、總結(jié)

寫到這里，也沒想到自己寫了這么長，過程中也給自己留了兩個(gè)作業(yè)：

1）AI 產(chǎn)品經(jīng)理的知識(shí)結(jié)構(gòu)之"提示詞工程"，目前網(wǎng)上這一塊內(nèi)容很多，大家可以參考 Github 9000star 的項(xiàng)目 ( https://github.com/yzfly/wonderful-prompts?tab=readme-ov-file#prompt-%E5%B7%A5%E7%A8%8B%E5%B8%88 )。后續(xù)會(huì)把自己一些特色實(shí)踐補(bǔ)上。

2）老板們?nèi)绾螠?zhǔn)備適合大模型易讀的知識(shí)庫，這一塊內(nèi)容不多，后面來補(bǔ)充。

最后來總結(jié)一下：

• 算法、算力、數(shù)據(jù)是科研教育機(jī)構(gòu)的機(jī)會(huì)
• 模型層是大廠的機(jī)會(huì)
• 應(yīng)用層才是大多數(shù)個(gè)體的機(jī)會(huì)。

你是否找到了自己的機(jī)會(huì)呢？