簡介

在本次分享中，想跟大家探討ChatGPT技術產(chǎn)品的落地實踐，從技術架構的角度出發(fā)，剖析GPT模型的核心原理、關鍵技術以及實際應用場景。將從以下幾個方面展開討論：

1. ChatGPT模型概述：首先，簡要介紹ChatGPT（Chatbot based on Generative Pre-trained Transformer）模型的基本概念、可應用場景、公司層面資源支持情況。

2. 技術架構解析：接下來，簡單科普下GPT模型的技術架構，包括Transformer結構、自注意力機制、預訓練與微調(diào)策略等關鍵技術。

3. 工程端架構聚焦：該部分以JAVA工程開發(fā)的視角，針對GPT應用的聚焦，包括Prompt構造、GPT結果的解析、團隊協(xié)作等。

4. 實際應用場景和架構：在此部分，介紹GPT技術產(chǎn)品在經(jīng)銷商團隊的實際應用，給出我們的架構方案，并分享一些應用心得體會。

5.面臨的挑戰(zhàn)與未來發(fā)展：最后，討論GPT技術產(chǎn)品在實際落地過程中可能面臨的挑戰(zhàn)，如模型泛化能力、數(shù)據(jù)安全與隱私等，并展望其未來發(fā)展趨勢。

通過本次分享，希望幫助大家更好地理解GPT技術產(chǎn)品的技術架構，明確其在實際工程端應用中的關鍵設計方向，并為大家在自己的項目中應用GPT技術提供參考。

1.ChatGPT模型概述

1.1概念介紹

ChatGPT（Chatbot based on Generative Pre-trained Transformer）是一種基于GPT模型的聊天機器人。它利用了GPT模型在自然語言處理（NLP）領域的強大生成能力，以實現(xiàn)與人類用戶的自然、流暢和智能的對話交互。GPT模型是一種基于Transformer架構的生成式預訓練模型，通過大量無標簽文本數(shù)據(jù)進行預訓練，學習到豐富的語言知識和語義信息。在預訓練完成后，GPT模型可以通過微調(diào)的方式，針對特定任務進行優(yōu)化，以實現(xiàn)高效的遷移學習。ChatGPT通過對GPT模型的微調(diào)，使其能夠理解和生成自然語言對話，從而實現(xiàn)與人類用戶的交互。

1.2可應用場景

ChatGPT作為一種基于GPT模型的聊天機器人，具有強大的自然語言理解和生成能力，可以應用于多個場景。包括智能客服、自然語言生成、聊天機器人、語言翻譯、內(nèi)容概括等。ChatGPT可以通過模仿人類的方式進行對話和生成文本，使得它在應用場景中比其他算法更有優(yōu)勢。

1.3公司層面資源情況

我們之家緊跟GPT步伐。先后與百度、微軟、阿里、華為建立一些GPT合作，共同探討應用場景。同時給業(yè)務側(cè)提供支持，在之家云上也提供ChatGPT頁面入口，并對有業(yè)務需求的產(chǎn)品側(cè)提供API訪問支持。資源支撐相當友好，工程、產(chǎn)品人員結合業(yè)務應用能夠很快落地。

2.技術架構解析

• Transformer結構：GPT模型基于Transformer結構，這是一種在自然語言處理任務中廣泛使用的深度學習架構。Transformer結構摒棄了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡（RNN）和卷積神經(jīng)網(wǎng)絡（CNN），采用了自注意力機制來捕捉輸入序列中的長距離依賴關系。Transformer結構由編碼器（Encoder）和解碼器（Decoder）組成，但GPT模型僅使用了解碼器部分。
• 自注意力機制：自注意力機制是Transformer結構的核心組件，它允許模型在處理輸入序列時，關注到與當前位置相關的其他位置的信息。自注意力機制通過計算輸入序列中每個單詞與其他單詞之間的相關性權重，實現(xiàn)了對序列中不同位置信息的加權組合。這種機制使得GPT模型能夠捕捉到文本中的長距離依賴關系，從而提高了模型的表達能力。
• 預訓練與微調(diào)策略：GPT模型采用了預訓練與微調(diào)的策略來提高模型的泛化能力。在預訓練階段，模型使用大量無標簽的文本數(shù)據(jù)進行無監(jiān)督學習，學習到豐富的語言知識。在微調(diào)階段，模型使用特定任務的有標簽數(shù)據(jù)進行有監(jiān)督學習，使模型能夠適應不同的自然語言處理任務。這種策略使得GPT模型能夠在多種任務上取得優(yōu)秀的性能。

作為工程端開發(fā)同學，不需要完全理解其中的技術點，并不影響基于GPT能力落地出來優(yōu)秀的業(yè)務產(chǎn)品。

3.工程端架構聚焦

在工程實踐中，首要任務是明確問題。我們期望的產(chǎn)品能夠整合之家領域的垂直知識，借助GPT大模型的語言理解和表達能力，擺脫傳統(tǒng)依賴大量人力投入的方式，從而更高效、更優(yōu)質(zhì)地服務用戶。因此，我們面臨的核心挑戰(zhàn)是如何將GPT大模型與專業(yè)領域知識相結合，提煉GPT的輸出結果，并生成相對結構化的數(shù)據(jù)，以便嵌入到垂直領域的產(chǎn)品中。

以ChatGPT技術為例（其他類似技術也大同小異），通常有以下可行方法：

• Fine-tuning：這是一種機器學習訓練方法，簡單來說，就是在特定任務上對預訓練好的模型進行微調(diào)，以提升模型在該任務上的性能。
• 基于prompt的微調(diào)：prompt即提示信息，它是模型輸入樣本的格式，在文本生成任務中，prompt可以約束和引導GPT模型的輸出。

作為一名Java開發(fā)工程師，對自然語言處理（NLP）等技術了解有限，基于fine-tuning的方案成本較高。因此，我們可以選擇的范疇是在prompt研究上。幸運的是，這種方法的效果相當不錯。

3.1Prompt構造

如何構造一個好的prompt，通常有這些要素：

?3.1.1 明確指示

在prompt中明確指示GPT僅使用給定的信息進行回答。例如，你可以在問題前加上類似于“僅根據(jù)以下信息回答問題：”的說明。

?3.1.2 提供充足的背景信息

在prompt中提供足夠的背景信息和上下文，以便GPT-4能夠理解問題并給出準確的回答。盡量確保提供的信息是準確、完整和相關的。

?3.1.3 明確問題

確保問題表述清晰、明確且易于理解。避免使用模糊或歧義的詞匯。

?3.1.4 請求嚴謹?shù)幕卮?/h4>

在prompt中明確要求GPT-4給出嚴謹、準確的回答。例如，你可以在問題后加上類似于“請給出一個嚴謹、準確的回答?！钡恼f明。

?3.1.5 分步驟詢問

思維鏈(COT)提示(Chain-of-Thought Prompting)模型，如果問題較復雜，可以將其拆分成多個子問題，并逐個詢問。

在考慮這些關鍵因素的同時，我們還需遵循技術規(guī)范。眾所周知，GPT-3.5 API具有4K token的長度限制，而GPT-4的公司API版本也只有8K token。因此，如何在有限的token長度內(nèi)提煉內(nèi)容成為許多應用面臨的主要挑戰(zhàn)。為解決這一問題，建議根據(jù)業(yè)務特點尋求相應解決方案，例如：

• 對大型內(nèi)容進行預處理，將其拆分為多個片段，并通過嵌入處理將其轉(zhuǎn)換為向量數(shù)據(jù)庫。在提取內(nèi)容時，先進行相似度匹配，然后將內(nèi)容拼接到prompt的可支持長度，最后調(diào)用大型模型。
• 對內(nèi)容進行提煉，可以通過大型模型自我總結或采用其他技術手段，在盡量保留關鍵信息的前提下，實現(xiàn)token長度的縮減。
• 結合業(yè)務需求，提前進行人工知識分類，確保每個小類別的知識總結不超過token限制。在調(diào)用模型時，先識別分類，然后獲取相應類別的知識并輸入大型模型。

通過這些策略，我們可以在遵循技術規(guī)范的前提下，充分利用有限的token長度，為各種應用提供高質(zhì)量的內(nèi)容。

3.2GPT結果的解析

   針對與prompt相關的問題，解析方法至關重要。我們需要明白，GPT生成的結果是文本形式，而我們的業(yè)務需求往往是結構化數(shù)據(jù)。為了解決GPT輸出內(nèi)容格式的問題，我們可以遵循prompt的特性，盡量使返回格式簡潔明了，以實現(xiàn)目標。然而，即使我們明確要求按照特定順序和特定JSON格式返回，仍無法保證格式的完全準確。

除此之外，我們還可以采取補救措施。針對GPT返回結果中具有共性的部分，在標準化之外進行二次解析。雖然補救效果有時候可能因情況而異，但這是我們目前能采取的最佳策略。

3.3團隊協(xié)作

  GPT技術正風靡全球，各團隊紛紛投入研究其潛力。在產(chǎn)品、技術和算法團隊之間，如何進行有效分工呢？我認為，產(chǎn)品團隊應關注業(yè)務邏輯和實際應用場景，總結并提煉業(yè)務知識，以便構建高效的prompt。與此同時，技術團隊需致力于優(yōu)化prompt模板、解析輸出結果、改進容錯機制以及設計通用的GPT應用架構。算法團隊則應發(fā)揮其專業(yè)優(yōu)勢，對模型進行微調(diào)，以便提供更優(yōu)秀的大型模型版本，為業(yè)務團隊提供支持。這樣的分工將有助于我們團隊充分發(fā)揮各自優(yōu)勢。

4.實際應用場景和架構

在了解了GPT的基本概念之后，相信大家已經(jīng)做好了嘗試的準備。接下來，我們將分享我們團隊實施的設計案例，希望能為大家提供一些有益的參考。

4.1需求背景

經(jīng)銷商運營人員每天需要處理眾多數(shù)據(jù)維度，部分數(shù)據(jù)需手動整理并輸出。此外，還需針對各運營指標的波動情況分析異常原因。傳統(tǒng)方式在整理、歸納和輸出報告方面既耗時又費力。而且，作為數(shù)據(jù)報告，大部分內(nèi)容僅能作為數(shù)據(jù)趨勢變化和結論參考，難以滿足不同決策者的觀看需求。因此，我們考慮為經(jīng)銷商和廠商管理層搭建一個基于大模型能力的數(shù)據(jù)分析樣板間。具體要求如下：

1. 面向管理層，運用Prompt+大模型能力，結合業(yè)務數(shù)據(jù)，提供輔助性決策建議。支持管理者根據(jù)數(shù)據(jù)問題向機器人咨詢并獲取解答。

2. 輸出內(nèi)容：結合業(yè)務數(shù)據(jù)，生成數(shù)據(jù)分析報告和圖表，涵蓋數(shù)據(jù)變化趨勢、異常預警、數(shù)據(jù)結論等多個維度。

4.2技術視角聚焦任務

在明確需求背景以及對GPT有一定了解的基礎上，實現(xiàn)工程化將變得相對簡單。技術架構的目標非常明確，需要完成以下任務：

• 為大型模型整合垂直領域的專業(yè)知識。
• 要求大型模型能夠完成特定任務，例如：分析變化趨勢、進行異常預警以及得出數(shù)據(jù)結論。
• 輸出結果需包括文本和圖表形式。

4.3技術視角分析可行性

 經(jīng)過對大模型現(xiàn)有能力的評估，我們發(fā)現(xiàn)特定任務是其核心優(yōu)勢。通過精心設計的提示，大模型的表現(xiàn)可以持續(xù)優(yōu)化，問題相對較小。然而，其他兩個方面存在一定的風險：

• 對于工程端能力，我們只能依賴提示內(nèi)容結合垂直領域知識，因此無法避免令牌長度限制。同時，我們了解到產(chǎn)品方面的私有知識長度較長，預估可能超過1萬個令牌。
• 為滿足輸出要求，技術方面需要解析并提取格式化數(shù)據(jù)。
• 對于圖表需求，大模型本身僅支持文本輸出，無法直接生成圖表。

針對已知的問題，我們決定采取以下方案進行優(yōu)化：

• 對于 tokens 數(shù)量限制問題，經(jīng)過充分討論和權衡，我們與產(chǎn)品團隊達成一致，首版將通過拆分分類方案來限定 tokens 數(shù)量。
• 在格式化數(shù)據(jù)方面，我們將重點關注 prompt 設定，并嚴格要求遵循特定格式。
• 對于圖表需求，由于當前大模型版本僅支持文本，我們將要求大模型返回特定圖表數(shù)據(jù)格式，然后在展示端進行適配，最終實現(xiàn)圖表展示。

基于以上結論，我們將開發(fā)基于 GPT 大模型的應用，重點關注 prompt 設定編程，緊密貼合 Prompt Engineer 的角色。

4.4prompt設定劃分

根據(jù)業(yè)務分析，同時調(diào)研業(yè)內(nèi)應用。我們最終在組內(nèi)，對prompt設定了更細粒度的不同職責劃分，先上圖：

圖片

按照該劃分，不同人員去維護，確定對應職責的prompt內(nèi)容，如：產(chǎn)品測需要提供角色設定、相關任務項。技術實現(xiàn)端，根據(jù)設定組裝各個分類prompt，按照設定去解析結果。這張圖大家可以參照下，根據(jù)團隊職責，拆分、調(diào)研不同分類的最優(yōu)prompt。

4.5系統(tǒng)流程架構

核心prompt確認后，下一步是確認系統(tǒng)整體架構。根據(jù)業(yè)務情況，在系統(tǒng)流程中會經(jīng)過一到多層的大模型，每一次附加業(yè)務的內(nèi)置功能，最終來完成業(yè)務邏輯。

圖片

同時，結合組內(nèi)的開發(fā)規(guī)范，項目依舊采用DDD思想進行構造，從限界上劃分為：流程限界、大模型限界。

4.6prompt實例

這里給出項目落地的實例prompt最終形態(tài)，項目流程經(jīng)兩次GPT交互，所以對應輸入、輸出有兩套

圖片

有了結構化數(shù)據(jù)之后，開展業(yè)務樣式交互就是常規(guī)操作了。

5.面臨的挑戰(zhàn)與未來發(fā)展

5.1模型泛化能力

雖然GPT模型在許多自然語言處理任務上表現(xiàn)出色，可以通過Fine-tuning、prompt來優(yōu)化精準度，但其泛化能力仍有待提高。在面對一些特定領域或具有特殊語境的任務時，GPT模型可能無法很好地理解和處理。未來的發(fā)展方向之一是提高模型的泛化能力，使其能夠更好地適應各種不同的應用場景。

5.2計算資源消耗

 GPT模型的訓練和推理過程需要大量的計算資源，最直觀感受是每次調(diào)用就是在燒錢。

5.3數(shù)據(jù)安全與隱私

 GPT模型在訓練過程中需要大量的數(shù)據(jù)，這可能涉及到用戶的隱私和數(shù)據(jù)安全問題。如何在保證模型性能的同時，確保用戶數(shù)據(jù)的安全和隱私，是未來發(fā)展的重要課題。

5.4 模型可解釋性

GPT模型的內(nèi)部結構復雜，很難直觀地理解其決策過程。這在某些應用場景中可能導致不可預測的結果，甚至產(chǎn)生不符合道德和法律規(guī)定的輸出。因此，提高模型的可解釋性，使其決策過程更加透明和可控，是未來研究的重要方向。

5.5人工智能倫理與責任

 隨著GPT技術產(chǎn)品在各個領域的廣泛應用，如何確保其遵循倫理原則，防止濫用和誤用，以及明確相關責任歸屬，成為亟待解決的問題。未來的發(fā)展需要在技術、法律和道德層面共同努力，構建更加健全的人工智能倫理和責任體系。

5.6模型多樣性與融合

當前的GPT模型主要關注單一的自然語言處理任務，未來的發(fā)展方向可能包括將GPT技術與其他領域的人工智能技術相結合，如計算機視覺、語音識別等，實現(xiàn)更加豐富和多樣化的應用場景。

總之，GPT技術產(chǎn)品在未來的發(fā)展中需要克服諸多挑戰(zhàn)，包括提高模型泛化能力、降低計算資源消耗、保障數(shù)據(jù)安全與隱私、提高模型可解釋性、遵循人工智能倫理與責任原則以及實現(xiàn)模型多樣性與融合。在這些方面的突破將為GPT技術產(chǎn)品的廣泛應用和持續(xù)創(chuàng)新奠定堅實基礎。

總結

本文約50%的內(nèi)容是基于GPT技術生成的，包括標題、大綱、技術架構解析以及挑戰(zhàn)與未來發(fā)展章節(jié)。其中一些專業(yè)知識已超出了我作為工程開發(fā)者的能力范圍，效果令人驚喜。大家趕緊擁抱GPT技術吧！首個項目版本的成功實施，得益于諸多外部支持，例如：借鑒了AutoGPT的prompt設計、LangChain的設計理念，以及學習了公司云平臺團隊設計的私域知識庫GPT方案。同時，團隊小伙伴也很給力，項目的成功歸功于大家的共同努力。

作者簡介

李曉華、 楊永輝

■ 經(jīng)銷商技術部-數(shù)據(jù)架構組團隊

■ 服務端開發(fā)工程師。主要負責智能數(shù)據(jù)產(chǎn)品業(yè)務工程落地。