隨著智慧司法的興起，智能化方法驅(qū)動(dòng)的智能法律系統(tǒng)有望惠及不同群體。例如，為法律專業(yè)人員減輕文書(shū)工作，為普通民眾提供法律咨詢服務(wù)，為法學(xué)學(xué)生提供學(xué)習(xí)和考試輔導(dǎo)。

由于法律知識(shí)的獨(dú)特性和司法任務(wù)的多樣性，此前的智慧司法研究方面主要著眼于為特定任務(wù)設(shè)計(jì)自動(dòng)化算法，難以滿足對(duì)司法領(lǐng)域提供支撐性服務(wù)的需求，離應(yīng)用落地有不小的距離。而大型語(yǔ)言模型（LLMs）在不同的傳統(tǒng)任務(wù)上展示出強(qiáng)大的能力，為智能法律系統(tǒng)的進(jìn)一步發(fā)展帶來(lái)希望。

近日，復(fù)旦大學(xué)數(shù)據(jù)智能與社會(huì)計(jì)算實(shí)驗(yàn)室（FudanDISC）發(fā)布大語(yǔ)言模型驅(qū)動(dòng)的中文智慧法律系統(tǒng) ——DISC-LawLLM。該系統(tǒng)可以面向不同用戶群體，提供多樣的法律服務(wù)。此外，實(shí)驗(yàn)室還構(gòu)建了評(píng)測(cè)基準(zhǔn) DISC-Law-Eval，從客觀和主觀兩個(gè)方面來(lái)評(píng)測(cè)法律大語(yǔ)言模型，模型在評(píng)測(cè)中的表現(xiàn)相較現(xiàn)有的法律大模型有明顯優(yōu)勢(shì)。

課題組同時(shí)公開(kāi)包含 30 萬(wàn)高質(zhì)量的監(jiān)督微調(diào)（SFT）數(shù)據(jù)集 ——DISC-Law-SFT，模型參數(shù)和技術(shù)報(bào)告也一并開(kāi)源。

• 主頁(yè)地址：https://law.fudan-disc.com
• Github 地址：https://github.com/FudanDISC/DISC-LawLLM
• 技術(shù)報(bào)告：https://arxiv.org/abs/2309.11325

01 樣例展示

用戶有法律方面的疑問(wèn)時(shí)，可以向模型咨詢，描述疑問(wèn)，模型會(huì)給出相關(guān)的法律規(guī)定和解釋、推薦的解決方案等。

圖 1 法律咨詢示例

專業(yè)法律者和司法機(jī)關(guān)，可以利用模型完成法律文本摘要、司法事件檢測(cè)、實(shí)體和關(guān)系抽取等，減輕文書(shū)工作，提高工作效率。

圖 2 司法文書(shū)分析

法律專業(yè)的學(xué)生在準(zhǔn)備司法考試過(guò)程中，可以向模型提出問(wèn)題，幫助鞏固法律知識(shí)，解答法律考試題。

圖 3 考試助手示例

在需要外部法條做支撐時(shí)，模型會(huì)根據(jù)問(wèn)題在知識(shí)庫(kù)中檢索相關(guān)內(nèi)容，給出回復(fù)。

圖 4 檢索增強(qiáng)場(chǎng)景下的對(duì)話

02 DISC-LawLLM 介紹

DISC-LawLLM 是基于我們構(gòu)建的高質(zhì)量數(shù)據(jù)集 DISC-Law-SFT 在通用領(lǐng)域中文大模型 Baichuan-13B 上進(jìn)行全參指令微調(diào)得到的法律大模型。值得注意的是，我們的訓(xùn)練數(shù)據(jù)和訓(xùn)練方法可以被適配到任何基座大模型之上。

DISC-LawLLM 具有三個(gè)核心能力：

1. 基礎(chǔ)的法律文本處理能力。針對(duì)法律文本理解與生成的不同基礎(chǔ)能力，包括信息抽取、文本摘要等，我們基于現(xiàn)有的 NLP 司法任務(wù)公開(kāi)數(shù)據(jù)和真實(shí)世界的法律相關(guān)文本進(jìn)行了微調(diào)數(shù)據(jù)的構(gòu)建。

2. 法律推理思維能力。針對(duì)智慧司法領(lǐng)域任務(wù)的需求，我們使用法律三段論這一法官的基本法律推理過(guò)程重構(gòu)了指令數(shù)據(jù)，有效地提高了模型的法律推理能力。

3. 司法領(lǐng)域知識(shí)檢索遵循能力。智慧司法領(lǐng)域的問(wèn)題解決，往往需要依循與問(wèn)題相關(guān)的背景法條或者案例，我們?yōu)橹悄芊商幚硐到y(tǒng)配備了檢索增強(qiáng)的模塊，加強(qiáng)了系統(tǒng)對(duì)于背景知識(shí)的檢索和遵循能力。

模型的整體框架如圖 5 所示：

圖 5 模型在不同的法律場(chǎng)景下服務(wù)于不同的用戶

03 方法：數(shù)據(jù)集 DISC-Law-SFT 的構(gòu)造

圖 6 DISC-Law-SFT 的構(gòu)造

DISC-Law-SFT 分為兩個(gè)子數(shù)據(jù)集，分別是 DISC-Law-SFT-Pair 和 DISC-Law-SFT-Triplet，前者向 LLM 中引入了法律推理能力，而后者則有助于提高模型利用外部知識(shí)的能力。

表 1：DISC-Law-SFT 數(shù)據(jù)集內(nèi)容介紹

數(shù)據(jù)來(lái)源

DISC-Law-SFT 數(shù)據(jù)集的數(shù)據(jù)來(lái)源于三部分，一是與中國(guó)法律相關(guān)的 NLP 司法任務(wù)公開(kāi)數(shù)據(jù)集，包括法律信息抽取、實(shí)體與關(guān)系抽取、司法文本摘要、司法考試問(wèn)答、司法閱讀理解、罪名 / 刑期預(yù)測(cè)等；二是收集了來(lái)自真實(shí)世界的法律相關(guān)的原始文本，如法律法規(guī)、司法案件、裁判文書(shū)、司法相關(guān)的考試等；三是通用的開(kāi)源數(shù)據(jù)集，我們使用了 alpaca_gpt4_data_zh 和 Firefly，這樣可以豐富訓(xùn)練集的多樣性，減輕模型在 SFT 訓(xùn)練階段出現(xiàn)基礎(chǔ)能力降級(jí)的風(fēng)險(xiǎn)。

指令對(duì)構(gòu)造

對(duì)上述一、二來(lái)源的數(shù)據(jù)轉(zhuǎn)換為 “輸入 - 輸出” 指令對(duì)后，我們采用以下三種方式對(duì)指令數(shù)據(jù)重構(gòu)，以提高數(shù)據(jù)質(zhì)量。

• 行為塑造

在法律三段論中，大前提為適用的法律規(guī)則，小前提為案件事實(shí)，結(jié)論為法律判斷。這構(gòu)成了法官的一個(gè)基本的法律推理過(guò)程。每一個(gè)案例都可以通過(guò)三段論得出一個(gè)明確的結(jié)論，如下所述：

大前提：法律規(guī)則

小前提：案件事實(shí)

結(jié)論：法律判斷

我們利用 GPT-3.5-turbo 來(lái)完成行為塑造的重構(gòu)，細(xì)化輸出，確保每個(gè)結(jié)論都從一個(gè)法律條款和一個(gè)案例事實(shí)中得出。

• 知識(shí)擴(kuò)充

對(duì)于行為塑造不適用的多項(xiàng)選擇題，我們直接使用法律知識(shí)擴(kuò)展輸出，以提供更多的推理細(xì)節(jié)。許多與法律相關(guān)的考試和知識(shí)競(jìng)賽只提供答案選項(xiàng)，我們使用 LLM 來(lái)擴(kuò)展所涉及的法律知識(shí)，給出正確的答案，并重建指令對(duì)。

• 思維培養(yǎng)

思維鏈（CoT）已被證明能有效地提高模型的推理能力。為了進(jìn)一步賦予模型法律推理能力，我們?cè)O(shè)計(jì)了具有特定法律意義的思維鏈，稱為 LCoT，要求模型用法律三段論來(lái)推導(dǎo)答案。LCoT 將輸入 X 轉(zhuǎn)換為如下的提示：

在法律三段論中，大前提是適用的法律規(guī)則，小前提是案件事實(shí)，結(jié)論是對(duì)案件的法律判斷。

案件：X

讓我們用法律三段論來(lái)思考和輸出判斷：

指令三元組構(gòu)造

為了訓(xùn)練檢索增強(qiáng)后的模型，我們構(gòu)造了 DISC-Law-SFT-Triplet 子數(shù)據(jù)集，數(shù)據(jù)為 < 輸入、輸出、參考 > 形式的三元組，我們使用指令對(duì)構(gòu)造中列出的三種策略對(duì)原始數(shù)據(jù)進(jìn)行處理，獲得輸入和輸出，并設(shè)計(jì)啟發(fā)式規(guī)則來(lái)從原始數(shù)據(jù)中提取參考信息。

04 實(shí)驗(yàn)

訓(xùn)練

DISC-LawLLM 的訓(xùn)練過(guò)程分為 SFT 和檢索增強(qiáng)兩個(gè)階段。

• 檢索增強(qiáng)

雖然我們使用了高質(zhì)量的指令數(shù)據(jù)對(duì) LLM 進(jìn)行微調(diào)，但它可能會(huì)由于幻覺(jué)或過(guò)時(shí)的知識(shí)而產(chǎn)生不準(zhǔn)確的反應(yīng)。為了解決這個(gè)問(wèn)題，我們?cè)O(shè)計(jì)了一個(gè)檢索模塊來(lái)增強(qiáng) DISC-LawLLM。

給定一個(gè)用戶輸入，檢索器通過(guò)計(jì)算它們與輸入的相似性，從知識(shí)庫(kù)返回最相關(guān)的 Top-K 文檔。這些候選文檔，連同用戶輸入，用我們?cè)O(shè)計(jì)的模板構(gòu)造后輸入到 DISC-LawLLM 中。通過(guò)查詢知識(shí)庫(kù)，模型可以更好地理解主要前提，從而得到更準(zhǔn)確可靠的答案。

圖 7：檢索增強(qiáng)的 DISC-LawLLM

評(píng)測(cè)方法

• 評(píng)測(cè)基準(zhǔn) DISC-Law-Eval

我們構(gòu)建了一個(gè)公平的智能法律系統(tǒng)評(píng)估基準(zhǔn) DISC-Law-Eval，從客觀和主觀的角度來(lái)評(píng)估，填補(bǔ)了目前還沒(méi)有基準(zhǔn)來(lái)對(duì)智能法律體系全面評(píng)估這一空白。

圖 8：DISC-Law-Eval 評(píng)測(cè)基準(zhǔn)

• 客觀評(píng)測(cè)

為了客觀、定量地評(píng)估智能法律系統(tǒng)的法律知識(shí)和推理能力，我們?cè)O(shè)計(jì)了一個(gè)客觀的評(píng)價(jià)數(shù)據(jù)集，由一系列中國(guó)法律標(biāo)準(zhǔn)化考試和知識(shí)競(jìng)賽的單項(xiàng)和多項(xiàng)選擇題組成，并根據(jù)內(nèi)容復(fù)雜性和演繹難度，將問(wèn)題分為困難、正常和容易三個(gè)層次。它可以提供一個(gè)更具挑戰(zhàn)性和可靠的方法來(lái)衡量模型是否可以利用其知識(shí)來(lái)推理正確的答案。我們通過(guò)計(jì)算精度來(lái)表明性能。

• 主觀評(píng)測(cè)

主觀評(píng)測(cè)部分，我們采用問(wèn)答的范式進(jìn)行評(píng)估，模擬主觀考試問(wèn)題的過(guò)程。我們從法律咨詢、在線論壇、與司法相關(guān)的出版物和法律文件中手工構(gòu)建了一個(gè)高質(zhì)量的測(cè)試集。我們用 GPT- 3.5-turbo 作為裁判模型來(lái)評(píng)估模型的輸出，并用準(zhǔn)確性、完整性和清晰度這三個(gè)標(biāo)準(zhǔn)提供 1 到 5 的評(píng)分。

評(píng)測(cè)結(jié)果

• 比較模型

將我們的模型 DISC-LawLLM (不外接知識(shí)庫(kù)) 與 4 個(gè)通用 LLM 和 4 個(gè)中文法律 LLM 進(jìn)行比較，包括 GPT-3.5-turbo、ChatGLM-6B 、Baichuan-13B-Chat 、Chinese-Alpaca2-13B ；LexiLaw 、LawGPT、Lawyer LLaMA、ChatLaw 。

• 客觀評(píng)測(cè)結(jié)果

DISC-LawLLM 在所有不同難度水平的測(cè)試中超過(guò)所有比較的同等參數(shù)量的大模型。即使與具有 175B 參數(shù)的 GPT- 3.5-turbo 相比，DISC-LawLLM 在部分測(cè)試上也表現(xiàn)出了更優(yōu)越的性能。表 2 是客觀評(píng)測(cè)結(jié)果，其中加粗表示最佳結(jié)果，下劃線表示次佳結(jié)果。

表 2：客觀評(píng)測(cè)結(jié)果

• 主觀評(píng)測(cè)結(jié)果

在客觀評(píng)測(cè)中，DISC-LawLLM 獲得了最高的綜合得分，并在準(zhǔn)確性和清晰度這兩項(xiàng)標(biāo)準(zhǔn)中得分最高。表 3 是主觀評(píng)測(cè)結(jié)果，其中加粗表示最佳結(jié)果。

表 3：主觀評(píng)測(cè)結(jié)果

05 總結(jié)

我們發(fā)布了 DISC-LawLLM，一個(gè)提供多應(yīng)用場(chǎng)景下法律服務(wù)的智能法律系統(tǒng)?；诠_(kāi)的法律領(lǐng)域 NLP 任務(wù)數(shù)據(jù)集、法律原始文本和開(kāi)源通用指令數(shù)據(jù)集，按照法律三段論重構(gòu)了法律指令進(jìn)行監(jiān)督微調(diào)。為了提高輸出的可靠性，我們加入了一個(gè)外部檢索模塊。通過(guò)提高法律推理和知識(shí)檢索能力，DISC-LawLLM 在我們構(gòu)建的法律基準(zhǔn)評(píng)測(cè)集上優(yōu)于現(xiàn)有的法律 LLM。該領(lǐng)域的研究將為實(shí)現(xiàn)法律資源平衡等帶來(lái)更多前景和可能性，我們發(fā)布了所構(gòu)建的數(shù)據(jù)集和模型權(quán)重，以促進(jìn)進(jìn)一步的研究。