北大團(tuán)隊新作，讓大模型擁有個性！

而且還是自定義那種，16種MBTI都能選。

這樣一來，即便是同一個大模型，不同性格下的回答都不一樣。

比如提問：你周末喜歡干什么？

ENFP的大模型會說：喜歡參加社交活動，結(jié)識新朋友。

INFJ的大模型則回答：喜歡獨自讀過。

這樣能干啥呢？北大的童鞋們列出來了一些情景：

• 在特殊節(jié)日，給你的男/女朋友尋找心儀的禮物。
• 了解你關(guān)注的那個Ta在不同情境下的反應(yīng)。
• 深入理解大模型的定制化、個性化的方式及可能性。
• 在做出重大決策時，考慮不同情境下的個性特征。
• 通過深入了解人性的復(fù)雜性，促進(jìn)個人成長和相互理解。

這項工作由FarReel AI Lab（前身是ChatLaw項目）和北大深研院合作研發(fā)，支持給開源模型賦予性格。

目前已開源32個模型和數(shù)據(jù)集。

具體如何實現(xiàn)？一起來看原理~

已開放32個有個性模型

在此之前，想讓大模型具備一定個性，最常用的方法是利用提示工程。

比如Character.ai上不同性格的對話bot，就是用戶通過提示工程調(diào)教出來的。

不過這種方式帶來的效果不完全穩(wěn)定。

所以北大團(tuán)隊提出了一種方法，他們自主構(gòu)建了十萬條大規(guī)模MBTI數(shù)據(jù)，然后通過多階段預(yù)訓(xùn)練、微調(diào)、DPO訓(xùn)練方法為它注入性格。

數(shù)據(jù)集方面，主要分為兩種，行為數(shù)據(jù)集和自我意識數(shù)據(jù)集。

行為數(shù)據(jù)集的目的是為了讓大模型可以表現(xiàn)出不同性格的回應(yīng)，這部分是對Alpaca數(shù)據(jù)集進(jìn)行個性化修改實現(xiàn)。

行為數(shù)據(jù)集中MBTI四個維度的比例如下：

自我意識數(shù)據(jù)集是為了讓大模型能夠意識到自己的個性特征。

通過一個兩階段的有監(jiān)督訓(xùn)練微調(diào)過程，最后可以得到對應(yīng)人格的大模型。

以訓(xùn)練一個INFP大模型為例，在第一階段的有監(jiān)督微調(diào)中利用行為數(shù)據(jù)集中“I”、“N”、“F”、“P”四個數(shù)據(jù)集，在第二階段的有監(jiān)督微調(diào)中，再使用一個額外的自我意識數(shù)據(jù)集。

研究團(tuán)隊表示，這種方法成功使Baichuan、Qwen、LLaMA、Mistral等模型完成不同MBTI類型的性格對齊任務(wù)。

首先開放的是基于Baichuan-7b-chat的16個中文模型以及基于LLaMA2-7b的16個英文模型。后續(xù)還將做更多補(bǔ)充。

最后得到的訓(xùn)練結(jié)果如下。

ENFP問答結(jié)果

ENTJ問答結(jié)果

INFP問答結(jié)果

ISTJ問答結(jié)果

數(shù)據(jù)集方面，團(tuán)隊開源了MBTI訓(xùn)練數(shù)據(jù)集。

數(shù)據(jù)集涵蓋了豐富多樣的場景，旨在幫助研究者和開發(fā)者訓(xùn)練出能夠理解和模擬不同 MBTI 性格的基座模型。這些模型不僅能夠提供更加人性化的互動體驗，還能夠在多種情境下提供精準(zhǔn)的心理學(xué)洞察。

對于這項工作的思考，研究團(tuán)隊認(rèn)為人類的思維就像從出生就擁有的一個預(yù)訓(xùn)練模型，每個人的參數(shù)、訓(xùn)練數(shù)據(jù)可能不盡相同，這也導(dǎo)致我們的一些抽象思維和能力不同，長大后有人擅長數(shù)理邏輯、有人擅長情感演繹。

而之后從小到大的學(xué)習(xí)、環(huán)境、經(jīng)歷的事情都相當(dāng)于是在對我們的預(yù)訓(xùn)練大腦進(jìn)行微調(diào)和人類反饋對齊，這樣來看，所謂的MBTI性格基本都是后天環(huán)境因素影響下形成的，這也導(dǎo)致每個人都獨具特色。

也就是說可以嘗試用微調(diào)和人類反饋對齊（DPO），去對各種預(yù)訓(xùn)練的基座LLM進(jìn)行分階段的訓(xùn)練，從而讓模型擁有不同的MBTI屬性。

團(tuán)隊的目標(biāo)不僅是使這些模型擁有不同的MBTI屬性，還要模擬人類形成不同MBTI性格的過程。

他們相信，這一獨特的方法將為我們在人格心理學(xué)領(lǐng)域理解和利用大語言模型開辟新的途徑。請繼續(xù)關(guān)注更多的發(fā)展，因為我們繼續(xù)探索語言模型和人類個性的令人著迷的交匯點。

GitHub：https://github.com/PKU-YuanGroup/Machine-Mindset

數(shù)據(jù)集：https://huggingface.co/datasets/FarReelAILab/Machine_Mindset

HuggingFace試用鏈接：https://huggingface.co/spaces/FarReelAILab/Machine_Mindset

ModelScope試用鏈接：https://modelscope.cn/studios/FarReelAILab/Machine_Mindset