最近，神秘大佬開(kāi)源一個(gè)框架entropix, 2周不到收獲2.4k star。

Entropix的核心思想是通過(guò)量化模型的不確定性，來(lái)做出更多的“思考”，從而獲得更好的效果。

當(dāng)大模型在預(yù)測(cè)下一個(gè)詞時(shí)，模型會(huì)為每個(gè)詞分配一個(gè)可能的概率。如果模型特別篤定的那個(gè)token的概率都很低，也就是不確定性很高的時(shí)候，熵越高。

很多時(shí)候，想減少模型的幻覺(jué)時(shí)，可能會(huì)將模型的采樣超參數(shù)如temperature設(shè)為 0。但是這樣做并不一定能提高模型不產(chǎn)生幻覺(jué)輸出的概率，只是迫使它對(duì)相對(duì)于其他單詞而言的一個(gè)單詞賦予更高的概率。

但是在 Entropix 和之前google的內(nèi)置cot研究 驗(yàn)證了，事實(shí)恰恰相反，采用貪婪解碼，反而可能會(huì)讓結(jié)果變得更壞。

google的研究，前不久發(fā)的推文：??cot-decoding，谷歌把o1的底褲都開(kāi)源了??

那如何衡量結(jié)果不確定性呢？在這個(gè)google的研究中使用的是top1和top2的token概率的差值。在Entropix中用到的是entropy和varentropy，varentropy是衡量entropy的方差的，提供了一個(gè)關(guān)于跨不同token不確定性的度量。

低varentropy意味著模型的不確定性在token間是恒定的，高則意味著token間不確定性很大。

Entropix 方法中的采樣過(guò)程如下，核心思想是根據(jù)模型的不確定性調(diào)整其選擇策略：

• 當(dāng)模型有信心（低entropy和低varentropy）時(shí)，它就會(huì)按常規(guī)進(jìn)行。
• 當(dāng)模型不確定（高entropy和/或高varentropy）時(shí)，它會(huì)探索替代標(biāo)記或推理路徑。

這種自適應(yīng)方法是在模擬思維鏈過(guò)程，當(dāng)模型不確定時(shí)，它會(huì)“更努力的思考”，從而可能產(chǎn)生更準(zhǔn)確連貫的輸出。

本文轉(zhuǎn)載自 ??NLP前沿??，作者： 熱愛(ài)AI的