自從大約10年前深度學(xué)習(xí)模型開始獲得關(guān)注以來，人工智能的黑匣子問題就一直存在。但現(xiàn)在我們處于后ChatGPT時代，舊金山初創(chuàng)公司W(wǎng)atchful希望提高大型語言模型的透明度。

Watchful聯(lián)合創(chuàng)始人兼首席執(zhí)行官Shayan Mohanty說:“當(dāng)人們之前談?wù)摵诤腥斯ぶ悄軙r，只是在談?wù)摯笮?、?fù)雜的模型，但他們?nèi)匀辉诰帉懘a。仍然在他們的四面墻內(nèi)運(yùn)行，擁有訓(xùn)練它所用的所有數(shù)據(jù)?！?/p>

“但如今，就像OpenAI這樣的科技企業(yè)是唯一一個可以觸摸和感受這個模型的人?！彼^續(xù)說，“作為這些模型的用戶，我們只能訪問一個API，這個API允許我發(fā)送提示，獲得響應(yīng)，或者發(fā)送一些文本并獲得反饋（可能是文章、圖片甚至視頻）。這是我們能接觸到的全部信息。無法解釋模型本身在做什么，為什么會這樣?！?/p>

無論是從監(jiān)管的角度，還是從實(shí)際應(yīng)用角度來看，缺乏透明度都是一個問題。如果用戶沒有辦法衡量他們對GPT-4的提示是否引起了有價值的回應(yīng)，那么他們就沒有辦法改進(jìn)它們。

有一種方法可以從大語言模型（LLM）獲得反饋，稱為積分梯度，它允許用戶確定LLM的輸入如何影響輸出?！斑@就像你有一堆小旋鈕，”Mohanty說。“這些旋鈕可能代表提示中的單詞……當(dāng)調(diào)整時，就會看到它是如何改變反應(yīng)結(jié)果的?！?/p>

積分梯度的問題在于它的運(yùn)行成本非常高。雖然對于大公司來說，在他們自己的LLM上使用它可能是可行的，比如Meta AI的Llama-2，但對于面向眾多用戶的解決方案供應(yīng)商（比如OpenAI）來說，這不是一個實(shí)用的解決方案，。

他說:“問題在于，沒有明確定義的方法來推斷LLM運(yùn)行情況。這里沒有明確的指標(biāo)供你參考。這一切都沒有固定的解決辦法?！?/p>

Mohanty和他在Watchful的同事嘗試為LLM創(chuàng)建績效指標(biāo)。經(jīng)過一段時間的研究，他們偶然發(fā)現(xiàn)了一種新技術(shù)，該技術(shù)提供的結(jié)果與積分梯度技術(shù)相似，但沒有巨大花費(fèi)，也不需要直接訪問模型。

他說:“你可以把這種方法應(yīng)用到GPT-3、GPT-4、GPT-5和Claude上——這并不重要。”“你可以在這個過程中插入任何模型，它的計算效率很高，預(yù)測效果非常好?！?/p>

該公司今天公布了基于該研究的兩個LLM指標(biāo)，包括令牌（Token）重要性估計和模型不確定性評分。這兩個指標(biāo)都是免費(fèi)和開源的。

令牌重要性估計為AI開發(fā)人員提供了使用高級文本嵌入的提示中令牌重要性的估計。與此同時，模型不確定性評分沿著概念不確定性和結(jié)構(gòu)不確定性的思路，評估LLM響應(yīng)的不確定性。

這兩個新指標(biāo)都是基于Watchful對LLM如何與嵌入空間相互作用的研究，即文本輸入被轉(zhuǎn)換為數(shù)字分?jǐn)?shù)或嵌入的多維區(qū)域，以及這些分?jǐn)?shù)的相對接近度可以計算的地方，這是LLM工作的核心。

它們的嵌入空間估計有1500個維度，這是人類無法理解的。但Watchful已經(jīng)想出了一種方法，通過API發(fā)送的提示，以編程方式進(jìn)入其龐大的嵌入空間，實(shí)際上是在逐步探索其工作原理。

Mohanty說:“現(xiàn)在的情況是，我們接受了提示，并以已知的方式不斷改變它?！薄袄?，你可以一個接一個地放下每個標(biāo)記，你可以看到，如果我放下這個詞，它是如何改變模型對提示的解釋的?！?/p>

雖然嵌入空間很大，但它是有限的。Mohanty說:“你只是得到了一個提示，可以用各種方式來改變它，同樣，這是有限的。”“你只要不斷地重新嵌入，你就會看到這些數(shù)字是如何變化的。然后，我們可以根據(jù)觀察改變提示如何影響模型在嵌入空間中的解釋，統(tǒng)計計算模型可能會做什么?！?/p>

這項工作的結(jié)果是一個工具，它可能顯示客戶發(fā)送給GPT-4的非常多的提示沒有產(chǎn)生預(yù)期的影響。Mohanty說，也許這個模型只是忽略了提示中三個例子中的兩個。這可以讓用戶立即減少提示的大小，節(jié)省資金并提供更及時的響應(yīng)。

Mohanty說，這一切都是為了提供一種迄今為止一直缺失的反饋機(jī)制。“一旦有人寫了一個提示，他們就不知道自己需要做些什么來獲得更好的結(jié)果?！薄拔覀兯羞@些研究的目標(biāo)只是剝離模型的各個層面，讓人們了解它在做什么，并以一種與模型無關(guān)的方式進(jìn)行研究?！?/p>

該公司將這些工具作為開源工具發(fā)布，以推動更好地理解LLM和減少黑盒子問號。Mohanty希望社區(qū)的其他成員使用這些工具并在其基礎(chǔ)上進(jìn)行構(gòu)建，例如將它們與LangChain和GenAI堆棧的其他組件集成。

“我們認(rèn)為這是一件正確的事情，”他談到開源工具時說?！拔覀儾豢赡芎芸爝_(dá)到所有人都趨同的地步，這些指標(biāo)是所有人都關(guān)心的。我們實(shí)現(xiàn)這一目標(biāo)的唯一途徑是每個人都分享你對這件事的看法。所以我們采取了最初的幾個步驟，我們做了這個研究，發(fā)現(xiàn)了這些東西。我們認(rèn)為重要的是，我們把它放在那里，讓其他人可以在它的基礎(chǔ)上進(jìn)行開發(fā)，而不是把它關(guān)起來，只允許我們的客戶看到它?！?/p>

最終，這些指標(biāo)可以形成一個企業(yè)儀表板的基礎(chǔ)，告知客戶他們的GenAI（生成式人工智能）應(yīng)用程序是如何運(yùn)行的，有點(diǎn)像TensorBoard為TensorFlow所做的那樣。該產(chǎn)品將由Watchful銷售。與此同時，該公司樂于分享自己的知識，并幫助社區(qū)朝著一個能讓黑箱人工智能模型得到更多關(guān)注的方向發(fā)展。