在新興技術(shù)的數(shù)字時(shí)代，大語(yǔ)言模型(LLM)已經(jīng)成為一種強(qiáng)大的工具，革命性地改變了人類社會(huì)和文化的許多方面，重塑了我們與計(jì)算機(jī)的互動(dòng)方式。然而，還有一個(gè)關(guān)鍵的挑戰(zhàn)需要解決。LLM的局限性是顯而易見的，它揭示了在無(wú)法掌握對(duì)話的上下文和細(xì)微差別以及取決于提示的質(zhì)量和具體性方面的差距。

不過(guò)，LLM主要依賴于文本輸入輸出，忽略了人類在自然交流中的語(yǔ)調(diào)，面部表情，手勢(shì)和肢體語(yǔ)言等線索，從而在理解方面會(huì)存在偏差。

這些線索統(tǒng)稱為副語(yǔ)言，微軟的Project?Rumi旨在通過(guò)解決理解非語(yǔ)言線索和上下文細(xì)微差別的局限性來(lái)增強(qiáng)LLM的能力。它將副語(yǔ)言輸入納入與LLM的基于提示的互動(dòng)中，以提高溝通質(zhì)量。研究人員使用音頻和視頻模型來(lái)檢測(cè)數(shù)據(jù)流中的實(shí)時(shí)非語(yǔ)言線索。兩個(gè)獨(dú)立的模型用于來(lái)自用戶音頻的副語(yǔ)言信息，第一個(gè)是音頻的韻律音調(diào)和屈折，另一個(gè)是來(lái)自語(yǔ)音的語(yǔ)義。他們使用視覺變換器對(duì)幀進(jìn)行編碼，并從視頻中識(shí)別面部表情。下游服務(wù)將副語(yǔ)言信息合并到基于文本的提示中。這種多模式方法旨在增強(qiáng)用戶情緒和意圖理解，從而將人類人工智能交互提升到一個(gè)新的水平。

在這項(xiàng)研究中，研究人員只簡(jiǎn)要探討了副語(yǔ)言學(xué)在傳達(dá)有關(guān)用戶意圖的關(guān)鍵信息方面所起的作用。未來(lái)，他們計(jì)劃進(jìn)行建模，使模型變得更好、更高效。他們還希望添加更多細(xì)節(jié)，如源自標(biāo)準(zhǔn)視頻、認(rèn)知和環(huán)境感知的心率變異性。這一切都是在下一波與人工智能的互動(dòng)中增加隱含意義和意圖的更大努力的一部分。