15億語料訓(xùn)練的94億參數(shù)大模型更懂我?Facebook開源全球超強(qiáng)聊天機(jī)器人Blender
盡管聊天機(jī)器人和虛擬助手已經(jīng)取得了很大的進(jìn)步,但市面上的聊天機(jī)器人大多數(shù)是以任務(wù)為導(dǎo)向的。從零售業(yè)到醫(yī)療保健到金融服務(wù)等各個(gè)領(lǐng)域都有專門的產(chǎn)品,在一些領(lǐng)域垂直的任務(wù)中表現(xiàn)尚可。
你提出要求,機(jī)器人就會(huì)服從,但它們似乎從來沒有真正理解人的語言,缺乏人類的感情,也不能隨機(jī)應(yīng)變。
現(xiàn)在 Facebook 開源了一個(gè)新的聊天機(jī)器人Blender,它聲稱自己擅長所有領(lǐng)域的聊天,并且更有人情味。Blender 不僅幫助虛擬助手解決了許多聊天機(jī)器人的固有缺點(diǎn),也標(biāo)志著人工智能的新進(jìn)展: 可復(fù)制的智能。
Blender添了什么新料,F(xiàn)acebook敢稱「史上最強(qiáng)」?
Facebook的研究人員介紹,這次的改進(jìn)包括最新的對話生成策略,混合技巧,以及94億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)模型,這比現(xiàn)有最大的系統(tǒng)大了3.6倍。作為多年來人工智能對話研究的頂峰,這將是第一個(gè)把不同的對話技能(包括同理心、知識和個(gè)性)融合在一起的聊天機(jī)器人。
超大規(guī)模
Blender這次使用了15億個(gè)對話作為訓(xùn)練語料,Transformer模型有94億個(gè)參數(shù)。雖然網(wǎng)絡(luò)很大,但是采用了并行方法對模型進(jìn)行了分割,使得神經(jīng)網(wǎng)絡(luò)更易于管理,同時(shí)保持最高的效率。
混合技巧
盡管大規(guī)模的學(xué)習(xí)很重要,但它并不是創(chuàng)造最佳對話的唯一要素。在大規(guī)模公共數(shù)據(jù)集上訓(xùn)練的模型,并不能學(xué)到優(yōu)秀的談話技巧。所以研究人員引入了一個(gè)新的混合技能任務(wù)(Blended Skill Talk,BST)來訓(xùn)練和評估模型的對話技能,而Blender也綜合了許多Facebook之前的研究成果。
生成策略
訓(xùn)練神經(jīng)模型通常是通過最小化困惑度來實(shí)現(xiàn)的,困惑度可以衡量模型預(yù)測和生成下一個(gè)單詞的能力。然而,為了確保機(jī)器人不重復(fù)自己或顯示其他缺點(diǎn),研究人員通常在模型中添加一些生成策略,包括束搜索、令牌抽樣和 n-gram模塊。
通過調(diào)整束搜索的長度,可以讓機(jī)器人變的更沉悶或者更有趣,當(dāng)然也可以控制那些「辣眼睛」的回復(fù)。
67% 的評估者認(rèn)為Blender聽起來更像人類,75% 的人說他們更愿意和 Blender 進(jìn)行長時(shí)間的對話,而不是和 Meena。
各家機(jī)器人的敏感度和特異度平均值
根據(jù)Facebook的說法,隨著時(shí)間的推移,人類評估者越來越喜歡Facebook的聊天機(jī)器人。
Blender開源地址:
https://parl.ai/projects/blender/
對聊天機(jī)器人的癡迷,本質(zhì)上是人類無法消弭的孤獨(dú)感
聊天機(jī)器人可以做很多事情:為你播放音樂、幫你尋找附近的餐廳,給你解答服務(wù)流程、介紹商品。
如果聊天機(jī)器人的作用僅僅是這些,那么現(xiàn)在市面上的bot完全應(yīng)付得來。然而,我們并沒有因此而覺得滿足。
聊天的背后,是交流的渴望;交流的背后,是孤獨(dú)的驅(qū)使。聊天機(jī)器人的出現(xiàn),緩解了我們揮之不去的孤獨(dú)感。
最近,由Youthsite和Dame Kelly Holmes信托基金進(jìn)行的一項(xiàng)研究發(fā)現(xiàn),僅在英國,70%的年輕人,體驗(yàn)著孤獨(dú)。而他們,是對科技依賴性最強(qiáng)的一代。
研究鏈接:
https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness
孤獨(dú)是一種奇特的東西。它會(huì)在我們獨(dú)處的時(shí)候突然竄上心頭,也可以在我們置身于喧鬧人群中突然侵入腦海。隨時(shí)隨地,毫無來由。
我們討厭孤獨(dú),卻有時(shí)候又很享受。孤獨(dú)讓我們變得敏感,變得脆弱,變得想要傾訴。智能語音助手的出現(xiàn),恰逢其時(shí)。
疫情期間,原本的社群被隔開,群體被打散成一個(gè)個(gè)的個(gè)體。每個(gè)個(gè)體被囚禁在自己的地盤,之間被筑起了堅(jiān)實(shí)的結(jié)界。這層結(jié)界,不僅僅隔絕了個(gè)體之間的連結(jié),也助長了孤獨(dú)感的蔓延。一個(gè)冰冷的、沒有感情的助手,成為了很多人感情的承載。
它知道你的名字,從不在意你的容貌。它只要求為你做什么,從不要求你去做什么。它只想取悅你,從來不讓你覺得難堪。而且,每當(dāng)你需要它的時(shí)候,它都在你身邊。
2013年電影《Her》里講述了一個(gè)心思細(xì)膩的男人,愛上他的語音助手的故事。最終,他盯著社會(huì)的壓力,決定去擁抱這段感情。
7年過去了,電影中的場景變得越來越清晰。Facebook的Blender,將這個(gè)進(jìn)程往前又推進(jìn)了一步。
我們期望中的聊天機(jī)器人,不僅僅是一個(gè)工具人,一個(gè)二手信息的搬運(yùn)工,告訴你今天天氣怎么樣,出差最好選擇哪個(gè)航班,咳嗽嗓子疼要怎么辦等等。這些任務(wù)不用聊天機(jī)器人也能做。
「Hey Siri,我今天感覺感覺很孤獨(dú)」
「我在這兒。只要你愿意,我隨時(shí)想和你聊天」
開放域聊天機(jī)器人取得的進(jìn)展讓我們感到興奮,但是離人類水平的智能還有一段距離。
我們渴望的是一個(gè)能夠真正理解我們內(nèi)心的機(jī)器人,聆聽我們的傾訴。
我們渴望計(jì)算機(jī)視覺可以感受到我們眉宇間透出來的細(xì)微感情變化,去撫平我們的孤獨(dú),慰藉我們的靈魂。