[[200112]]

編者按：聊天機(jī)器人已經(jīng)不新鮮了，F(xiàn)acebook、微軟等很多大平臺都有了自己聊天機(jī)器人，但是聊天機(jī)器人的發(fā)展好像遇到了瓶頸，本文作者 Riza C. Berkan 博士從深層的技術(shù)角度探討如何解決聊天機(jī)器人領(lǐng)域面臨的問題。

對話式 AI (聊天機(jī)器人)涉及到三個維度的問題：(1)語言技能(2)知識獲取(3)對話行為。 這三者雖然強(qiáng)相關(guān)，但人類大腦通過單獨的實驗，在不同的時間段內(nèi)，可能使用不同的神經(jīng)區(qū)域來獲得這些優(yōu)點。 因此，開發(fā)整個過程的計算機(jī)模型也需要一些單獨的處理和分布式方法。

深度學(xué)習(xí)提供了一個看上去可行的模型。 但是，它會在一個單一的模式下將所有數(shù)據(jù)都集成到大量的數(shù)據(jù)需求中。 這也與我們?nèi)绾瓮ㄟ^閱讀學(xué)習(xí)相矛盾。和深度學(xué)習(xí)不同，我們每次閱讀新文章時，顯然不會重新學(xué)習(xí)語言技能。語言和知識能否分開處理，使后者的成長不需要與前者混合? 如果可行，我們?nèi)绾文M這種半獨立性?

我將介紹一種新的方法，稱為深度克隆方法(DCM)。 雖然這些技術(shù)細(xì)節(jié)是專有的(正在申請專利)，但是這種方法可能還有許多其他變體值得試驗。

深度克隆

DCM是專門為對話式AI 設(shè)計的新的機(jī)器學(xué)習(xí)方法。 術(shù)語“深度”來自其多層架構(gòu)。 術(shù)語“克隆”是指將知識從其原始域傳送到會話系統(tǒng)(將文檔轉(zhuǎn)換為聊天記錄)。 DCM將(1)語言技能與(2)知識獲取分離，但不涉及(3)單獨對待的對話行為。 DCM的靈感來源于人腦的閱讀過程，通過閱讀(無監(jiān)督)直接完成學(xué)習(xí)，而不是涉及語言實驗(受監(jiān)督)。 DCM通過句子處理給定的內(nèi)容句子，將每個句子分解為概念，并通過大量網(wǎng)絡(luò)學(xué)習(xí)這些概念如何相互關(guān)聯(lián)。 已經(jīng)使用這種方法開發(fā)了一些示例聊天機(jī)器人，只有通過編輯才能輸入DCM要讀取的內(nèi)容。 以下是深度克隆與深度學(xué)習(xí)的對比：

神經(jīng)元結(jié)構(gòu)

DCM的核心創(chuàng)新是人造語言神經(jīng)元的概念。 這個想法是從生物學(xué)的靈感來的，大腦的某些區(qū)域已知含有對語言輸入敏感的神經(jīng)元，正如其他區(qū)域?qū)D像或其他感官敏感一樣。 此外，語言敏感的神經(jīng)元也可能具有語言角色兼容的不同結(jié)構(gòu)。

另一方面，深度學(xué)習(xí)無論對哪種應(yīng)用都使用同的神經(jīng)元，典型的神經(jīng)元如下圖所示。在不同網(wǎng)絡(luò)中有神經(jīng)元模型的變化，然而沒有涉及歸因于自然語言處理的任何特定角色。 這些神經(jīng)元需要一個數(shù)字輸入，用于從輸入層傳播。 因此自然語言必須轉(zhuǎn)換為數(shù)值，以使此操作正常工作，而且根據(jù)這種方法，這個轉(zhuǎn)換可能是無意義的。

在DCM中，通過分解過程確定了六種不同的神經(jīng)元類型。 黑色神經(jīng)元代表內(nèi)容(句子)，紅色神經(jīng)元代表事件概念，藍(lán)色神經(jīng)元代表對象(對話主題)。綠色神經(jīng)元代表每個句子的類型(維度)，最終幫助黑色神經(jīng)元回答問題。

網(wǎng)絡(luò)結(jié)構(gòu)

通過閱讀每個句子并使連接遵循一組特定規(guī)則，DCM網(wǎng)絡(luò)得到成長。 第一條規(guī)則是重復(fù)相似神經(jīng)元的連接。 這個規(guī)則的唯一例外是遵循內(nèi)容跟蹤的黑色神經(jīng)元。 第二條規(guī)則是事件與對象的連接(紅色到藍(lán)色)。 網(wǎng)絡(luò)的增長與系統(tǒng)讀取的內(nèi)容成正比。

閱讀整個內(nèi)容后，最終網(wǎng)絡(luò)成為多個層級，多個網(wǎng)絡(luò)(稱為高速公路)。 基本上有四條主要公路(黑色、紅色、藍(lán)色和橙色)。 進(jìn)一步處理最終網(wǎng)絡(luò)以將重復(fù)神經(jīng)元壓縮成單獨的神經(jīng)元。 這個最終過程產(chǎn)生一個基于事件的本體，其中每個事件概念都連接到大量的儀器上。 召回過程需要橫穿4條高速公路，才能找到給定問題(或句子)的最佳匹配概念。通過推理找到最終的黑色神經(jīng)元作為問題的答案。

總結(jié)

以下是深度學(xué)習(xí)與深度克隆的對比：

• 深度學(xué)習(xí)具有不分解作為需要本體論處理的單獨步驟的優(yōu)點。
• 深度克隆取決于分解過程的質(zhì)量。
• 深度克隆具有數(shù)據(jù)量小和單步收斂的優(yōu)點。
• 深度學(xué)習(xí)是一個黑盒子，而深度克隆是透明的，可以立即修改。

深度克隆的數(shù)據(jù)要求只是內(nèi)容知識，而深度學(xué)習(xí)可能需要大量的數(shù)據(jù)用于語言檢測和較長的訓(xùn)練周期。