[[286340]]

 【 圖片來源：venturebeat 所有者：venturebeat 】

本文轉自雷鋒網(wǎng)，如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。

即使是最好的文本解析推薦算法也會受到一定大小的數(shù)據(jù)集的阻礙。為了提供比大多數(shù)現(xiàn)有方法更快，更好的分類性能，MIT-IBM Watson AI 實驗室和 MIT 的 Geometric Data Processing Group 的團隊設計了一種結合了嵌入式和最優(yōu)傳輸?shù)攘餍腥斯ぶ悄芄ぞ叩募夹g。

他們認為，這個方法只需要考慮一個人的歷史偏好，或一群人的偏好，就可以覆蓋數(shù)百萬的可能性。

這項研究的主要作者、麻省理工學院的助理教授 Justin Solomon 在一份聲明中表示，互聯(lián)網(wǎng)上有大量文字，任何有助于貫穿這些材料的東西都是非常有用的。

為此， Justin Solomon 和他的同事使用算法將文本集合歸納成基于集合中常用單詞的主題。緊接著，它將每個文本分成 5 到 15 個最重要的主題，并通過排名顯示每個主題對整個文本的重要性。

另外，嵌入（雷鋒網(wǎng)按，在這種情況下為單詞的數(shù)據(jù)表示形式）有助于使單詞之間的相似性顯而易見，而最佳傳輸則有助于計算在多個目的地之間移動對象（或數(shù)據(jù)點）的最有效方式。同時，嵌入能夠讓“利用兩次最優(yōu)傳輸”成為可能：首先是比較集合中的主題，然后度量公共主題重疊的程度。

研究人員稱，這種方法在掃描大量書籍和文件時尤其有效。在 Gutenberg Project 數(shù)據(jù)集中的 1720 個標題的評估工作中，該算法成功地在一秒鐘內(nèi)比較完所有標題，比第二名快了近 800 倍。

此外，與其他方法相比，該算法在分類文檔方面做得更好。例如，按作者對古騰堡數(shù)據(jù)集中的書籍進行分組；或是按部門對亞馬遜上的產(chǎn)品評論進行分組。同時，該算法還提供了主題列表，能夠向用戶解釋推薦給定文檔的原因，便于用戶理解。

不過，研究人員并未滿足于現(xiàn)有的技術水平。他們還將繼續(xù)開發(fā)一種端到端的培訓技術，這種技術可以聯(lián)合優(yōu)化嵌入、主題模型和最優(yōu)傳輸，而不是像當前實現(xiàn)那樣單獨優(yōu)化。在應用方面，他們還希望將他們的方法應用于更大的數(shù)據(jù)集，并研究圖像或三維數(shù)據(jù)建模的應用。

在論文總結工作報告中， Justin Solomon 表示，（我們的算法）捕捉差異的方式似乎與讓一個人比較兩個文檔的方式相同：先將每個文檔分解成容易理解的概念，然后比較概念······

對于更近一步的想法，Justin Solomon 說道：

讓單詞嵌入提供全局語義語言信息，主題模型提供特定于語料庫的主題和主題分布。從經(jīng)驗上看，這些因素結合在一起，可以在各種基于度量的任務中提供優(yōu)異的性能。