【51CTO.com原創(chuàng)稿件】自然語(yǔ)言處理一直是人工智能發(fā)展道路上需要攻克的重要難關(guān)，說簡(jiǎn)單一些其實(shí)就是教機(jī)器理解人類的語(yǔ)言并可以表達(dá)出來。

關(guān)于小冰與小娜

人工智能一直被人們津津樂道，今年尤其特別多，這是筆者目前最直觀的感受。說到這個(gè)，就不得不提及微軟小冰和微軟小娜兩款產(chǎn)品，這也是人們普遍關(guān)心的。如今的小娜已經(jīng)擁有超過1.4億活躍用戶，在數(shù)以十億級(jí)計(jì)的設(shè)備上與人們進(jìn)行交流，所覆蓋的語(yǔ)言已經(jīng)有十幾種語(yǔ)言，包括中文。

總體來看，小娜主要是通過手機(jī)和智能設(shè)備介入，讓人與電腦進(jìn)行交流，采用了“用戶發(fā)布命令、小娜加以執(zhí)行”的模式。例如，過去經(jīng)常路過某個(gè)地方買牛奶，在下次路過的時(shí)候，她就會(huì)提醒你，問你要不要買。筆者理解，其實(shí)微軟小娜的出現(xiàn)讓被動(dòng)地“聽話”進(jìn)化成為主動(dòng)的“提醒”，而且從原來的手機(jī)，到微軟現(xiàn)在所有的產(chǎn)品，包括Xbox和Windows，都得到了應(yīng)用，這一點(diǎn)還是挺神奇的進(jìn)步。

與微軟小冰的互動(dòng)對(duì)話

相比之下，小冰就會(huì)“隨意”很多。起初人們并不理解小娜出現(xiàn)了，小冰存在的意義。其實(shí)就筆者看來，閑聊這件事兒也并不是很容易就做到的，只有試圖將各種語(yǔ)言習(xí)慣以及知識(shí)模塊進(jìn)行融匯貫通，才可以實(shí)現(xiàn)一種自由聊天的模式，他并沒想幫忙解決什么問題，純粹就是希望盡可能的“像人一樣”和你交談罷了，不得不說這也是一種難度不小的創(chuàng)新。現(xiàn)在小冰已經(jīng)覆蓋了三種語(yǔ)言，分別是中文、日文、英文，同時(shí)也累積了上億用戶，很多人都會(huì)樂此不疲地和他聊天。

無論是小冰的閑聊，還是小娜的任務(wù)執(zhí)行，微軟背后都有一個(gè)叫做LUIS(Language Understanding Intelligent Service)的平臺(tái)，提供了用戶的意圖理解能力、實(shí)體識(shí)別能力、對(duì)話的管理能力等。2016年，微軟***執(zhí)行官薩提亞在微軟開發(fā)者大會(huì)上大會(huì)上提出了CaaP(“對(duì)話即平臺(tái)”)的概念，認(rèn)為繼圖形界面的下一代就是對(duì)話，它會(huì)對(duì)人工智能、計(jì)算機(jī)設(shè)備帶來一場(chǎng)新革命，小冰和小娜就是微軟在做CaaP得時(shí)候主要的體現(xiàn)者。

探究小娜與小冰的技術(shù)內(nèi)涵，微軟亞洲研究院副院長(zhǎng)周明表示，***層就是通用聊天，需要掌握溝通技巧、通用聊天數(shù)據(jù)、主題聊天數(shù)據(jù)，還要知道用戶畫像，投其所好;第二層是信息服務(wù)和問答，需要搜索的能力，問答的能力，還需要對(duì)常見問題表進(jìn)行收集、整理和搜索，從知識(shí)圖表、文檔和圖表中找出相應(yīng)信息，并且回答問題，我們統(tǒng)稱為Info Bot;第三層涉及到面向特定任務(wù)的對(duì)話能力，例如定咖啡、定花、買火車票，這個(gè)任務(wù)是固定的，狀態(tài)也是固定的，狀態(tài)轉(zhuǎn)移也是清晰的，那么就可以用Bot一個(gè)一個(gè)實(shí)現(xiàn)。通過調(diào)度系統(tǒng)，用戶的意圖就是調(diào)用相應(yīng)的Bot 執(zhí)行相應(yīng)的任務(wù)，用到的技術(shù)就是對(duì)用戶意圖的理解，對(duì)話的管理，領(lǐng)域知識(shí)，對(duì)話圖譜等。

這些年，微軟在探索

微軟對(duì)于這項(xiàng)技術(shù)的探究可以追溯到1998成立微軟亞洲研究院之始，那么自然語(yǔ)言處理對(duì)于微軟有多重要呢?

微軟通過技術(shù)、產(chǎn)品讓每個(gè)個(gè)體發(fā)揮巨大的潛能，具體體現(xiàn)在以人工智能為核心，重塑生產(chǎn)力和業(yè)務(wù)流程，構(gòu)建智能的云平臺(tái)，創(chuàng)造個(gè)性化的服務(wù)等諸多方面。宏偉的目標(biāo)終究需要具體的產(chǎn)品來實(shí)現(xiàn)，與此相對(duì)應(yīng)的機(jī)器翻譯、知識(shí)圖譜、Bot Framework、智能客服等應(yīng)運(yùn)而生。

同時(shí)，從創(chuàng)造更加個(gè)性化的計(jì)算和重塑生產(chǎn)力的角度出發(fā)，類似于必應(yīng)搜索、微軟小娜(Cortana)、微軟小冰等產(chǎn)品的出現(xiàn)，也確實(shí)從商業(yè)與服務(wù)的背后體現(xiàn)了自然語(yǔ)言處理技術(shù)的重要性。如今18年過去了，微軟亞洲研究院不但在人才培養(yǎng)以及校企合作等方面有了顯著的提高，更重要的是在科學(xué)研究、產(chǎn)品研發(fā)上取得了不小的進(jìn)步。

[[194028]] 

微軟亞洲研究院副院長(zhǎng)周明博士

自然語(yǔ)言處理技術(shù)作為微軟的“重頭戲”，業(yè)界不免好奇叢生。近日，筆者應(yīng)邀前往微軟大廈參加微軟自然語(yǔ)言前沿技術(shù)分享會(huì)，與微軟亞洲研究院副院長(zhǎng)周明博士以及其他研發(fā)人員一同探究其中的奧秘。

微軟一成立就做了很多關(guān)于機(jī)器翻譯方面的探究，后期開始著手基于規(guī)則、基于實(shí)例、基于統(tǒng)計(jì)的翻譯等，到了2007年基于統(tǒng)計(jì)的翻譯系統(tǒng)上線，提供免費(fèi)的對(duì)外服務(wù)。據(jù)了解，2012年微軟亞洲研究院跟總部研究院合作完成了實(shí)時(shí)語(yǔ)音翻譯系統(tǒng)，同年在天津舉行的21世紀(jì)的計(jì)算大會(huì)上，當(dāng)時(shí)微軟研究院的領(lǐng)導(dǎo)人Rick Rashid博士面對(duì)3000名觀眾現(xiàn)場(chǎng)成功演示了此項(xiàng)前沿技術(shù)，堪稱機(jī)器翻譯尤其是語(yǔ)音翻譯領(lǐng)域的重要里程碑。

三年后，微軟對(duì)外公開發(fā)布了Skype Translator，作為集成微軟的語(yǔ)音技術(shù)和翻譯技術(shù)的產(chǎn)品，目前已經(jīng)可以為十種語(yǔ)言提供語(yǔ)音到語(yǔ)音的翻譯，如今的微軟在自然語(yǔ)言處理技術(shù)方面又有了新的進(jìn)步。周明表示，首先在語(yǔ)音翻譯上全面采用了神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯，并拓展了新的翻譯功能，稱之為Microsoft Translator Live Feature(現(xiàn)場(chǎng)翻譯功能)，可以做到在演講和開會(huì)過程中實(shí)時(shí)自動(dòng)在手機(jī)端或桌面端將演講者的話翻譯成多種語(yǔ)言。

我們了解到，為達(dá)成這種精準(zhǔn)的現(xiàn)場(chǎng)翻譯功能的實(shí)現(xiàn)，最關(guān)鍵的技術(shù)就是對(duì)源語(yǔ)言的編碼，體現(xiàn)不同詞匯翻譯，不同作用的注意力模型。周明說：“我們又持續(xù)做了一些工作，引入了語(yǔ)言知識(shí)。因?yàn)榫幋a僅僅是把源語(yǔ)言和目標(biāo)語(yǔ)言看成字符串，沒有體會(huì)內(nèi)在詞匯之間的修飾關(guān)系。我們把句法知識(shí)引入神經(jīng)網(wǎng)絡(luò)編碼、解碼中，就是傳統(tǒng)的長(zhǎng)短時(shí)記憶LSTM，這是模型，從而得到了更佳的翻譯。”微軟研究院的相關(guān)研發(fā)人員介紹，這款新系統(tǒng)目前可以支持多人、多語(yǔ)言、跨平臺(tái)的實(shí)時(shí)翻譯，可以做到10種語(yǔ)音以及60多種文本的毫無壓力的轉(zhuǎn)換。

筆者試想一下，在通常情況下一個(gè)國(guó)際會(huì)議的現(xiàn)場(chǎng)，大多數(shù)觀眾確實(shí)會(huì)因?yàn)檠葜v者與自身的語(yǔ)言不通就會(huì)不愿意參加，喪失機(jī)會(huì);或者演講者在演講時(shí)為了照顧觀眾而使用非母語(yǔ)做演講，會(huì)使演講效果大打折扣。為了解決這樣的問題，微軟演講翻譯還確實(shí)是一個(gè)十分接地氣的產(chǎn)品，對(duì)于英語(yǔ)不好的筆者來講是個(gè)巨大的福音。

一路介紹而來，微軟的自然語(yǔ)言處理技術(shù)當(dāng)真這么牛?人們肯定想知道具體的數(shù)字吧?現(xiàn)在人工閱讀的正確率做到了多少呢?答案是82%左右。如今的微軟亞洲研究院的結(jié)果排名世界***，在76%左右，與人類水平還差5分左右，這個(gè)確實(shí)很高了。據(jù)悉，為了推動(dòng)機(jī)器閱讀的發(fā)展，微軟也推出了自己的一個(gè)新的測(cè)試題，叫做MARCO，其中貢獻(xiàn)了必應(yīng)搜索很多的精華部分，因?yàn)檫@個(gè)數(shù)據(jù)集剛推出不久，提交的隊(duì)伍還不是那么多，微軟在測(cè)試題方面還是處于領(lǐng)先狀態(tài)的。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】