人工智能與自然語言處理技術(shù)
隨著人工智能技術(shù)的發(fā)展,我們生活中的許多應(yīng)用都帶上了“AI”的色彩,比如可以用計算機幫翻譯外文文檔。但有時候人工智也能會出一些小故障,變得不那么智能,尤其在語言處理方面。那么我們怎樣才能讓人工智能變成真正的“智能”呢?自然語言處理技術(shù)就是一個重要的方式。
自然語言處理技術(shù)(即natural language processing,簡稱NPL)是人工智能的一個重要分支,其目的是利用計算機對自然語言進(jìn)行智能化處理?;A(chǔ)的自然語言處理技術(shù)主要圍繞語言的不同層級展開,包括音位(語言的發(fā)音模式)、形態(tài)(字、字母如何構(gòu)成單詞、單詞的形態(tài)變化)、詞匯(單詞之間的關(guān)系)、句法(單詞如何形成句子)、語義(語言表述對應(yīng)的意思)、語用(不同語境中的語義解釋)、篇章(句子如何組合成段落)7個層級。這些基本的自然語言處理技術(shù)經(jīng)常被運用到下游的多種自然語言處理任務(wù)中,如機器翻譯、對話、問答、文檔摘要等。
科學(xué)家研究自然語言處理技術(shù)(NLP)的目的是讓機器能夠理解人類語言,用自然語言的方式與人類交流,最終擁有“智能”。AI時代,我們希望計算機擁有視覺、聽覺、語言和行動的能力,其中語言是人類區(qū)別于動物的最重要特征之一,語言是人類思維的載體,也是知識凝練和傳承的載體。在人工智能領(lǐng)域,研究自然語言處理技術(shù)的目的就是讓機器理解并生成人類的語言,從而和人類平等流暢地溝通交流。
但現(xiàn)在的人工智能常常和我們的人工評價有很大的出入,這也是基于AI算法的自動評測面臨的最大挑戰(zhàn):如何與人工評價保持一致?應(yīng)對這個挑戰(zhàn)需要解決很多問題。以智能閱卷為例:如何制定電腦適用的評測標(biāo)準(zhǔn)?人工智能如何應(yīng)對語言的千變?nèi)f化?如何設(shè)計閱卷綜合性的評測指標(biāo)?有科學(xué)家認(rèn)為,大數(shù)據(jù)與富知識雙輪驅(qū)動或許能成為解決問題的關(guān)鍵,即在大數(shù)據(jù)驅(qū)動的基礎(chǔ)上加入富知識驅(qū)動,可以突破現(xiàn)在智能語言處理技術(shù)上的瓶頸。
總而言之,自然語言技術(shù)的發(fā)展說明人工智能技術(shù)的核心還是在“人”。“人工智能和機器學(xué)習(xí)帶給決策過程的支撐和信心將使創(chuàng)新加速,但這并不意味著人類的缺席。人們?nèi)匀恍枰x分析的起點、標(biāo)注主題并從收集的信息中提取所需數(shù)據(jù)。”