BERT通過使用其雙向方法幫助機(jī)器理解人類語(yǔ)言的場(chǎng)景，從而增強(qiáng)NLP的性能。本文探討B(tài)ERT如何實(shí)現(xiàn)這一目標(biāo)。

大型語(yǔ)言模型(LLM)對(duì)人類語(yǔ)言的理解和處理起到了重要的催化作用。自然學(xué)習(xí)處理(NLP)彌合了人類與機(jī)器之間的溝通鴻溝，帶來(lái)了無(wú)縫的客戶體驗(yàn)。

NLP對(duì)于解釋具有直接意圖的簡(jiǎn)單語(yǔ)言非常有用。但是，當(dāng)涉及到解釋由同音異義詞、同義詞、反義詞、諷刺等引起的文本歧義時(shí)，它還有很長(zhǎng)的路要走。

“來(lái)自Transformers的雙向編碼器表示”(BERT)通過幫助NLP理解給定句子中每個(gè)單詞的場(chǎng)景和含義，在增強(qiáng)NLP性能方面發(fā)揮了關(guān)鍵作用。

以下理解BERT的工作原理及其在NLP中的重要作用。

一、理解BERT

BERT是谷歌公司為NLP開發(fā)的開源機(jī)器學(xué)習(xí)框架。它通過使用雙向方法為給定文本提供適當(dāng)?shù)膱?chǎng)景來(lái)增強(qiáng)NLP。它從文本的兩端(即前面和后面)的單詞進(jìn)行分析。

BERT的雙向方法幫助它產(chǎn)生精確的單詞表示。通過生成單詞、短語(yǔ)和句子的深度場(chǎng)景表示，BERT提高了NLP在各種任務(wù)中的表現(xiàn)。

二、BERT的工作原理

BERT的卓越性能可歸功于其基于Transformers的架構(gòu)。Transformers是一種神經(jīng)網(wǎng)絡(luò)模型，在處理順序數(shù)據(jù)(例如語(yǔ)言處理)的任務(wù)中表現(xiàn)得非常好。

BERT采用多層雙向Transformer編碼器對(duì)單詞進(jìn)行串聯(lián)處理。Transformer可以捕捉句子中的復(fù)雜關(guān)系，以理解語(yǔ)言的細(xì)微差別。它還能捕捉到意義上的細(xì)微差異，這些差異會(huì)顯著改變句子的場(chǎng)景。這與NLP相反，NLP利用單向方法預(yù)測(cè)序列中的下一個(gè)單詞，可能阻礙場(chǎng)景學(xué)習(xí)。

BERT的主要目標(biāo)是生成語(yǔ)言模型，因此它只使用編碼器機(jī)制。令牌按順序送入Transformers編碼器。它們首先被嵌入到向量中，然后在神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理。生成一系列向量，每個(gè)向量對(duì)應(yīng)一個(gè)輸入令牌，提供場(chǎng)景化表示。BERT部署了兩種訓(xùn)練策略來(lái)解決這個(gè)問題：掩模語(yǔ)言模型(MLM)和下句預(yù)測(cè)(NSP)。

掩碼語(yǔ)言模型(MLM)

這種方法包括屏蔽每個(gè)輸入序列中單詞的某些部分。該模型接受訓(xùn)練，根據(jù)周圍單詞提供的場(chǎng)景來(lái)預(yù)測(cè)被屏蔽單詞的原始值。

為了更好地理解這一點(diǎn)，看下這個(gè)例子：

“我在喝蘇打水?！?I am drinking soda)

在上面的句子中，如果把“喝”這個(gè)詞去掉，還可以使用哪些其他恰當(dāng)?shù)膯卧~?其他可以用的單詞還有“啜飲、分享、吮吸等”，但不能用“吃”、“切”等隨意的單詞。

因此，大型語(yǔ)言模型必須了解語(yǔ)言結(jié)構(gòu)以選擇正確的單詞。為模型提供模型輸入，其中包含一個(gè)空白的單詞或以及應(yīng)該存在的單詞。這個(gè)過程通過獲取文本并遍歷它來(lái)創(chuàng)建數(shù)據(jù)。

下句預(yù)測(cè)(NSP)

這個(gè)過程訓(xùn)練一個(gè)模型來(lái)確定第二個(gè)句子是否符合第一個(gè)句子的含義。BERT預(yù)測(cè)第二個(gè)句子是否與第一個(gè)句子相連。這是通過使用分類層將[CLS]令牌的輸出轉(zhuǎn)換為2 x 1形狀的向量來(lái)實(shí)現(xiàn)的。

第二句出現(xiàn)在第一句之后的概率是通過SoftMax計(jì)算出來(lái)的。本質(zhì)上，BERT模型包括將上述兩種方法一起訓(xùn)練。這產(chǎn)生了一個(gè)健壯的語(yǔ)言模型，具有增強(qiáng)的功能，可以理解句子中的場(chǎng)景及其之間的關(guān)系。

三、BERT在NLP中的作用

BERT在NLP中起著不可缺少的作用。它在各種NLP任務(wù)中的作用概述如下：

文本分類

文本分類用于情感分析，將文本分為積極、消極和中性。這里可以通過在Transformers輸出上添加一個(gè)分類層來(lái)使用BERT，即[CLS]令牌。這個(gè)令牌表示從整個(gè)輸入序列中收集的信息。然后，它可以用作分類層的輸入，以預(yù)測(cè)特定的任務(wù)。

問題回答

它可以通過獲取關(guān)于標(biāo)記答案開始和結(jié)束的兩個(gè)額外向量的知識(shí)進(jìn)行訓(xùn)練來(lái)回答問題。BERT通過問題和附帶的段落進(jìn)行訓(xùn)練，使其能夠預(yù)測(cè)給定段落中答案的開始和結(jié)束位置。

命名實(shí)體識(shí)別(NER)

使用文本序列來(lái)識(shí)別和分類實(shí)體，例如人員、公司、日期等。通過從Transformer中獲取每個(gè)令牌的輸出向量來(lái)訓(xùn)練NER模型，然后將其輸入分類層。

語(yǔ)言翻譯

用來(lái)翻譯語(yǔ)言，關(guān)鍵語(yǔ)言輸入和相關(guān)的翻譯輸出可用于訓(xùn)練模型。

谷歌智能搜索

BERT利用一個(gè)Transformer同時(shí)研究多個(gè)令牌和句子，使谷歌引擎能夠識(shí)別搜索文本并產(chǎn)生相關(guān)結(jié)果的目標(biāo)。

文本摘要

BERT為抽取和抽象模型推廣了一個(gè)流行的框架。前者通過識(shí)別文檔中最重要的句子來(lái)創(chuàng)建摘要。相比之下，后者使用新句子來(lái)創(chuàng)建摘要，這包括重新措辭或使用新詞，而不僅僅是提取關(guān)鍵句子。

四、BERT NLP模型的優(yōu)缺點(diǎn)

作為一個(gè)大型語(yǔ)言模型，BERT有其優(yōu)點(diǎn)和缺點(diǎn)。為了清楚起見，需要參考以下幾點(diǎn)：

優(yōu)點(diǎn)

• BERT的多種語(yǔ)言訓(xùn)練使其非常適合用于英語(yǔ)以外的項(xiàng)目。
• 對(duì)于特定于任務(wù)的模型來(lái)說(shuō)，這是一個(gè)很好的選擇。
• 由于BERT是用大量的數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練的，因此它很容易用于小型、定義明確的任務(wù)。
• BERT可在微調(diào)之后立即使用。
• 頻繁更新，準(zhǔn)確性高。

缺點(diǎn)

• BERT規(guī)模巨大，因?yàn)樗邮芰舜罅繑?shù)據(jù)的訓(xùn)練，這影響了它如何預(yù)測(cè)和從數(shù)據(jù)中學(xué)習(xí)。
• 考慮到它的大小，其成本高昂，需要更多的計(jì)算。
• BERT對(duì)下游任務(wù)進(jìn)行了微調(diào)，這些任務(wù)往往比較繁瑣。
• 訓(xùn)練BERT很耗時(shí)，因?yàn)樗泻芏鄼?quán)重，需要更新。
• BERT在訓(xùn)練數(shù)據(jù)中容易出現(xiàn)偏差，人們需要意識(shí)到并努力克服這些偏差，以創(chuàng)建具有包容性和道德性的人工智能系統(tǒng)。

五、BERT NLP模型的未來(lái)趨勢(shì)

目前開發(fā)人員正在進(jìn)行研究，以解決NLP中的挑戰(zhàn)，例如穩(wěn)健性、可解釋性和倫理考慮。零樣本學(xué)習(xí)、少樣本學(xué)習(xí)和常識(shí)推理的進(jìn)展將用于開發(fā)智能學(xué)習(xí)模型。

這些都有望推動(dòng)NLP的創(chuàng)新，并為開發(fā)更智能的語(yǔ)言模型鋪平道路。這些版本將有助于解鎖洞察力，并加強(qiáng)專業(yè)領(lǐng)域的決策。

將BERT與人工智能和機(jī)器學(xué)習(xí)技術(shù)(如計(jì)算機(jī)視覺和強(qiáng)化學(xué)習(xí))相結(jié)合，必將帶來(lái)一個(gè)創(chuàng)新和可能性的新時(shí)代。

結(jié)論

隨著BERT的不斷發(fā)展，先進(jìn)的NLP模型和技術(shù)正在出現(xiàn)。BERT將通過增強(qiáng)人工智能理解和處理語(yǔ)言的能力，讓人工智能的未來(lái)發(fā)展具有更廣闊的前景。BERT的潛力遠(yuǎn)遠(yuǎn)超越了普通的NLP任務(wù)。

BERT模型正在為醫(yī)療保健、金融和法律開發(fā)專門的或特定于領(lǐng)域的模型版本，實(shí)現(xiàn)了對(duì)語(yǔ)言的場(chǎng)景理解。它是NLP的一個(gè)重要里程碑，在文本分類、命名實(shí)體識(shí)別和情感分析等多種任務(wù)上取得了突破。

原文標(biāo)題：How BERT Enhances the Features of NLP，作者：Matthew McMullen

鏈接：https://dzone.com/articles/how-bert-enhances-the-features-of-nlp。