本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

我，一個(gè)科技小編，最近在跟國(guó)外大佬的郵件交流中，感到飄過(guò)六級(jí)后的自己英語(yǔ)寫(xiě)作水平那真是日漸捉急。

從句怎么用？時(shí)態(tài)對(duì)不對(duì)？看著對(duì)面主編犀利的目光，那一瞬間，真想問(wèn)問(wèn)自己為什么不good good study, day day up。

于是，我決定了，我要好好學(xué)習(xí)英語(yǔ)寫(xiě)作！

想要提升水平，不自己動(dòng)筆寫(xiě)總是差那么點(diǎn)意思。

那么，問(wèn)題來(lái)了：寫(xiě)的好不好，誰(shuí)來(lái)幫我批改呢？

其實(shí)，打從小學(xué)開(kāi)始學(xué)英語(yǔ)，小學(xué)、中學(xué)、四六級(jí)、雅思托福……英語(yǔ)作文怎么提高從來(lái)都是一個(gè)難題。

尤其是各類考試，有嚴(yán)格的評(píng)分標(biāo)準(zhǔn)，可身邊哪能時(shí)時(shí)有經(jīng)驗(yàn)豐富的閱卷老師幫忙有針對(duì)性地修改提高呢？

聽(tīng)聞我的煩惱，一位網(wǎng)易有道的胖友向我招了招手：你看我手機(jī)里這個(gè)紅色的App，里面最新上線了一只AI，能幫你批改英文小作文喲。

對(duì)啊，如果AI真的能準(zhǔn)確評(píng)分，甚至給出修改意見(jiàn)，那像我一樣的同學(xué)們不就能隨時(shí)隨地把英語(yǔ)作文練到飛起了嗎？

略一調(diào)研，我發(fā)現(xiàn)，現(xiàn)在有AI批改英語(yǔ)作文功能的產(chǎn)品還真不少：網(wǎng)易有道詞典、微軟愛(ài)寫(xiě)作（小英）、批改網(wǎng)、Grammarly……

想到現(xiàn)在宅在家里的大朋友、小朋友可能也有同樣的困擾，我決定親自測(cè)試一下這些AI們到底靠譜不靠譜。

AI批作文，到底哪家強(qiáng)？

初篩一番，我挑選出了幾個(gè)免費(fèi)、容易上手使用的選手參與測(cè)評(píng)，分別是：網(wǎng)易有道詞典AI作文批改，微軟愛(ài)寫(xiě)作，以及Grammarly免費(fèi)版。

那么，話不多說(shuō)，讓我們直接進(jìn)入比賽。

Round 1：手寫(xiě)識(shí)別

像小學(xué)中學(xué)英語(yǔ)考試、四六級(jí)以及考研英語(yǔ)、雅思托福考試，實(shí)際應(yīng)試時(shí)都需要在紙面上進(jìn)行寫(xiě)作，因此在練習(xí)時(shí)，同學(xué)們也往往會(huì)選擇手寫(xiě)。

寫(xiě)完一遍，再打一遍字，未免有些麻煩，如果拍張照，AI就能自己識(shí)別我到底寫(xiě)了什么，那就方便多了。

有道AI作文批改和微軟愛(ài)寫(xiě)作均支持圖片識(shí)別功能。而Grammarly……由于沒(méi)有這一功能，這位選手選擇暫時(shí)退場(chǎng)。

我使出洪荒之力，用非標(biāo)準(zhǔn)應(yīng)試字體謄寫(xiě)了一篇作文，測(cè)試兩位選手。

先來(lái)看有道AI作文批改的表現(xiàn)：

識(shí)別得相當(dāng)準(zhǔn)確，有涂改的地方也沒(méi)有出現(xiàn)誤識(shí)別的情況，為數(shù)不多的幾個(gè)需要手動(dòng)修改的地方，基本上都是手寫(xiě)時(shí)字母和字母之間空格太大，因此識(shí)別時(shí)成了兩個(gè)單詞。

再來(lái)看一下微軟小英的結(jié)果：

由于我沒(méi)寫(xiě)標(biāo)題，小英強(qiáng)制把第一段都識(shí)別成了標(biāo)題。忽略掉這一點(diǎn)的話，識(shí)別準(zhǔn)確率也很高。但對(duì)于標(biāo)點(diǎn)符號(hào)的識(shí)別不及有道AI作文批改敏感（上圖紅色標(biāo)注處）。

還有個(gè)小問(wèn)題：如果你把兩個(gè)詞寫(xiě)得比較開(kāi)，小英會(huì)識(shí)別出多余的空格，檢查得不仔細(xì)的話，會(huì)影響下一步評(píng)分的準(zhǔn)確性。

另外，相比于只有網(wǎng)頁(yè)版的微軟愛(ài)寫(xiě)作，手機(jī)端的有道詞典可以直接拍照識(shí)別，無(wú)需再倒一手把照片傳到電腦上，還是要方便一些。

Round 2：糾錯(cuò)能力

如果說(shuō)OCR只是影響用戶使用方便與否的細(xì)節(jié)，那AI批改作文的重點(diǎn)，當(dāng)然在于能不能準(zhǔn)確抓住作文中的bug。

有道AI作文批改、微軟小英和Grammarly都有識(shí)別文中語(yǔ)法錯(cuò)誤并給出修改意見(jiàn)的功能。

這一輪，我們用一些單句來(lái)測(cè)試一下誰(shuí)的Debug能力更強(qiáng)。

例句一：When the girl will leave, she fount an old begger in the tree and looked at angry and cold.

有時(shí)態(tài)錯(cuò)誤，也有拼寫(xiě)錯(cuò)誤。

有道揪出了4處錯(cuò)誤：

具體的判斷是：①疑似用詞不當(dāng)，建議將「will leave」修正為「left」；②疑似動(dòng)詞時(shí)態(tài)錯(cuò)誤，建議將「fount」修正為「found」；③疑似名詞誤用，建議將「begger」修正為「beggar」；④疑似介詞「at」冗余，建議刪除。

把問(wèn)題拋給微軟小英，它也同樣找出了這4處錯(cuò)誤，并給出了一個(gè)單詞替換建議。

具體判斷是：①錯(cuò)誤動(dòng)詞時(shí)態(tài)，將「will leave」改為「left」；②動(dòng)詞用法錯(cuò)誤，將「fount」改為「found」；③單詞拼寫(xiě)錯(cuò)誤，將「begger」改為「beggar」；④冗余，刪除「at」；⑤建議將「cold」換成「bitter」、「hard」、「mean」。

最后看一下Grammarly的判斷。

Grammarly免費(fèi)版指出了一處單詞拼寫(xiě)錯(cuò)誤，并建議我升級(jí)付費(fèi)版。

同樣，在「But this stress didn’t stop me from thinking to attend the biggist activity in our school」這個(gè)句子中，有道和小英都指出了3處錯(cuò)誤：

介詞「to」改「about」；動(dòng)詞「attend」改「attending」；「biggist」拼寫(xiě)錯(cuò)誤，改為「biggest」。

而Grammarly免費(fèi)版還是僅僅指出了「biggist」這個(gè)拼寫(xiě)錯(cuò)誤。

看來(lái)，就免費(fèi)體驗(yàn)來(lái)說(shuō)，Grammarly的語(yǔ)法修改偏于簡(jiǎn)單了。

最后，給有道AI作文批改和微軟小英出一個(gè)加試題。

例句二：On a cold morning, while I was watching a girl buy bread and milk in the fiont for me.

對(duì)于AI而言，這個(gè)句子的識(shí)別難點(diǎn)在于，同一個(gè)對(duì)象涉及了多個(gè)錯(cuò)誤，「fiont」這個(gè)拼寫(xiě)錯(cuò)誤后面，緊跟著「for」這個(gè)介詞使用錯(cuò)誤。

面對(duì)這一題，有道成功把「in the front of」這個(gè)整體識(shí)別了出來(lái)，既指出了拼寫(xiě)錯(cuò)誤，也發(fā)現(xiàn)詞組中介詞的錯(cuò)誤。

而微軟小英的改法令人有些看不懂，難道是感應(yīng)到了句子里主人公的內(nèi)心戲？

這輪比拼結(jié)束，小小總結(jié)一下。

同樣是免費(fèi)，Grammarly免費(fèi)版相比于兩位中文世界的選手，差距有點(diǎn)大。

不過(guò)，Grammarly有插件版本，直接寫(xiě)郵件的時(shí)候，能夠邊寫(xiě)邊糾錯(cuò)。

但如果是想要在AI的幫助下提升英語(yǔ)寫(xiě)作能力，Grammarly免費(fèi)版恐怕不是上佳選擇。

而有道AI作文批改和微軟小英，都更符合國(guó)內(nèi)的英語(yǔ)學(xué)習(xí)路徑，總體表現(xiàn)都還不錯(cuò)。不過(guò)，在錯(cuò)誤復(fù)雜度提高的時(shí)候，有道的表現(xiàn)略勝一籌。

Round 3：評(píng)分準(zhǔn)確度

另一個(gè)重點(diǎn)，是評(píng)分的準(zhǔn)確度。

畢竟，考試都有嚴(yán)格的評(píng)分標(biāo)準(zhǔn)，能否依據(jù)標(biāo)準(zhǔn)給出準(zhǔn)確的打分，對(duì)于廣大有應(yīng)試需求的同學(xué)們而言還是非常重要的參考指標(biāo)。

有道AI作文批改和微軟愛(ài)寫(xiě)作，都支持多學(xué)段英語(yǔ)作文批改，涵蓋小學(xué)、初中、高中、四六級(jí)、雅思托福和考研英語(yǔ)。

至于Grammarly，作為一款“舶來(lái)”應(yīng)用，并不是很適合我考試大國(guó)的風(fēng)格，沒(méi)有推出打分功能，亦無(wú)法區(qū)分學(xué)段和考試類型。

不過(guò)，使用Grammarly，也可以針對(duì)自己的情況進(jìn)行一些個(gè)性化設(shè)置，包括Audience（受眾）、Formality（正式程度）、Domain（領(lǐng)域）。

問(wèn)題還是，免費(fèi)版選擇有限。

我在網(wǎng)上找了一篇 7.5 分的雅思范文，人類老師對(duì)這篇作文的評(píng)價(jià)是：詞匯豐富、語(yǔ)法點(diǎn)豐富，并且論證全面。

那么AI會(huì)如何評(píng)價(jià)這篇作文呢？

還是先來(lái)看看有道AI作文批改的答卷。

有道給這篇作文打了8分，并且就詞匯、結(jié)構(gòu)、語(yǔ)法和內(nèi)容都給出了評(píng)級(jí)。

點(diǎn)擊查看點(diǎn)評(píng)，還能看到AI閱卷官?gòu)脑~、句、篇章著手，對(duì)作文的總體評(píng)價(jià)，一些更高級(jí)詞匯的推薦，以及好詞的鞏固。

……詞匯量較為豐富……文章較為流暢……詞匯基礎(chǔ)扎實(shí)。

這樣的評(píng)語(yǔ)，與人類老師的判斷基本一致。

同樣一篇文章，我們來(lái)看看微軟小英怎么說(shuō)。

同樣給出了8分，比較特別的是，小英會(huì)統(tǒng)計(jì)作文中所使用的考綱詞匯、邏輯連詞和從句數(shù)量。

與有道給出的總體評(píng)價(jià)報(bào)告不同，小英給出的是文章結(jié)構(gòu)、句間關(guān)系、切題程度、展開(kāi)程度4個(gè)評(píng)價(jià)指標(biāo)。

需要注意的是，如果想?yún)⒖嘉恼聝?nèi)容中切題程度這個(gè)指標(biāo)，必須填寫(xiě)文章標(biāo)題。而展開(kāi)程度這個(gè)指標(biāo)，我反復(fù)試了多篇作文，從高考范文到雅思范文，都是穩(wěn)定一星……

這輪比拼結(jié)束，同樣做個(gè)小結(jié)。

總體而言，有道和小英的評(píng)分結(jié)果都根據(jù)考試類型的不同，與考試評(píng)分標(biāo)準(zhǔn)對(duì)齊，具有參考價(jià)值。

在細(xì)節(jié)上，有道會(huì)根據(jù)字?jǐn)?shù)、詞匯使用情況、語(yǔ)句邏輯及銜接等方面給出綜合評(píng)價(jià)，微軟小英則是分點(diǎn)給出建議，主要集中在文章結(jié)構(gòu)和句間關(guān)系兩個(gè)方面。

不過(guò)，在測(cè)試中微軟小英出現(xiàn)了一些小bug。

比如六級(jí)作文的滿分是15分，但在得分界面其最高分卻是25分。

背后技術(shù)

看來(lái)有道詞典批改作文的AI，確實(shí)有兩把刷子。

出于科技小編的好奇心，我向文章開(kāi)頭給我推薦軟件的胖友打聽(tīng)了一下，在這背后究竟是怎樣的技術(shù)。

以有道為例，其英語(yǔ)作文批改分為三個(gè)核心模塊：評(píng)分模塊 + 評(píng)語(yǔ)模塊 + 糾錯(cuò)模塊。

評(píng)分模塊負(fù)責(zé)提供總分，及詞匯、語(yǔ)法、結(jié)構(gòu)得分，采用的是傳統(tǒng)方法 + 深度學(xué)習(xí)方法。

評(píng)語(yǔ)模塊提供全文評(píng)語(yǔ)、詞匯推薦、范文推薦。

糾錯(cuò)模塊提供14個(gè)類別的語(yǔ)法錯(cuò)誤識(shí)別及修正，包括淺層的拼寫(xiě)錯(cuò)誤、深層的語(yǔ)法錯(cuò)誤等。

其中，拼寫(xiě)糾錯(cuò)運(yùn)用的是基于BERT的NER實(shí)體識(shí)別技術(shù)。

語(yǔ)法糾錯(cuò)，則被定義為序列到序列的生成問(wèn)題。核心基于Transformer架構(gòu)。

核心模型所做的事，其實(shí)類似于翻譯：將語(yǔ)法錯(cuò)誤的句子翻譯成語(yǔ)法正確的句子。

此外，在語(yǔ)法糾錯(cuò)中，還采用了遷移學(xué)習(xí)和對(duì)抗學(xué)習(xí)。用真實(shí)語(yǔ)料和基于真實(shí)用戶錯(cuò)誤分布生成的海量偽語(yǔ)料，不斷提升模型能力。

以上是網(wǎng)易有道詞典的質(zhì)量評(píng)估結(jié)果。P值為精確率（Precision），R值為召回率（Recall），F(xiàn)0.5為P值與R值的調(diào)和平均，其值越高，通常表示算法性能越好。

可以看到，有道AI作文批改的測(cè)試結(jié)果已達(dá)行業(yè)領(lǐng)先水平。

好啦，看罷這一篇試用報(bào)告，不知道正備考四六級(jí)、雅思托福、考研英語(yǔ)的你愿意pick AI為你免費(fèi)批改作文嗎？