阿里國際發(fā)布首個大規(guī)模商用翻譯大模型Marco,效果超Google、DeepL等,全球開放! 原創(chuàng)
編輯 | 星璇
出品 | 51CTO技術(shù)棧(微信號:blog51cto)
在AI調(diào)用量最高的場景之一——機器翻譯,阿里國際的AI團隊有了新進展。
10月16日,阿里國際副總裁、AI負責(zé)人張凱夫在接受彭博社專訪時表示,阿里國際最新研發(fā)的Marco翻譯大模型,支持中、英、日、韓、西、法等15種全球主流語種。目前已在阿里國際AI官網(wǎng)Aidge上發(fā)布,面向全球用戶開放使用。
基于目前廣泛使用的開源評測數(shù)據(jù)集Flores,Marco翻譯大模型在BLEU自動評測指標(biāo)上,領(lǐng)先于市面上的標(biāo)桿翻譯產(chǎn)品,如Google翻譯、DeepL、GPT-4等。這意味著,Marco的AI翻譯能力總體已經(jīng)超越全球競爭對手,成為行業(yè)第一。
Marco的主要優(yōu)勢就是由大語言模型驅(qū)動,能夠基于語境進行精準(zhǔn)翻譯,而不是根據(jù)字面意思,造成哭笑不得的歧義。“你的寶貝正在路上”,不會再被翻譯成“Your baby is on the way”。以“尊嘟喜歡”這一網(wǎng)絡(luò)用語為例,一些AI翻譯產(chǎn)品會將這句話翻譯為“Zundu likes it”,而在Marco大模型中,這句話非常地道地翻譯為“I really like it”。
如何實現(xiàn)這一效果呢?據(jù)介紹,Marco翻譯大模型通過面向多語言的數(shù)據(jù)篩選技術(shù),如多語種混合語料甄別、多維度數(shù)據(jù)質(zhì)量評估,獲得高質(zhì)量、大規(guī)模的多語言數(shù)據(jù),再結(jié)合多語言的混合專家、參數(shù)擴張方法,從而保證主導(dǎo)語言(如中、英)性能不下降的情況下,提升其他語種的質(zhì)量。同時,通過模型量化和加速、多模型規(guī)約等優(yōu)化策略,大幅降低大模型的服務(wù)成本,甚至與傳統(tǒng)小模型相比,成本也具有優(yōu)勢。
這自然與阿里在該領(lǐng)域的多年積累密不可分:
其一,數(shù)十億規(guī)模的高質(zhì)量電商預(yù)料數(shù)據(jù),讓團隊在跨境電商領(lǐng)域很快就建起了起極為顯著的數(shù)據(jù)優(yōu)勢;
其二,作為服務(wù)于全球市場的電商平臺,讓團隊對不同國家和地區(qū)的文化、語言以及商業(yè)法規(guī)有了深入的了解
因此一經(jīng)發(fā)布,Marco翻譯大模型就在BLEU、COMET,以及人工評測指標(biāo)上上,一舉超越市場上的頭部翻譯產(chǎn)品。
圖片
基于Flores公開榜單數(shù)據(jù)的評測結(jié)果
將其它語言譯為英語的測試中,它的所有結(jié)果均已超越行業(yè)標(biāo)桿企業(yè)的產(chǎn)品,比如谷歌、ChatGPT、DeepL。
而將英語譯成其他語言方面,也有一半語言的測試結(jié)果超過了谷歌、ChatGPT。
目前,Marco翻譯大模型已實現(xiàn)大規(guī)模商用,收費價格也誠意滿滿,100萬個字符僅需12美元。
得益于阿里國際在跨境電商領(lǐng)域多年的積累,Marco在跨境電商領(lǐng)域的表現(xiàn)尤為亮眼。對于個人用戶來說,Marco能夠根據(jù)上下文提供高質(zhì)量的翻譯和良好的可讀性,甚至支持不同的翻譯風(fēng)格,滿足多樣化的翻譯需求。
根據(jù)公開報道,阿里國際在去年成立了AI團隊,過去一年在40多個場景里測試了AI能力,幫助50萬中小商家、對1億款商品進行優(yōu)化。商家的AI需求也不斷增長,近半年的數(shù)據(jù)顯示,平均每兩個月,商家對于AI的調(diào)用量就翻1倍,AI的調(diào)用量已經(jīng)突破日均1億次。
本文轉(zhuǎn)載自??51CTO技術(shù)棧??,作者:星璇
