[[396522]]

CMU 聯(lián)合復(fù)旦、俄亥俄州立大學(xué)的研究者推出了一個將模型可理解分析和模型評價(jià)排行榜結(jié)合起來的科研輔助工具 ExplainaBoard，能夠完成單系統(tǒng)診斷、數(shù)據(jù)集分析以及可信度分析等任務(wù)，有效提升科研人員的學(xué)術(shù)體驗(yàn)。

你是否在讀論文的時候覺得別人的 idea 很有道理，可自己設(shè)計(jì) idea 時卻無從下手？你是否經(jīng)常因?yàn)椤改Ｐ托Ч?，但是沒有給出有深度且全面的解釋」而被審稿人給低分？

當(dāng)你厭倦了挖掘新的模型結(jié)構(gòu)時，是否對數(shù)據(jù)集特性的挖掘感興趣，從而引領(lǐng)一個更加健康的領(lǐng)域發(fā)展方向？在剛接觸一個新領(lǐng)域時，如何做到：既能快速了解該領(lǐng)域目前發(fā)展的狀況，又能快速了解它的瓶頸？

還記得不久前引起網(wǎng)絡(luò)熱議的自動審稿系統(tǒng)么？這支來自 CMU 的 團(tuán)隊(duì)日前又發(fā)布了一個可解釋的系統(tǒng)排行榜（ExplainaBoard），它被定位成一個科研輔助產(chǎn)品，巧妙地把「模型可理解分析」和「模型評價(jià)排行榜」兩個看似無關(guān)的元素結(jié)合，將平時科研中很多被我們忽略卻很重要的部分轉(zhuǎn)化成「一鍵式」操作，從而提升科研人員做學(xué)術(shù)的體驗(yàn)。

系統(tǒng)鏈接：
http://explainaboard.nlpedia.ai/

論文鏈接：
https://arxiv.org/pdf/2104.06387.pdf

目前，ExplainaBoard 在單任務(wù)上支持分類、抽取、生成在內(nèi)的9個主流 NLP 任務(wù)，涉及40多個數(shù)據(jù)集、300多個模型；在多任務(wù)上，支持多語言評價(jià)基準(zhǔn)，包含40多種語言和9個跨語言任務(wù)。

技術(shù)解讀

隨著深度學(xué)習(xí)模型的快速發(fā)展，排行榜（Leaderboard）已經(jīng)成為一種用來追蹤各種系統(tǒng)性能的主流工具。然而，由于在排行榜上排名靠前的模型所具有的聲望，很多研究人員只關(guān)注提高評估指標(biāo)的數(shù)字，而忽略了對模型特性更深入的科學(xué)理解。

ExplainaBoard 就是在這樣的背景下誕生的，它不僅可以排序不同的模型，還提供了很多與模型和數(shù)據(jù)集相關(guān)的——可理解、可交互和可信賴的分析機(jī)制（如下圖所示）：

具體說來，它可以完成以下功能：

單系統(tǒng)診斷

可以解決的問題：「我設(shè)計(jì)的模型擅長 / 不擅長做什么？」

系統(tǒng)對診斷

可以解決的問題：「我設(shè)計(jì)的模型比別人的好在哪里？」

數(shù)據(jù)集分析

可以解決的問題：「數(shù)據(jù)集的特點(diǎn)是什么？」

共有錯誤分析

可以解決的問題：「排名 Top-5 的系統(tǒng)共同錯誤預(yù)測是什么？」

細(xì)粒度錯誤分析

可以解決的問題：「模型錯誤預(yù)測主要發(fā)生在哪兒，以及具體是哪些錯誤？」

系統(tǒng)組合

可以解決的問題：「將排名 Top-5 的系統(tǒng)組合在一起，會得到一個更強(qiáng)大的系統(tǒng)么？」

可信度分析

可以解決的問題：「模型預(yù)測結(jié)果的可信程度有多高？」

校準(zhǔn)分析

可以解決的問題：「預(yù)測的可信度是如何校準(zhǔn)其正確性的？」

應(yīng)用前景

在應(yīng)用上，據(jù)該項(xiàng)目負(fù)責(zé)人劉鵬飛博士介紹，ExplainaBoard 目前收到了 DeepMind、Google、Huggingface 和 Paperswithcode 等多家企業(yè)的合作邀請以及投資人的青睞。

比如，Google & Deepmind 最新 arXiv 工作 XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation 使用 ExplainaBoard 升級了他們的多語言評測基準(zhǔn)。