夕小瑤科技說 原創(chuàng)
作者 | PythonChatGPT作為一個智能人機對話應用，在推出后迅速風靡全球。僅僅一個月的時間，其用戶數(shù)量已經(jīng)突破了一億大關。人們也用ChatGPT測試了很多考試項目，例如SAT、AP、GRE等。然而，如果讓ChatGPT來參加我們中國的高考，會是怎樣的一番光景呢？他會不會偏科呢？我們這些普通人又能否考得過ChatGPT呢？且看復旦大學和華東師大的同學們給大家?guī)淼脑u測。

論文題目:
Evaluating the Performance of Large Language Models on GAOKAO Benchmark
論文鏈接:https://arxiv.org/pdf/2305.12474.pdf

如何讓ChatGPT解答高考題？

該論文采用零監(jiān)督prompt的方式，將試題轉(zhuǎn)化為ChatGPT的輸入，如下圖所示。對于不同的學科和題型，設計了不同的詢問方式。對于數(shù)學題，則將公式轉(zhuǎn)化為latex輸入。

高考數(shù)據(jù)集

本文測試采用2010~2022年，一共13年間的全國A卷和全國B卷，每套試卷包含10門學科，即語數(shù)英物化生史地政，其中數(shù)學分為理科數(shù)學與文科數(shù)學。

數(shù)據(jù)集一共包含2811道試題。具體題型這里就不展開，相信讀者們對高考題還是十分了解的。

在評估時，聘請上海市曹楊第二中學的高中老師批閱主觀題。

實驗與分析

歷年高考，ChatGPT取得的分數(shù)如下圖所示。由于在計算分數(shù)時，將每科都歸一化到100分，所以這個成績無法和你我的高考成績直接比較。但也可以看出，這個分數(shù)并不理想，估計無論是復旦還是華東師大都是考不上的。這是為什么呢？

上圖展示了ChatGPT在各個學科、以及主客觀題上的表現(xiàn)。藍色為客觀題，黃色為主觀題。分析發(fā)現(xiàn)，ChatGPT對客觀題的成績較好，尤其是英語閱讀理解、單選、完形填空，分別取得了88.3%，78.1%，73.8%的準確率。但即使是客觀題，理科數(shù)學的準確率還不到40%。數(shù)學是真的難呀~

主觀題上，ChatGPT的表現(xiàn)較差，物理、化學、生物和數(shù)學科目中，主觀題的表現(xiàn)明顯不如客觀題。結合理科客觀題分數(shù)也較差，或許ChatGPT偏向文科？根據(jù)閱卷人的評語，ChatGPT主要欠缺在：1.數(shù)學問題中的復雜方程難以正確解決，在解題過程中使用了錯誤的公式。2.閱讀較長材料時理解和概括能力不足。

總結

ChatGPT在訓練過程中可能沒有使用中國高考題數(shù)據(jù)，因此其表現(xiàn)不受數(shù)據(jù)泄露的影響，具有較高的可信度。

觀察結果顯示，與國外考試相比，ChatGPT在中國高考題方面的表現(xiàn)稍遜一籌。因此，國內(nèi)的學生暫時無需過分擔心無法考過ChatGPT。然而，文章中提到的長文本概括能力等在GPT4-32K中有顯著改進，國產(chǎn)大模型也在中文數(shù)據(jù)上做了進一步的優(yōu)化。因此，我們可以期待未來大模型高考題上取得更矚目的表現(xiàn)。

此外，用ChatGPT解高考題這個思路，或許可以回答網(wǎng)友們對哪個省的考題更難的爭論？