ChatGPT 在會(huì)計(jì)考試中的表現(xiàn)遠(yuǎn)不及人類，甚至還會(huì)一本正經(jīng)的胡說八道，為錯(cuò)誤的答案辯解。

美國(guó)楊百翰大學(xué)的會(huì)計(jì)教授伍德和他的團(tuán)隊(duì)決定對(duì) ChatGPT 進(jìn)行一次測(cè)試，看看它能否回答大學(xué)會(huì)計(jì)課程的考題。他們?cè)谏缃幻襟w上發(fā)起了一個(gè)號(hào)召，吸引了來(lái)自 14 個(gè)國(guó)家 186 所教育機(jī)構(gòu)的 327 位合作者參與。他們共提供了 25181 道會(huì)計(jì)考題，涵蓋了會(huì)計(jì)信息系統(tǒng)、審計(jì)、財(cái)務(wù)會(huì)計(jì)、管理會(huì)計(jì)和稅務(wù)等領(lǐng)域。他們還邀請(qǐng)了 BYU 的本科生（包括伍德的女兒杰西卡）向 ChatGPT 輸入了 2268 道教科書上的考題。

結(jié)果顯示，ChatGPT 的表現(xiàn)雖然有亮點(diǎn)，但總體上還是不及學(xué)生水平。學(xué)生的平均分是 76.7%，而 ChatGPT 的平均分只有 47.4%。在 11.3% 的問題上，ChatGPT 的得分高于學(xué)生平均分，尤其是在會(huì)計(jì)信息系統(tǒng)和審計(jì)方面。但是，在稅務(wù)、財(cái)務(wù)和管理方面，ChatGPT 就顯得力不從心，可能是因?yàn)檫@些領(lǐng)域需要更多的數(shù)學(xué)運(yùn)算能力。在問題類型上，ChatGPT 比較擅長(zhǎng)判斷題（68.7% 正確率）和選擇題（59.5% 正確率），但是在簡(jiǎn)答題上就很吃力（正確率在 28.7% 到 39.1% 之間）。一般來(lái)說，對(duì)于需要更高層次思維的問題，ChatGPT 更難回答。有時(shí)候，ChatGPT 甚至?xí)殄e(cuò)誤答案提供權(quán)威的解釋，或者對(duì)同一個(gè)問題給出不同的答案。

“它并不完美，你不能指望它能做所有事情?！苯芪骺ㄕf，“僅僅依靠 ChatGPT 來(lái)學(xué)習(xí)是愚蠢的。”

IT之家注意到，研究人員還發(fā)現(xiàn)了一些其他有趣的現(xiàn)象：

• ChatGPT 有時(shí)候不知道自己在做數(shù)學(xué)題，會(huì)犯一些荒謬的錯(cuò)誤，比如在減法問題里加兩個(gè)數(shù)，或者除法算錯(cuò)。
• ChatGPT 經(jīng)常會(huì)為自己的答案提供解釋，即使它們是錯(cuò)誤的。有時(shí)候，ChatGPT 的描述是正確的，但它卻選擇了錯(cuò)誤的選項(xiàng)。
• ChatGPT 有時(shí)候會(huì)編造事實(shí)。比如，在提供參考文獻(xiàn)時(shí)，它會(huì)生成一個(gè)看起來(lái)真實(shí)的參考文獻(xiàn)，但其實(shí)完全是虛構(gòu)的，甚至有時(shí)候連作者都不存在。

盡管如此，研究人員相信，在未來(lái)的版本中，ChatGPT 會(huì)在會(huì)計(jì)問題上有所進(jìn)步，并解決上述問題。他們認(rèn)為最有前景的是，這款聊天機(jī)器人可以幫助改善教學(xué)和學(xué)習(xí)，比如設(shè)計(jì)和測(cè)試作業(yè)，或者用于草擬項(xiàng)目的部分內(nèi)容。

“這是一個(gè)反思的機(jī)會(huì)，我們要看看我們是否在教授有價(jià)值的信息?！毖芯康暮献髡咧?，BYU 的會(huì)計(jì)教授拉森說，“這是一種顛覆，我們需要評(píng)估我們接下來(lái)該怎么做。當(dāng)然，我還是會(huì)有助教，但其工作內(nèi)容會(huì)有所不同?！?/p>

這項(xiàng)研究發(fā)表在《會(huì)計(jì)教育問題》雜志上。