用GPT-4輔助教學(xué)6周=正常學(xué)習(xí)兩年？！

事情是醬嬸兒的。

一支由世界銀行教育專(zhuān)家、數(shù)據(jù)科學(xué)家、研究分析師等組成的權(quán)威團(tuán)隊(duì)，在尼日利亞，針對(duì)學(xué)生使用GPT-4輔導(dǎo)學(xué)習(xí)，做了一項(xiàng)隨機(jī)對(duì)照試驗(yàn)。

他們發(fā)現(xiàn)，連續(xù)6周用AI進(jìn)行課后輔導(dǎo)，學(xué)生所獲得的學(xué)習(xí)成效相當(dāng)于正常上了兩年學(xué)。

而且這種方法，超過(guò)了發(fā)展中國(guó)家教育干預(yù)措施隨機(jī)對(duì)照試驗(yàn)數(shù)據(jù)庫(kù)中，80%的其它教育干預(yù)措施。

參與實(shí)驗(yàn)的幾乎所有學(xué)生都有學(xué)習(xí)進(jìn)步，而且參加的AI輔助課程越多，進(jìn)步也就越明顯。

這項(xiàng)研究被沃頓商學(xué)院教授Ethan Mollick發(fā)到X上后，迅速得到大量網(wǎng)友關(guān)注。

Greg Brockman也轉(zhuǎn)發(fā)了一手。

評(píng)論區(qū)網(wǎng)友紛紛分享用AI輔助學(xué)習(xí)的經(jīng)歷。

我13歲的女兒已經(jīng)用ChatGPT輔導(dǎo)學(xué)習(xí)超一年了。她已經(jīng)能夠討論微積分中的導(dǎo)數(shù)和積分以及物理中的電磁學(xué)熱力學(xué)等話(huà)題。去年學(xué)校想讓她跳級(jí)，但被我們拒絕了。

我正在為我的大學(xué)課程引入一種由學(xué)生共同設(shè)計(jì)的LLM輔導(dǎo)工具。不知道有沒(méi)有人可以提供如何將這個(gè)項(xiàng)目作為隨機(jī)對(duì)照試驗(yàn)進(jìn)行的建議？

將這種輔導(dǎo)服務(wù)僅提供給一半的學(xué)生似乎有些不公平。

Ethan Mollick還補(bǔ)充認(rèn)為教師帶領(lǐng)學(xué)生使用AI非常重要：

在某些情況下，獨(dú)立用AI作輔導(dǎo)可能會(huì)損害學(xué)習(xí)，因?yàn)樗o人一種學(xué)習(xí)的錯(cuò)覺(jué)。

項(xiàng)目細(xì)節(jié)

1984年，教育心理學(xué)家Benjamin Bloom展示了接受一對(duì)一輔導(dǎo)的學(xué)生在學(xué)習(xí)成效上遠(yuǎn)超僅限于傳統(tǒng)課堂設(shè)置的學(xué)生。盡管一對(duì)一輔導(dǎo)的好處已被證實(shí)，但成本高昂。

來(lái)自世界銀行的教育團(tuán)隊(duì)認(rèn)為，生成式AI能夠創(chuàng)造新的類(lèi)人內(nèi)容，為教育應(yīng)用開(kāi)辟了更廣泛的可能性。

基于這一潛力，他們?cè)谀崛绽麃啺６嘀葸M(jìn)行了一場(chǎng)實(shí)驗(yàn)。

在2024年6月至7月期間，來(lái)自七個(gè)試點(diǎn)學(xué)校的800名高中一年級(jí)學(xué)生，每周需要在計(jì)算機(jī)實(shí)驗(yàn)室參加兩次課后AI英語(yǔ)輔導(dǎo)。

具體來(lái)說(shuō)，每節(jié)課以老師介紹本周主題開(kāi)始，隨后學(xué)生與由GPT-4驅(qū)動(dòng)的Microsoft Copilot進(jìn)行互動(dòng)，此來(lái)完成一些英語(yǔ)語(yǔ)法學(xué)習(xí)和寫(xiě)作任務(wù)。

老師在當(dāng)中會(huì)指導(dǎo)學(xué)生如何使用AI，也會(huì)給一些prompt建議，另外在每節(jié)課要結(jié)束時(shí)帶領(lǐng)學(xué)生進(jìn)行簡(jiǎn)短的反思練習(xí)。

項(xiàng)目進(jìn)行中，團(tuán)隊(duì)初步總結(jié)了一些經(jīng)驗(yàn)教訓(xùn)：

• 參與試點(diǎn)的學(xué)生表現(xiàn)出極高的參與度，很多學(xué)生表達(dá)了想在計(jì)算機(jī)實(shí)驗(yàn)室使用AI工具的強(qiáng)烈愿望。
• 試點(diǎn)結(jié)束后，教師對(duì)使用AI的初步擔(dān)憂(yōu)轉(zhuǎn)變?yōu)檎J(rèn)識(shí)到其潛力，并認(rèn)識(shí)到AI在提升學(xué)生學(xué)習(xí)中的指導(dǎo)作用。
• 項(xiàng)目持續(xù)了六周，更長(zhǎng)的時(shí)間可能更為有效。項(xiàng)目初期，學(xué)生主要學(xué)習(xí)設(shè)置電子郵件、創(chuàng)建Microsoft Copilot賬戶(hù)以及如何使用計(jì)算機(jī)。延長(zhǎng)項(xiàng)目，可以將更多時(shí)間專(zhuān)注于學(xué)生的實(shí)際學(xué)習(xí)需求。

• 雨季期間頻繁的電力和網(wǎng)絡(luò)中斷，影響了學(xué)生與AI的互動(dòng)，為教室配置備用電源和網(wǎng)絡(luò)連接對(duì)于保持課程的順暢進(jìn)行至關(guān)重要。
• 需要為學(xué)生和老師提供必要的支持，比如項(xiàng)目組特別開(kāi)發(fā)了工具包來(lái)引導(dǎo)課程，還有精心設(shè)計(jì)的提示詞。
• 與任何項(xiàng)目一樣，設(shè)計(jì)與實(shí)施之間可能存在顯著差距。為此，需要一個(gè)小型監(jiān)控團(tuán)隊(duì)密切監(jiān)督每個(gè)試點(diǎn)，收集關(guān)鍵見(jiàn)解并提供反饋，確保項(xiàng)目按計(jì)劃進(jìn)行。
• 教師也指出了AI的關(guān)鍵風(fēng)險(xiǎn)，例如過(guò)度依賴(lài)、產(chǎn)生錯(cuò)誤反饋并誤導(dǎo)事實(shí)，以及濫用問(wèn)題。對(duì)這些風(fēng)險(xiǎn)采取適當(dāng)?shù)木徑獠呗詫?duì)學(xué)生探索這種新學(xué)習(xí)方式至關(guān)重要。

六個(gè)周后，學(xué)生們進(jìn)行了一場(chǎng)筆試，以此來(lái)評(píng)估他們?cè)谌齻€(gè)關(guān)鍵領(lǐng)域的表現(xiàn)：英語(yǔ)（重點(diǎn)關(guān)注）、AI知識(shí)和數(shù)字技能。

結(jié)果發(fā)現(xiàn)，隨機(jī)被選中的參加該項(xiàng)目的學(xué)生在這三個(gè)方面的學(xué)習(xí)成效，均顯著優(yōu)于未參加該項(xiàng)目的學(xué)生。

值得注意的是，參與項(xiàng)目的學(xué)生在學(xué)校正常的年終考試中表現(xiàn)也更出色，而學(xué)校年終考試的內(nèi)容遠(yuǎn)超六周干預(yù)期間涉及的主題。

這說(shuō)明學(xué)會(huì)有效利用AI的學(xué)生，可能已經(jīng)運(yùn)用這些技能獨(dú)立探索和掌握其它學(xué)科。

此外，團(tuán)隊(duì)還發(fā)現(xiàn)該項(xiàng)目對(duì)所有學(xué)生均有積極影響，不僅限于對(duì)成績(jī)優(yōu)異的學(xué)生有幫助。而且學(xué)生參加的AI輔助課程越多，他們的進(jìn)步也越明顯。

如前所述，由于雨季洪水等因素，許多學(xué)生出勤存在困難，團(tuán)隊(duì)專(zhuān)門(mén)為該項(xiàng)目專(zhuān)門(mén)開(kāi)發(fā)了嚴(yán)格的監(jiān)控系統(tǒng)來(lái)精確跟蹤學(xué)生出勤情況。

結(jié)果發(fā)現(xiàn)，學(xué)生每增加一天的出勤都會(huì)顯著提高學(xué)習(xí)成效。如下圖，隨著出勤天數(shù)的增加，學(xué)生的平均評(píng)估得分也呈上升趨勢(shì)：

學(xué)生通過(guò)AI輔助，學(xué)習(xí)成效的提升非常顯著，約為0.3個(gè)標(biāo)準(zhǔn)差，相當(dāng)于僅僅六周學(xué)生的進(jìn)步為正常學(xué)習(xí)了兩年。

團(tuán)隊(duì)將這些結(jié)果與發(fā)展中國(guó)家教育干預(yù)措施的隨機(jī)對(duì)照試驗(yàn)數(shù)據(jù)庫(kù)進(jìn)行比較，發(fā)現(xiàn)該項(xiàng)目表現(xiàn)超過(guò)了80%的其它干預(yù)，包括一些如結(jié)構(gòu)化教學(xué)和按能力分層教學(xué)等成本極高的策略。

然而，這只是起步階段。團(tuán)隊(duì)表示，仍有許多重要問(wèn)題待解決：

這種干預(yù)措施的長(zhǎng)期影響如何？除了即時(shí)的學(xué)習(xí)收益外，學(xué)生還獲得了哪些好處？他們?nèi)绾闻c大語(yǔ)言模型進(jìn)行互動(dòng)？教師又如何支持這種互動(dòng)？這些好處是否能擴(kuò)展到其它學(xué)科？有沒(méi)有任何負(fù)面的、不希望的效果？