小滑塊上個斜面，難倒多少高中生？現(xiàn)在，AI讓它動起來了
學(xué)習(xí)物理，不同的人自然有不同的經(jīng)歷。一些人覺得物理課簡單直觀，但另一些人卻認(rèn)為它抽象又反直覺，根本就無法理解。為此，許多教師和教學(xué)研究者探索了各種方法（像是課堂演示、動畫演示等），力圖讓物理課變得生動有趣，便于學(xué)生理解。
隨著人工智能的發(fā)展，我們已經(jīng)看到各種知識學(xué)習(xí)新方法層出不窮，比如 AI 口語陪練就已成為一個頗受歡迎的應(yīng)用?，F(xiàn)在，卡爾加里大學(xué)和 Adobe 研究院的一項(xiàng)研究又展示了一個新可能：用 AI 將物理課本上的圖表變成動畫，直接演示物理機(jī)制的過程。如此一來，原本抽象的物理課程或許一下就會變得直觀起來！
可以看到，只需在物理圖表上繪畫一個方框標(biāo)記識別范圍，AI 就能在分析之后將其變成可交互的動圖。單擺、電路、透鏡、斜坡滑行…… 不管是牛頓力學(xué)、光學(xué)還是基礎(chǔ)電路，這個 AI 統(tǒng)統(tǒng)都能搞定。
該研究發(fā)布后收獲贊譽(yù)無數(shù)，人們都從中看到了提升學(xué)生學(xué)習(xí)效率的潛力，甚至有人表示現(xiàn)在是當(dāng)學(xué)生最好的時代。
當(dāng)然，也依然有人表示懷疑。畢竟研究是一回事，轉(zhuǎn)化成實(shí)際應(yīng)用又是另一回事。
不管怎樣，該研究不僅獲得了大多數(shù)網(wǎng)友的贊美，也贏得了學(xué)術(shù)界的認(rèn)可，其獲得了正在舉行的 ACM 用戶界面軟件和技術(shù)研討會（UIST 2024）的最佳論文獎。
下面我們就來看看這個「增強(qiáng)版物理學(xué)」是怎么做到的吧。
- 論文標(biāo)題：Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams
- 論文地址：https://arxiv.org/pdf/2405.18614
從其標(biāo)題可以看到，該研究可「基于靜態(tài)的教科書圖表創(chuàng)建交互式和嵌入式的物理模擬」。為此，他們用到了 Segment-Anything 和多模態(tài) LLM 等先進(jìn)的計(jì)算機(jī)視覺技術(shù)。
據(jù)介紹，該系統(tǒng)支持多種類型的模型，包括牛頓運(yùn)動、光學(xué)、電路、循環(huán)動畫。只需簡單地勾畫，用戶就可以選取圖表中的特定的對象進(jìn)行分割，然后操作這些分割出來的對象，并調(diào)整參數(shù)值與這些模擬結(jié)果進(jìn)行動態(tài)交互。此外，還可以通過一個基于網(wǎng)頁的界面將這些交互式視覺輸出無縫地疊加到教材 PDF 上，讓學(xué)生無需搜索外部材料或從頭開始創(chuàng)建模擬，即可學(xué)習(xí)、實(shí)驗(yàn)和使用教材。
該團(tuán)隊(duì)也指出，基于靜態(tài)文檔創(chuàng)建交互式解釋內(nèi)容的想法并不新鮮，但這項(xiàng)研究有三大貢獻(xiàn)：
- 提出了一種全新的圖像到模擬工作流程。之前的 Charagraph 和 Augmented Math 等研究關(guān)注的是文本到文本或文本到圖表的工作流程，但它們不足以滿足物理圖表和模擬的需求，這需要更關(guān)注圖像的方法。
- 為增強(qiáng)物理模擬工具的設(shè)計(jì)空間做出了貢獻(xiàn)。為了設(shè)計(jì)這個系統(tǒng)，該團(tuán)隊(duì)執(zhí)行了一個形成性啟發(fā)（formative elicitation）研究。他們詢問了 7 位物理課講師，了解了他們增強(qiáng)物理教材的方式?；谶@些結(jié)果，他們找到了四大關(guān)鍵的增強(qiáng)策略：增強(qiáng)實(shí)驗(yàn)、動畫圖表、雙向綁定、參數(shù)可視化。
- 他們執(zhí)行了三項(xiàng)評估，貢獻(xiàn)了一份技術(shù)評估、一份初步可用性研究（N=12）和對物理講師的專家采訪（N=12）。
形成性研究
在設(shè)計(jì)系統(tǒng)之前，該團(tuán)隊(duì)在七位物理學(xué)講師的幫助下進(jìn)行了形成性研究。其目標(biāo)是了解他們當(dāng)前的物理教學(xué)方法，以確定當(dāng)前教育實(shí)踐中的差距和需求，以及通過設(shè)計(jì)啟發(fā)來收集他們對潛在增強(qiáng)策略的見解，以便從教學(xué)角度指導(dǎo)這種工具的設(shè)計(jì)。
方法
該團(tuán)隊(duì)從當(dāng)?shù)卮髮W(xué)社區(qū)招募了具備扎實(shí)物理教育背景的學(xué)生，其中包括 1 名本科生、5 名碩士生和 1 名博士生。這些參與者平均擁有 1.7 年作為助教或講師的教學(xué)經(jīng)驗(yàn)。
研究團(tuán)隊(duì)首先和參與者討論了當(dāng)前物理教學(xué)中對新型教學(xué)工具的需求，隨后鼓勵參與者提出新工具設(shè)計(jì)方案。他們以一本大一物理教科書 ——《Physics for Scientists and Engineers: A Strategic Approach, 3rd Edition》為例，要求參與者從教師的視角出發(fā)，思考如何將書中的靜態(tài)概念圖表轉(zhuǎn)化為更具互動性和教學(xué)效果的增強(qiáng)形式。
目前物理教學(xué)實(shí)踐的挑戰(zhàn)
經(jīng)過討論，該團(tuán)隊(duì)認(rèn)為目前的物理教學(xué)存在以下挑戰(zhàn)：
- 靜態(tài)的圖表只能展示某一時刻的狀態(tài)，但物理中有很多概念是會隨時間變化的，靜態(tài)圖表無法展示這些動態(tài)的物理過程。
- 視頻可以展示物理現(xiàn)象隨時間的變化，但是僅看視頻，學(xué)生無法親自進(jìn)行實(shí)驗(yàn)操作，比如調(diào)整實(shí)驗(yàn)參數(shù)，觀察不同條件下的結(jié)果。
- 學(xué)生可以通過計(jì)算機(jī)上的模擬工具來探索物理現(xiàn)象，但是這些工具沒有配備教學(xué)相關(guān)的指導(dǎo)。
- 在物理教學(xué)中，有時會引入視頻等額外的資料來輔助教學(xué)，但這將分散學(xué)生的注意力，影響學(xué)習(xí)效果。
啟發(fā)得到的增強(qiáng)策略
在系統(tǒng)開發(fā)過程中，該團(tuán)隊(duì)收集了參與者關(guān)于各種主題的設(shè)計(jì)建議，包括運(yùn)動學(xué)、光學(xué)、電磁學(xué)、牛頓引力、聲學(xué)和熱力學(xué)。根據(jù)反饋，他們確定了四種主要的增強(qiáng)技術(shù)類別。
增強(qiáng)實(shí)驗(yàn)：讓用戶可以直接操作教材圖表，讓他們可以改變物體的位置或電路元件的數(shù)值等，然后觀察其實(shí)時的變化情況。
動畫圖表：將靜態(tài)圖像變成循環(huán)動圖，展示隨時間的變化情況。
雙向綁定：將文本與圖像連接起來，讓它們變得可以操作。
參數(shù)可視化：在模擬圖表中按需生成不同參數(shù)的可視化結(jié)果。
Augmented Physics 的設(shè)計(jì)框架
如何根據(jù)靜態(tài)圖表創(chuàng)建互動式的動畫呢？Augmented Physics 是這么用的。
創(chuàng)建工作流
在 Augmented Physics 創(chuàng)建一個工作流程的步驟如下：
1. 導(dǎo)入教科書頁面
Augmented Physics 支持計(jì)算機(jī)端和移動端，你可以通過手機(jī)拍照上傳，也可以直接導(dǎo)入 PDF。
2. 選擇模擬類型
Augmented Physics 可以讓涉及運(yùn)動、光學(xué)和電路的相關(guān)圖像動起來。不屬于這些分類的圖像，「動畫」功能也能讓它動起來。
3. 提取并分割圖像
用戶可以在特定區(qū)域用方框和點(diǎn)把要動起來的區(qū)域畫出來。
4. 定義分割后的圖像
分割完成后，需要標(biāo)明分割出來的物體在整個系統(tǒng)中的角色，比如下面的這張透鏡成像圖，就標(biāo)記了焦點(diǎn) F、透鏡、和投影對象。
對于電路圖，Augmented Physics 可以通過圖像識別，自動識別電阻器和電池等元素。
5. 生成并運(yùn)行模擬。圖像分割完成并分配角色之后，系統(tǒng)會將分割得到的圖像轉(zhuǎn)換成適合物理模擬的多邊形，進(jìn)而生成模擬。如圖 7 中斜坡滑行的示例。
6. 通過參數(shù)操作與模擬實(shí)現(xiàn)交互。用戶可以靈活地調(diào)整模擬中的參數(shù)，例如動態(tài)對象的質(zhì)量、靜態(tài)對象的摩擦力和彈簧力常數(shù)。系統(tǒng)還可以識別文本或圖像中的參數(shù)值，使用戶能夠操作頁面上的數(shù)值。例如，在電路模擬中，用戶可以修改電阻和電池的值，以動態(tài)改變模擬結(jié)果。此外，該系統(tǒng)還能自動將文本中的數(shù)值鏈接到模擬中對象的特定屬性，并且用戶可以編輯這些屬性。
支持的增強(qiáng)功能
該系統(tǒng)支持以下功能：
增強(qiáng)實(shí)驗(yàn)：如下圖所示，用戶在選取電路圖后，該系統(tǒng)會生成一個覆蓋其上的模擬，用戶可以通過調(diào)整數(shù)值來與之交互。
動畫圖表：比如對于光的折射圖，用戶可以選擇一條光路，觀察光的路徑。
雙向綁定：下圖展示了一個運(yùn)動學(xué)圖表的雙向綁定示例。用戶選擇綁定一個數(shù)值，然后通過拖動可以調(diào)整這個值，然后系統(tǒng)會基于新的值運(yùn)行模擬。
參數(shù)可視化：圖中展示了單擺的參數(shù)可視化。用戶選擇單擺和可用參數(shù)后，該系統(tǒng)可以可視化其隨時間的變化情況。
實(shí)現(xiàn)
該系統(tǒng)主要包含兩個組件：使用 Python 的后端計(jì)算機(jī)視覺管道模塊和使用 React.js 開發(fā)的前端 Web 界面。
其中，計(jì)算機(jī)視覺模塊集成了廣泛使用的圖像分割模型 Segment-Anything，以及通過 OpenCV 定制開發(fā)的線和輪廓檢測算法。
前端和后端之間的通信通過 Firebase 實(shí)時數(shù)據(jù)庫實(shí)現(xiàn)，并允許根據(jù)提供的輸入坐標(biāo)處理圖像。得到的結(jié)果（包括提取的圖像、線條或點(diǎn)）隨后通過 Firebase 傳回。此外，該系統(tǒng)還會計(jì)算提取的圖像的邊界框和 X 和 Y 坐標(biāo)，并將這些數(shù)據(jù)傳輸?shù)角岸恕?/span>
對于文本識別和數(shù)值提取，他們使用了谷歌的 Cloud Vision API。然后，將頁面文本和提取的對象數(shù)據(jù)以 JSON 格式發(fā)送到 LLM（GPT-4），該 LLM 的作用是推薦模擬類型并根據(jù)文本自動設(shè)置模擬參數(shù)。
在原型設(shè)計(jì)和技術(shù)評估中，前端是 2022 版 14 英寸的 MacBook Air 上運(yùn)行的 Chrome 瀏覽器，后端是 Google Colab（CPU：Intel Xeon 4 核，GPU：Nvidia T4，RAM：50GB）。
技術(shù)評估
表 1 總結(jié)了技術(shù)評估結(jié)果。模擬不同元素的成功率如下：運(yùn)動學(xué)為 64%、光學(xué)為 44%、電路為 40%（經(jīng)過微小編輯后可提升至 62%）、動畫為 66%。
具體細(xì)節(jié)請參閱原論文。
用戶研究
初步用戶研究
在初步研究中，該團(tuán)隊(duì)評估了系統(tǒng)可用性得分 (SUS)、總體參與度和系統(tǒng)的有用性。新設(shè)計(jì)的系統(tǒng)獲得了 92.73 的總體 SUS 得分，標(biāo)準(zhǔn)差（SD）為 9.84。
參與者最喜歡功能的是參數(shù)可視化（平均值 (M)=6.8，SD=0.4）和雙向綁定（M=6.7/7，SD=0.67），其次是增強(qiáng)實(shí)驗(yàn)（M=6.0/7，SD=1.78）和動畫圖表（M=6.2，SD=1.07）（圖 13）。
總體而言，參與者認(rèn)為所有功能都很有用。
專家意見
該團(tuán)隊(duì)也詢問了專家的看法。他們普遍表示，該系統(tǒng)可以幫助他們?yōu)閷W(xué)生創(chuàng)建個性化的模擬。他們也給出了自己的反饋，總結(jié)如下：
- 補(bǔ)充在線資源，而不是替代；
- 擴(kuò)大實(shí)驗(yàn)展示的范圍；
- 通過獨(dú)立的自主導(dǎo)式探索讓學(xué)生參與進(jìn)來；
- 通過觀察促使學(xué)生提問；
- 需要在課堂演示之前驗(yàn)證模擬結(jié)果；
- 教師強(qiáng)調(diào)獨(dú)立思考，而不是拿到題還沒思考就立馬使用該系統(tǒng)。
真心希望該系統(tǒng)能早點(diǎn)投入實(shí)際應(yīng)用！
