在上物理課的時(shí)候，大家應(yīng)該都有過那種「圖太抽象了」的體會(huì)吧，需要靠空間想象力才能感受到出題人的想法。

而在電子教學(xué)時(shí)代，物理圖可以是動(dòng)態(tài)、可交互的，有助于更深入地理解復(fù)雜原理，能夠比教科書或視頻提供更豐富、更難忘的學(xué)習(xí)體驗(yàn)，也可以讓學(xué)生更積極參與到復(fù)雜概念的實(shí)驗(yàn)中，

但是創(chuàng)建交互式模擬既耗時(shí)又需要大量的編程工作，所以大部分教學(xué)場(chǎng)景只能用已經(jīng)制作好的模擬圖，有時(shí)無法完全滿足學(xué)生對(duì)學(xué)習(xí)材料的特定需求，甚至切換教科書和外部交互視頻的過程還會(huì)分散學(xué)生注意力。

最近，卡爾加里大學(xué)、科羅拉多大學(xué)博爾德分校及Adobe的研究人員提出了一個(gè)全新的方法增強(qiáng)物理（Augmented Physics），通過從靜態(tài)教科書圖表中提取和增強(qiáng)內(nèi)容來創(chuàng)建交互式物理模擬；利用「Segment-Anything」和多模態(tài)LLM等先進(jìn)的計(jì)算機(jī)視覺技術(shù)，可以半自動(dòng)地從教科書頁(yè)面中提取圖表，并基于提取的內(nèi)容生成交互式模擬。

論文鏈接：https://arxiv.org/pdf/2405.18614

簡(jiǎn)單來說，這種增強(qiáng)實(shí)驗(yàn)的功能就像是給教科書里的靜態(tài)圖像增添了生命力，學(xué)生們不再只是被動(dòng)地閱讀和觀看圖像，而是能夠親手操作這些圖像中的元素，進(jìn)行實(shí)驗(yàn)。

比如，學(xué)生可以把一個(gè)物體在虛擬的模擬環(huán)境中移動(dòng)到透鏡旁邊，親眼看到圖像是如何變化的。在電路的學(xué)習(xí)中，也可以調(diào)整電路中的電壓和電阻，實(shí)時(shí)看到電流的變化，這樣的互動(dòng)方式使得學(xué)習(xí)過程更加直觀和有趣。

該系統(tǒng)可以支持各種類型的模擬，如牛頓運(yùn)動(dòng)、光學(xué)、電路和循環(huán)動(dòng)畫，并通過簡(jiǎn)單的創(chuàng)作過程，用戶可以選擇圖表中的特定對(duì)象進(jìn)行分割，操縱分割對(duì)象，并調(diào)整參數(shù)值以動(dòng)態(tài)與模擬結(jié)果互動(dòng)。

體驗(yàn)感最好的是，交互式視覺輸出直接通過基于網(wǎng)絡(luò)的界面無縫疊加到教科書PDF上，學(xué)生可以很方便地學(xué)習(xí)、實(shí)驗(yàn)，而無需尋找外部材料。

通過與七位物理教師的引導(dǎo)研究，文中探索了四種關(guān)鍵的增強(qiáng)策略：增強(qiáng)實(shí)驗(yàn)、動(dòng)畫圖表、雙向綁定、參數(shù)可視化，然后通過對(duì)系統(tǒng)進(jìn)行技術(shù)評(píng)估、可用性研究（N=12）和專家訪談（N=12）來評(píng)估系統(tǒng)，結(jié)果表明，該系統(tǒng)可以促進(jìn)物理教育中更具吸引力和個(gè)性化的學(xué)習(xí)體驗(yàn)。

增強(qiáng)物理：系統(tǒng)設(shè)計(jì)

步驟1：導(dǎo)入教科書圖表

用戶通過網(wǎng)頁(yè)界面導(dǎo)入圖表，系統(tǒng)支持包括桌面和移動(dòng)設(shè)備，用戶也可以上傳教科書頁(yè)面的PDF文件，或者使用智能手機(jī)拍攝并上傳教科書頁(yè)面的照片。

步驟2：選擇模擬類型

導(dǎo)入圖表后，系統(tǒng)會(huì)要求用戶從可用選項(xiàng)中選擇模擬類型：運(yùn)動(dòng)學(xué)、光學(xué)和電路；系統(tǒng)還額外提供動(dòng)畫選項(xiàng)，以適用于不需要特定模擬類型的場(chǎng)景。

步驟3：分割圖像

用戶通過在圖表上選擇特定區(qū)域（用方框或點(diǎn)選）來啟動(dòng)分割。

例如，用戶可能選擇一棵樹和一個(gè)透鏡，從光學(xué)相關(guān)的圖表中分割出這些對(duì)象。在另一個(gè)例子中，用戶可以分割與牛頓運(yùn)動(dòng)相關(guān)的圖表中的各種對(duì)象，如物體和斜坡；用戶還可以分割一條線來提取路徑，創(chuàng)建跟隨線條的動(dòng)畫。

步驟4：為分割對(duì)象分配角色

分割完成后，用戶為每個(gè)分割的對(duì)象分配一個(gè)標(biāo)簽，在模擬中提供特定角色；系統(tǒng)為每種模擬類型提供了一組可用的角色，供用戶選擇。

例如，在光學(xué)模擬中，用戶可能將一棵樹標(biāo)記為要投影的物體，將透鏡簡(jiǎn)單地標(biāo)記為透鏡，將一個(gè)點(diǎn)標(biāo)記為焦點(diǎn)。

在與重力相關(guān)的情境中，分割的項(xiàng)目可以被分類為受重力影響的動(dòng)態(tài)物體，或保持靜止的靜態(tài)物體，還可以使用彈簧或繩子等標(biāo)簽用于運(yùn)動(dòng)學(xué)圖表；對(duì)于電路模擬，系統(tǒng)使用圖像識(shí)別自動(dòng)對(duì)對(duì)象（如電阻和電池）進(jìn)行分類。

步驟5：生成和運(yùn)行模擬

用戶分割圖像并分配角色后，系統(tǒng)會(huì)將分割的圖像轉(zhuǎn)換成具有適當(dāng)物理屬性的多邊形，生成模擬。

系統(tǒng)可以精確復(fù)制滑雪者和斜坡，分別創(chuàng)建動(dòng)態(tài)和靜態(tài)物體的多邊形，能夠確保模擬與原始圖表無縫集成，實(shí)現(xiàn)形狀和位置的對(duì)齊；用戶可以通過點(diǎn)擊運(yùn)行按鈕或與渲染的多邊形互動(dòng)來啟動(dòng)模擬，觀察動(dòng)態(tài)的視覺輸出，點(diǎn)擊模擬對(duì)象，并選擇更改參數(shù)。

步驟6：通過參數(shù)操作與模擬互動(dòng)

用戶可以靈活地調(diào)整模擬內(nèi)的參數(shù)。根據(jù)不同的角色，不同的對(duì)象帶有各種參數(shù)，如動(dòng)態(tài)物體的質(zhì)量、靜態(tài)物體的摩擦力和彈簧的力常數(shù)。

系統(tǒng)可以在文本或圖像中識(shí)別參數(shù)值，使用戶能夠操縱頁(yè)面上的數(shù)值。例如，在電路模擬中，用戶可以修改電阻和電池的值，動(dòng)態(tài)更改模擬結(jié)果；系統(tǒng)自動(dòng)將文本中的數(shù)值與模擬中對(duì)象的特定屬性鏈接起來，用戶可以編輯這些屬性。

增強(qiáng)特性

動(dòng)態(tài)圖示（Animated Diagrams）

提供了一種創(chuàng)建循環(huán)動(dòng)畫的方法，用戶可以為分割對(duì)象指定路徑，然后創(chuàng)建模擬運(yùn)動(dòng)的動(dòng)畫。

通過分割對(duì)象并為動(dòng)畫定義路徑，可以讓光線根據(jù)角度的不同而沿著各種反射路徑傳播，該特性也使得用戶能夠直接從教科書內(nèi)容中創(chuàng)建出有吸引力的動(dòng)畫，比如地球繞太陽(yáng)旋轉(zhuǎn)；并且與受限于可用模擬的增強(qiáng)實(shí)驗(yàn)不同，動(dòng)態(tài)圖示可以應(yīng)用于任何圖示。

雙向綁定（Bi-directional Binding）

作者可以將文本中的參數(shù)值與相關(guān)的模擬實(shí)驗(yàn)相鏈接，學(xué)生能夠直接在文本中調(diào)整這些值，并實(shí)時(shí)觀察變化。

剛開始的時(shí)候系統(tǒng)會(huì)識(shí)別并高亮顯示提供的圖像中的所有數(shù)字供作者選擇，然后作者可以從文本中選擇一個(gè)特定的數(shù)值，并通過一個(gè)下拉菜單為其分配一個(gè)模擬屬性，菜單中顯示所有可用的屬性。

上圖中，用戶將文本中的值綁定到壓縮屬性上，系統(tǒng)能夠使用這個(gè)值來模擬場(chǎng)景，然后通過改變彈簧的壓縮程度，為學(xué)習(xí)者提供了一種直觀的方式來理解參數(shù)變化對(duì)實(shí)驗(yàn)結(jié)果的影響。

參數(shù)可視化（Parameter Visualization）

系統(tǒng)通過一個(gè)基本的時(shí)間序列圖表來實(shí)現(xiàn)，可以讓作者通過動(dòng)態(tài)圖表來展示選定的值，比如用戶觀察到一個(gè)圖表，描繪擺錘在接近其平衡位置時(shí)，其角度在簡(jiǎn)諧運(yùn)動(dòng)中的變動(dòng)。

該功能類似于一個(gè)動(dòng)態(tài)的進(jìn)度條，以圖形的方式展示了某個(gè)變量（比如擺錘的角度）隨時(shí)間的變化情況，幫助用戶更直觀地理解動(dòng)態(tài)過程中的數(shù)值變化。

實(shí)驗(yàn)結(jié)果

根據(jù)技術(shù)評(píng)估結(jié)果，不同模擬組件的成功率為：運(yùn)動(dòng)學(xué)為64%，光學(xué)為44%，電路為40%（62%經(jīng)過輕微編輯后成功），動(dòng)畫為66%；其中對(duì)象分割的成功率高達(dá)86%

其中對(duì)象分割的成功率高達(dá)86%，也顯著促進(jìn)了運(yùn)動(dòng)學(xué)、光學(xué)和動(dòng)畫組件的相對(duì)更高成功率，在運(yùn)動(dòng)學(xué)中，多邊形生成和放置的成功率分別為72%和70%，通過適當(dāng)?shù)姆指钣行У剞D(zhuǎn)換成了可進(jìn)行物理模擬的實(shí)體。

然而，由于某些特性的支持限制（6%），如旋轉(zhuǎn)運(yùn)動(dòng)、特定物體的重力、不支持的物體如繩索，以及模擬曲面平滑性的問題，運(yùn)動(dòng)學(xué)模擬仍然有困難。

此外，有74%的圖表僅需要進(jìn)行輕微調(diào)整，如修改模擬參數(shù)才能獲得準(zhǔn)確的模擬結(jié)果，沒有任何創(chuàng)作和修改過程的成功率為40%；盡管使用了相同的「Segment Anything」技術(shù)，線分割的成功率卻較低。

電路模擬流程采用線檢測(cè)方法來定位和識(shí)別導(dǎo)線，并結(jié)合Gemini模型來檢測(cè)符號(hào)，其中線檢測(cè)的成功率較低為45%，導(dǎo)致整體模擬成功率在進(jìn)行輕微連接編輯后為62%；沒有任何編輯的情況下，流程的成功率為40%，主要是因?yàn)閳D表中的導(dǎo)線重疊或交叉，而符號(hào)識(shí)別的準(zhǔn)確度相當(dāng)高為72%