在自動(dòng)駕駛領(lǐng)域，高精度仿真系統(tǒng)扮演著 “虛擬練兵場” 的角色。工程師需要在數(shù)字世界中模擬暴雨、擁堵、突發(fā)事故等極端場景，反復(fù)驗(yàn)證算法的可靠性。

然而，傳統(tǒng)仿真技術(shù)往往面臨兩大難題：首先是視角局限，依賴單一軌跡數(shù)據(jù)，如一條固定路線的攝像頭錄像，重建的場景只能在有限視角內(nèi)逼真，無法支持車輛 “自由探索”。其次是動(dòng)態(tài)失真，同一路口在不同時(shí)間可能停滿車輛或空無一人，這些變化使得生成畫面脫離現(xiàn)實(shí)。

為解決這一問題，上海創(chuàng)智學(xué)院聯(lián)合香港大學(xué)等機(jī)構(gòu)聯(lián)合提出 MTGS （Multi-Traversal Gaussian Splatting）方法，通過多軌跡數(shù)據(jù)融合，構(gòu)建既能還原真實(shí)道路細(xì)節(jié)又能動(dòng)態(tài)響應(yīng)環(huán)境變化的超高精度仿真場景。

日常通勤中，車輛往往會(huì)以不同的軌跡反復(fù)經(jīng)過同一路段；而用于采集駕駛數(shù)據(jù)的車隊(duì)也往往會(huì)在同一街區(qū)多次遍歷，每輛車在不同時(shí)間從不同的角度記錄了當(dāng)前街區(qū)的信息。因此，使用多軌跡數(shù)據(jù)能獲取到更多周圍環(huán)境的信息。然而，實(shí)驗(yàn)發(fā)現(xiàn)，簡單地堆疊數(shù)據(jù)并不能帶來重建效果的提升，反而可能損傷單軌跡下重建的場景模型，原因之一是這些數(shù)據(jù)在天氣、光照上有較大差異，無法很好地對齊。而 MTGS 的核心創(chuàng)新，正是將這些碎片化的 “數(shù)字拼圖” 智能整合，使不同軌跡采集到的幾何信息能互相補(bǔ)足，重建出幾何信息更精準(zhǔn)的駕駛場景。

• arXiv 鏈接：https://arxiv.org/abs/2503.12552
• 代碼、checkpoint 等即將開源

基于多個(gè)軌跡的場景異質(zhì)圖

MTGS 將同一個(gè)場景中的元素集合在一個(gè)異質(zhì)圖中，并針對不同場景元素的特點(diǎn)分成三類節(jié)點(diǎn)，靜態(tài)節(jié)點(diǎn)、外觀節(jié)點(diǎn)、瞬態(tài)節(jié)點(diǎn)。這種 “分而治之” 的設(shè)計(jì)，使得 MTGS 既能還原道路的原有特征，又能靈活地呈現(xiàn)瞬息萬變的車流與環(huán)境。

靜態(tài)節(jié)點(diǎn) - 所有軌跡共享的靜態(tài)背景，如瀝青路面、交通標(biāo)志。

外觀節(jié)點(diǎn) - 通過球諧函數(shù)系數(shù)調(diào)整光照、陰影，適配多軌跡對應(yīng)不同時(shí)段的天氣變化和光照差異。

瞬態(tài)節(jié)點(diǎn) - 各次軌跡獨(dú)有的移動(dòng)物體，如穿梭的車輛、臨時(shí)停靠的快遞車。

其中，靜態(tài)節(jié)點(diǎn)和外觀節(jié)點(diǎn)共同決定表征靜態(tài)背景的高斯球，前者提供高斯球的位置、旋轉(zhuǎn)四元數(shù)、尺寸、透明度和球諧函數(shù)的首個(gè)參數(shù)，后者則決定球諧函數(shù)的其他參數(shù)。這一設(shè)計(jì)源自球諧函數(shù)自身的特性：第一個(gè)球諧函數(shù) Y_0,0 具備旋轉(zhuǎn)不變性，可用于表征物體的本色或底色；其他球諧函數(shù)則會(huì)隨著觀察視角的變化而有所變化，更適合表征物體在不同軌跡不同視角上的色彩變化，如陰影、反光等細(xì)節(jié)。

同一軌跡中的外觀對齊

除了多軌跡間的光照差異，同一軌跡內(nèi)部也存在外觀不對齊的情況，如部分相機(jī)過度曝光、不同相機(jī)間的色調(diào)差異。MTGS 創(chuàng)新性地利用激光雷達(dá)點(diǎn)云顏色作為 “錨點(diǎn)”，將同一空間點(diǎn)在同一時(shí)刻不同相機(jī)中的顏色對齊，并為每個(gè)相機(jī)學(xué)習(xí)獨(dú)立的仿射變換，確保不同時(shí)刻采集的圖片色調(diào)統(tǒng)一。

此外，為避免模型產(chǎn)生 “浮空碎片” 等失真現(xiàn)象，MTGS 還引入多重約束：（1）用激光雷達(dá)點(diǎn)云矯正三維形狀，確保路沿、護(hù)欄等結(jié)構(gòu)精確對齊；（2）使用 UniDepth 對圖像進(jìn)行深度估計(jì)，使用估計(jì)深度計(jì)算得到每個(gè)像素的法向量方向，從而通過相鄰像素的法向量約束，讓曲面過渡更自然（如車頂弧度）；（3）將移動(dòng)物體的陰影從背景中分離，防止 “鬼影” 殘留。這些技術(shù)讓重建效果提升 46.3%，合成畫面中的鋸齒、重影等問題顯著減少。

實(shí)測效果：數(shù)字與現(xiàn)實(shí)的 “像素級逼近”

在 nuPlan 大規(guī)模自動(dòng)駕駛數(shù)據(jù)集上的測試顯示，MTGS 在多項(xiàng)指標(biāo)上刷新紀(jì)錄。在畫面質(zhì)量方面，感知相似度（LPIPS）提升 23.5%。在幾何精度方面，深度誤差降低 46.3%，護(hù)欄間距、車道寬度等細(xì)節(jié)厘米級還原。在動(dòng)態(tài)響應(yīng)方面，支持每秒 60 幀的實(shí)時(shí)渲染，車流密度變化、行人突然穿行等場景流暢呈現(xiàn)。