本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

盡管在從運(yùn)動模糊圖像中重建清晰的3D場景方面取得了重大進(jìn)展，但向現(xiàn)實世界應(yīng)用的過渡仍然具有挑戰(zhàn)性。主要障礙源于嚴(yán)重的模糊，這導(dǎo)致通過“Structure-from-Motion”獲取初始相機(jī)位姿的不準(zhǔn)確，這是以前的方法經(jīng)常忽略的一個關(guān)鍵方面。為了應(yīng)對這一挑戰(zhàn)，我們提出了DeblurGS，這是一種從運(yùn)動模糊圖像中優(yōu)化清晰的3D GS的方法，即使在有噪聲的相機(jī)位姿初始化的情況下也是如此。我們通過利用3D GS的卓越重建能力來恢復(fù)細(xì)粒度的清晰場景。DeblurGS估計每個模糊觀測的6自由度相機(jī)運(yùn)動，并為優(yōu)化過程合成相應(yīng)的模糊渲染。此外，我們提出了高斯密集退火策略，以防止在相機(jī)運(yùn)動仍然不精確的早期訓(xùn)練階段，在錯誤的位置產(chǎn)生不精確的高斯。綜合實驗表明，我們的DeblurGS在真實世界和合成基準(zhǔn)數(shù)據(jù)集以及現(xiàn)場捕捉的模糊視頻的去模糊和新穎視圖合成方面實現(xiàn)了最先進(jìn)的性能。

總結(jié)來說，DeblurGS的主要貢獻(xiàn)如下：

• 我們提出了DeblurGS，這是第一個從運(yùn)動模糊圖像中優(yōu)化清晰3D場景的3D GS管道。
• 我們采用高斯密集退火策略來優(yōu)化輸入模糊圖像的噪聲初始相機(jī)位姿。
• 我們通過對現(xiàn)場拍攝的、快速移動的真實世界視頻進(jìn)行實驗，展示了DeblurGS的實用性。

相關(guān)工作回顧

圖像去模糊圖像去模糊是圖像恢復(fù)領(lǐng)域的基本任務(wù)之一。從模糊輸入中恢復(fù)清晰圖像的傳統(tǒng)深度學(xué)習(xí)方法是CNN或基于變換器的監(jiān)督學(xué)習(xí)。然而，這些方法需要大量的訓(xùn)練數(shù)據(jù)與清晰的地面實況圖像配對，并且去模糊的質(zhì)量取決于數(shù)據(jù)的規(guī)模。此外，由于領(lǐng)域差距問題，這些方法往往難以在不同條件下進(jìn)行泛化，這使得它們在不同的現(xiàn)實世界場景中的性能不一致。相比之下，我們的DeblurGS框架偏離了傳統(tǒng)的數(shù)據(jù)驅(qū)動范式，消除了對由大規(guī)模數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的需求，并且本質(zhì)上不受領(lǐng)域差距問題的影響。

NeRF和3D GS：NeRF由于其照片逼真的視圖合成結(jié)果而在3D視覺領(lǐng)域引起了極大的關(guān)注。NeRF的核心策略是利用可微體渲染技術(shù)優(yōu)化神經(jīng)隱式表示。幾種后續(xù)方法旨在提高渲染質(zhì)量，而該研究的其他分支致力于減輕NeRF框架耗時的訓(xùn)練和渲染速度]，將渲染速度提高幾個數(shù)量級。最近，3DGS增強(qiáng)了輻射場模型的變體，并實現(xiàn)了詳細(xì)的重建性能和實時渲染速度。通過用高效且具有確定性的光柵化取代NeRF的光線行進(jìn)，3DGS在不損失視覺質(zhì)量的情況下實現(xiàn)了實時渲染。我們的DeblurGS還建立在3DGS管道上，用于從模糊的觀察中恢復(fù)潛在清晰場景的細(xì)粒度模式，并執(zhí)行重建場景的實時渲染。

模糊的3D重建：最近，基于NeRF的去模糊方法試圖從模糊的多視圖圖像中重建清晰的3D場景。基于NeRF的方法將每個圖像的模糊操作與解釋所有模糊輸入的清晰3D場景聯(lián)合優(yōu)化。DeblurNeRF和DP-NeRF采用2D逐像素模糊核估計器，BADNeRF和ExBluRF直接估計每個輸入圖像的相機(jī)軌跡。盡管有令人印象深刻的新穎視圖合成和去模糊性能，但基于NeRF的方法仍面臨著從不準(zhǔn)確的初始姿態(tài)優(yōu)化場景的挑戰(zhàn)，這是一個自然的假設(shè)，考慮到如果給出模糊視圖，SfM管道會估計錯誤的相機(jī)位姿。我們的DeblurGS通過采用高斯密集退火策略，從錯誤姿勢中恢復(fù)清晰的3D場景。

DeblurGS簡介

我們介紹了DeblurGS，這是一種從相機(jī)運(yùn)動模糊圖像中優(yōu)化基于清晰高斯飛濺的3D場景的方法?？紤]到由于相機(jī)運(yùn)動而模糊的多視圖觀察，我們的目標(biāo)是恢復(fù)清晰的3D場景。為此，我們采用3DGS作為場景表示，以細(xì)粒度細(xì)節(jié)實現(xiàn)3D場景的真實感恢復(fù)，并結(jié)合潛在的相機(jī)運(yùn)動對3DGS進(jìn)行聯(lián)合優(yōu)化。我們在第3.1節(jié)中簡要介紹了3DGS。接下來，我們在第3.2節(jié)中介紹了一種模糊視圖合成方法，該方法通過估計相機(jī)運(yùn)動并根據(jù)近似運(yùn)動累積子幀渲染。我們在第3.3節(jié)中介紹了優(yōu)化過程，重點介紹了從錯誤姿態(tài)進(jìn)行優(yōu)化的高斯密集退火策略。最后，我們在第3.4節(jié)中推導(dǎo)了優(yōu)化的損失項。我們在圖2中提供了訓(xùn)練的概述。

Blurry View Synthesis

我們的目標(biāo)是使用給定的運(yùn)動模糊輸入來優(yōu)化清晰的高斯飛濺。從物理上講，相機(jī)運(yùn)動模糊是由相機(jī)運(yùn)動過程中的輻照度積分產(chǎn)生的，如手抖或顫抖。因此，模糊圖像的獲取由曝光時間內(nèi)時變6自由度相機(jī)位姿的輻照度的積分表示。

我們估計了解釋運(yùn)動模糊的6自由度相機(jī)軌跡，以準(zhǔn)確模擬方程（4）中描述的模糊操作。根據(jù)ExBluRF，我們用李代數(shù)空間se（3）中的Bézier曲線對相機(jī)的剛性運(yùn)動進(jìn)行參數(shù)化。然而，我們發(fā)現(xiàn)，即使我們使用Bézier曲線準(zhǔn)確估計相機(jī)軌跡，由于相機(jī)姿態(tài)沿軌跡的采樣位置不同，模糊圖像也不是唯一合成的，如圖3所示。因此，我們定義了子幀對齊參數(shù)，該參數(shù)校準(zhǔn)估計軌跡上的每個相機(jī)姿勢，以與時間t處的潛在相機(jī)姿勢對齊：

我們使用等式4應(yīng)用對準(zhǔn)參數(shù)的定義來公式化運(yùn)動模糊圖像B：

Optimization from Inaccurate Poses

高斯密集退火：由于傳統(tǒng)的特征匹配算法是對模糊圖像中的噪聲特征進(jìn)行的，因此COLMAP獲得的初始姿態(tài)是錯誤的?？紤]到不準(zhǔn)確的初始姿態(tài)，相機(jī)運(yùn)動的聯(lián)合估計會導(dǎo)致在優(yōu)化的早期階段在不正確的位置產(chǎn)生高斯。具體而言，如果相對于高斯位置的梯度超過致密化閾值θ，則高斯被一分為二。因此，處于錯誤位置的高斯試圖擬合來自錯誤位置的訓(xùn)練圖像，從而破壞了優(yōu)化過程。為了防止在不正確的位置產(chǎn)生過早的高斯分裂，我們采用了致密化閾值θ的退火策略。我們從較高的初始θ逐漸退火θ，當(dāng)相機(jī)運(yùn)動充分優(yōu)化時，可以實現(xiàn)更精細(xì)的致密化。θ的退火策略在場景試圖通過致密化來表示精細(xì)細(xì)節(jié)之前，優(yōu)先考慮相機(jī)運(yùn)動的精確優(yōu)化，從而減輕高斯在錯誤位置造成的干擾。

Loss Functions

重建損失：

Temporal Smoothness Loss：

整體損失

實驗

結(jié)論

本文提出了DeblurGS，一種從運(yùn)動模糊圖像集合中重建清晰3D場景的方法。我們模擬相機(jī)運(yùn)動以合成模糊視圖，并通過最小化給定模糊觀察和生成的模糊之間的距離來優(yōu)化3D高斯散射。通過我們的高斯密集退火策略，相機(jī)運(yùn)動收斂于潛在的相機(jī)運(yùn)動，甚至從嘈雜的相機(jī)姿勢初始化，這是模糊觀測的SfM的自然結(jié)果。從不精確的姿勢進(jìn)行優(yōu)化的能力突出了我們框架的實用性，展示了用智能手機(jī)拍攝的視頻的成功去模糊。DeblurGS在清晰的3D場景重建任務(wù)中優(yōu)于所有現(xiàn)有方法，在實驗和實際環(huán)境中都達(dá)到了最先進(jìn)的水平。