本論文的第一作者朱欽峰是西交利物浦大學(xué)和利物浦大學(xué)聯(lián)合培養(yǎng)的一年級在讀博士，其導(dǎo)師為范磊副教授。他的主要研究方向?yàn)檎Z義分割、多模態(tài)信息融合、3D視覺、高光譜圖像和數(shù)據(jù)增強(qiáng)。

本文是對發(fā)表于模式識別領(lǐng)域頂刊Pattern Recognition 2024的最新綜述論文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解讀。

該論文由西交利物浦大學(xué)朱欽峰、范磊和翁寧馨完成。

這篇綜述首次全面總結(jié)了點(diǎn)云數(shù)據(jù)增強(qiáng)的相關(guān)研究工作。

深度學(xué)習(xí)已成為點(diǎn)云分析任務(wù)（如檢測、分割和分類）的主流和有效方法之一。為了減少在訓(xùn)練深度學(xué)習(xí)模型過程中的過擬合，特別是在訓(xùn)練數(shù)據(jù)量或多樣性有限的情況下提高模型性能，數(shù)據(jù)增強(qiáng)通常是關(guān)鍵。盡管各種點(diǎn)云數(shù)據(jù)增強(qiáng)方法已在不同的點(diǎn)云處理任務(wù)中廣泛應(yīng)用，但目前尚未發(fā)布這些方法的系統(tǒng)性綜述或討論。

因此，本文對這些方法進(jìn)行了調(diào)研，將其分類到一個包含基礎(chǔ)和特定點(diǎn)云數(shù)據(jù)增強(qiáng)方法的分類框架中。通過對這些增強(qiáng)方法的全面評估，本文確定了它們的潛力和局限性，為選擇合適的增強(qiáng)方法提供了有用的參考。

此外，本文還探討了未來研究的潛在方向。本調(diào)研有助于提供點(diǎn)云數(shù)據(jù)增強(qiáng)當(dāng)前研究的全面概覽，促進(jìn)其更廣泛的應(yīng)用和發(fā)展。

Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM

arXiv：https://arxiv.org/pdf/2308.12113

作者主頁：https://zhuqinfeng1999.github.io/

圖1.點(diǎn)云數(shù)據(jù)增強(qiáng)方法的分類。

點(diǎn)云數(shù)據(jù)增強(qiáng)

在深度學(xué)習(xí)領(lǐng)域，當(dāng)可用的訓(xùn)練數(shù)據(jù)集有限時(shí)，數(shù)據(jù)增強(qiáng)常被使用。這涉及執(zhí)行一系列特定的操作來修改或擴(kuò)展原始數(shù)據(jù)，從而增加數(shù)據(jù)集的數(shù)量和多樣性。

由于優(yōu)質(zhì)的增強(qiáng)數(shù)據(jù)集有助于提高網(wǎng)絡(luò)的魯棒性、增強(qiáng)泛化能力并減少過擬合，因此在訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)，數(shù)據(jù)增強(qiáng)幾乎總是被視為理想的選擇。在圖像數(shù)據(jù)增強(qiáng)和文本數(shù)據(jù)增強(qiáng)領(lǐng)域，已經(jīng)觀察到了全面的發(fā)展。

在眾多近期發(fā)表的關(guān)于點(diǎn)云處理任務(wù)的研究論文中，研究人員探索了各種增強(qiáng)點(diǎn)云數(shù)據(jù)的方法。這些方法的廣泛范圍為研究者在選擇合適的方法時(shí)帶來了挑戰(zhàn)。因此，系統(tǒng)地調(diào)查這些方法并將它們分類成不同組別具有重要價(jià)值。

本文呈現(xiàn)了一個關(guān)于點(diǎn)云數(shù)據(jù)增強(qiáng)方法的全面調(diào)查。

基于我們的調(diào)查，我們提出了一個這些增強(qiáng)方法的分類體系，如圖1所示。

增強(qiáng)方法可以被分為兩個主要類別：基礎(chǔ)點(diǎn)云增強(qiáng)和特定點(diǎn)云增強(qiáng)，這與圖像增強(qiáng)的典型分類方法相似。

基礎(chǔ)點(diǎn)云增強(qiáng)指的是那些概念簡單且在不同任務(wù)和應(yīng)用環(huán)境中具有普適性的方法，這一點(diǎn)通過它們在調(diào)查文獻(xiàn)中與其他方法的廣泛結(jié)合使用得到了證明。

特定點(diǎn)云增強(qiáng)則指通常為解決特定挑戰(zhàn)或應(yīng)對特定應(yīng)用環(huán)境而開發(fā)的方法。在大多數(shù)情況下，特定點(diǎn)云增強(qiáng)在計(jì)算上比基礎(chǔ)增強(qiáng)更為復(fù)雜，這取決于增強(qiáng)方法的實(shí)現(xiàn)細(xì)節(jié)。我們提出的分類體系中的子類別代表了文獻(xiàn)中已用于點(diǎn)云數(shù)據(jù)增強(qiáng)的各種方法的總結(jié)，或具有潛力被用于點(diǎn)云數(shù)據(jù)增強(qiáng)的方法。

該綜述的主要貢獻(xiàn)如下：

• 這是第一篇全面調(diào)查點(diǎn)云數(shù)據(jù)增強(qiáng)方法的綜述，涵蓋了點(diǎn)云數(shù)據(jù)增強(qiáng)的最新進(jìn)展。根據(jù)增強(qiáng)操作的特質(zhì)，我們提出了一個點(diǎn)云數(shù)據(jù)增強(qiáng)方法的分類體系。
• 本研究總結(jié)了各種點(diǎn)云數(shù)據(jù)增強(qiáng)方法，討論了它們在典型的點(diǎn)云處理任務(wù)（如檢測、分割和分類）中的應(yīng)用，并為未來的潛在研究提供了建議。

基礎(chǔ)點(diǎn)云增強(qiáng)

仿射變換涉及到仿射空間的變換，它保留了共線性和距離比例。在圖像數(shù)據(jù)增強(qiáng)中，常用的仿射變換方法包括縮放、平移、旋轉(zhuǎn)、翻轉(zhuǎn)和剪切。同樣地，仿射變換也可以應(yīng)用于點(diǎn)云數(shù)據(jù)增強(qiáng)。典型的方法包括平移、旋轉(zhuǎn)、翻轉(zhuǎn)和縮放，并且這些方法已被廣泛用于生成額外的新訓(xùn)練數(shù)據(jù)。

這些操作可以應(yīng)用于整個點(diǎn)云數(shù)據(jù)集，也可以使用特定策略應(yīng)用于點(diǎn)云數(shù)據(jù)中選定的實(shí)例（實(shí)例指的是諸如圖2（a）所示的車輛這樣的語義對象），或者應(yīng)用于選定實(shí)例的特定部分。

但是，通過仿射變換增強(qiáng)的數(shù)據(jù)可能面臨信息丟失或語義不合理的問題。這些仿射變換的具體操作及其討論詳見論文。

圖2.通過仿射變換增強(qiáng)點(diǎn)云數(shù)據(jù)的示例:(a)原始點(diǎn)云數(shù)據(jù)，(b)平移車輛，(c)旋轉(zhuǎn)車輛，(d)縮放車輛，(e)翻轉(zhuǎn)場景。

丟棄增強(qiáng)是指丟棄點(diǎn)云數(shù)據(jù)中的一些數(shù)據(jù)點(diǎn)，如圖3所示。去除點(diǎn)的選擇是由具體策略決定的。丟棄的點(diǎn)可以是整個點(diǎn)云數(shù)據(jù)的一部分，也可以是場景中隨機(jī)選擇的點(diǎn)。丟棄增強(qiáng)有助于深度學(xué)習(xí)模型對表示遮擋或部分可見場景的缺失或不完整數(shù)據(jù)變得更加魯棒。

它還可以防止深度學(xué)習(xí)模型過于依賴訓(xùn)練數(shù)據(jù)集中的特定數(shù)據(jù)點(diǎn)。然而，丟失過多或關(guān)鍵的點(diǎn)云信息可能會導(dǎo)致訓(xùn)練數(shù)據(jù)中對現(xiàn)實(shí)世界對象的不真實(shí)表示，并影響深度學(xué)習(xí)模型的訓(xùn)練?；趤G棄增強(qiáng)的各種方法和討論詳見論文。

圖3.通過丟棄增強(qiáng)的點(diǎn)增強(qiáng)示例:(a)原始點(diǎn)云數(shù)據(jù)，(b)隨機(jī)丟棄的增強(qiáng)點(diǎn)云，(c)丟棄部分的增強(qiáng)點(diǎn)云。

抖動是指對點(diǎn)云中單個點(diǎn)的位置施加微小的擾動或噪聲，如圖4所示?；诙秳釉鰪?qiáng)的各種方法和討論詳見論文。

圖4.抖動增強(qiáng)示例:(a)原始點(diǎn)云數(shù)據(jù)，(b)抖動增強(qiáng)的點(diǎn)云數(shù)據(jù)。

在場景級的點(diǎn)云數(shù)據(jù)集中，例如戶外自動駕駛場景，標(biāo)注的實(shí)例通常是有限的。在這種情況下，GT-sampling成為一種簡單而有效的數(shù)據(jù)增強(qiáng)方法。

GT-sampling是指將帶有標(biāo)簽的實(shí)例添加到訓(xùn)練數(shù)據(jù)集中的操作，如圖5所示，標(biāo)記的GT實(shí)例來自同一訓(xùn)練數(shù)據(jù)集或其他數(shù)據(jù)集。GT-sampling通常適用于場景級點(diǎn)云數(shù)據(jù)集，而通常不考慮實(shí)例級點(diǎn)云數(shù)據(jù)集，如ShapeNet?；贕T-sampling增強(qiáng)的各種方法和討論詳見論文。

圖5.(a)語義合理的GT-sampling，添加的車輛在紅框中。(b) 語義不合理的GT-sampling，一輛車在建筑物墻體內(nèi)，另一輛在樹木中。

除此以外，本文還介紹了應(yīng)用于基礎(chǔ)點(diǎn)云數(shù)據(jù)增強(qiáng)方法的策略，如Patch-based策略，和自動優(yōu)化策略（見圖6）。本文對典型的基礎(chǔ)點(diǎn)云增強(qiáng)方法進(jìn)行了匯總，如表1所示。

圖6.自動優(yōu)化的常見過程。

表1.代表性基礎(chǔ)點(diǎn)云增強(qiáng)方法。

特定點(diǎn)云增強(qiáng)

特定點(diǎn)云增強(qiáng)方法通常旨在解決特定的挑戰(zhàn)或應(yīng)用場景。特定點(diǎn)云增強(qiáng)包括：Mixup增強(qiáng)，域增強(qiáng)，對抗性變形增強(qiáng)，上采樣增強(qiáng)，補(bǔ)全增強(qiáng)，生成增強(qiáng)，多模態(tài)增強(qiáng)和其他。

這些特定增強(qiáng)方法的具體定義以及討論詳見文中。表2概述了具有代表性的特定增強(qiáng)方法的發(fā)展，提供了各種信息。

表2.代表性特定點(diǎn)云增強(qiáng)方法。

需要注意的是，目前一些對抗性變形、上采樣、補(bǔ)全和生成技術(shù)并沒有直接應(yīng)用到點(diǎn)云數(shù)據(jù)增強(qiáng)中，如表3所示。為了對特定方法進(jìn)行全面的分類，本文還包括了這些潛在的方法并對其進(jìn)行了討論。

表3.潛在的特定點(diǎn)云增強(qiáng)方法。

討論

論文中對點(diǎn)云數(shù)據(jù)增強(qiáng)方法的適用任務(wù)以及場景進(jìn)行了詳細(xì)的討論，并指出了點(diǎn)云數(shù)據(jù)增強(qiáng)在一致性學(xué)習(xí)中的作用，如圖7所示。

圖7.(a)常規(guī)的深度學(xué)習(xí)訓(xùn)練，將原始數(shù)據(jù)和增強(qiáng)數(shù)據(jù)發(fā)送到深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的模型;(b)一致性學(xué)習(xí)，通過各種增強(qiáng)方法對輸入點(diǎn)云數(shù)據(jù)進(jìn)行變換，生成多個增強(qiáng)變量，然后將其饋送到多個網(wǎng)絡(luò)進(jìn)行一致性學(xué)習(xí)，在訓(xùn)練期間做出一致的預(yù)測。

表4對進(jìn)行數(shù)據(jù)增強(qiáng)前后進(jìn)行定量評估的文獻(xiàn)進(jìn)行了整理，展示了數(shù)據(jù)增強(qiáng)的效果。作為比較各種增強(qiáng)方法的另一部分，附錄中（詳見論文）還概述了使用增強(qiáng)點(diǎn)云數(shù)據(jù)的下游任務(wù)的定量性能，以及這些任務(wù)中采用的增強(qiáng)方法。

表4.點(diǎn)云數(shù)據(jù)增強(qiáng)對于增強(qiáng)模型表現(xiàn)的匯報(bào)結(jié)果。

未來工作

研究團(tuán)隊(duì)針對該領(lǐng)域，指出了進(jìn)一步研究的九點(diǎn)可能的方向：

• 研究人員沒有充分研究進(jìn)行點(diǎn)云數(shù)據(jù)增強(qiáng)的對抗性變形、上采樣、補(bǔ)全和生成。鑒于GAN和擴(kuò)散模型的進(jìn)步，這些模型可用于生成現(xiàn)實(shí)和多樣化的點(diǎn)云實(shí)例。未來的研究應(yīng)該在特定點(diǎn)云處理任務(wù)的基準(zhǔn)數(shù)據(jù)集上評估這些方法，以評估它們作為增強(qiáng)技術(shù)的有效性。
  
  
• 目前，很少有研究針對不同的點(diǎn)云處理任務(wù)，使用一致的基線網(wǎng)絡(luò)和數(shù)據(jù)集來評估點(diǎn)云數(shù)據(jù)增強(qiáng)方法的性能。這樣的評估將增強(qiáng)我們對不同增強(qiáng)方法性能的理解。因此，未來的研究工作可能側(cè)重于建立新的方法、指標(biāo)和/或數(shù)據(jù)集，以評估點(diǎn)云數(shù)據(jù)增強(qiáng)方法的有效性及其對深度學(xué)習(xí)模型性能的影響。
  
  
• 當(dāng)應(yīng)用于大規(guī)模點(diǎn)云數(shù)據(jù)集時(shí)，某些特定增強(qiáng)方法可能會導(dǎo)致計(jì)算成本高昂。未來的工作可以集中在開發(fā)有效的算法，在計(jì)算成本和增強(qiáng)效率之間進(jìn)行權(quán)衡。此外，一些特定點(diǎn)云增強(qiáng)方法相對復(fù)雜，難以復(fù)現(xiàn)。建議開發(fā)即插即用方法，促進(jìn)其廣泛采用。
  
  
• 對于點(diǎn)云數(shù)據(jù)增強(qiáng)，缺乏普遍接受的基本增強(qiáng)操作組合。因此，未來的工作需要建立一個標(biāo)準(zhǔn)協(xié)議，在不犧牲增強(qiáng)效率的情況下，為不同的應(yīng)用領(lǐng)域、任務(wù)和/或數(shù)據(jù)集選擇增強(qiáng)操作。
  
  
• 通過增強(qiáng)生成的多個點(diǎn)云變體會影響一致性學(xué)習(xí)的有效性。目前，據(jù)我們所知，一致性學(xué)習(xí)中只使用了基本的增強(qiáng)方法。探索特定點(diǎn)云增強(qiáng)方法，如對抗變形和生成增強(qiáng)，為提高一致性學(xué)習(xí)的有效性提供了一種有趣的方法，被認(rèn)為是一個有價(jià)值的未來研究方向。
  
  
• 目前，將基礎(chǔ)點(diǎn)云增強(qiáng)方法與特定點(diǎn)云增強(qiáng)方法相結(jié)合的研究有限。這樣的組合有可能進(jìn)一步增加數(shù)據(jù)增強(qiáng)的多功能性，值得未來的研究。
  
  
• 增強(qiáng)需要真實(shí)地模擬點(diǎn)云數(shù)據(jù)的變化，如物體大小、位置、方向、外觀和環(huán)境的變化，以確保模擬數(shù)據(jù)與現(xiàn)實(shí)世界的情況保持一致，并保持語義正確。未來的研究可以著眼于標(biāo)準(zhǔn)化各種增強(qiáng)范圍，以適應(yīng)特定的應(yīng)用場景。
  
  
• 某些應(yīng)用，如目標(biāo)檢測，可能涉及場景中的動態(tài)物體。在動態(tài)環(huán)境中捕獲的點(diǎn)云可能需要考慮物體時(shí)間變化的特定增強(qiáng)策略。例如，可以設(shè)計(jì)運(yùn)動物體的特定軌跡，這可以通過一組組合增強(qiáng)操作來實(shí)現(xiàn)，例如平移，旋轉(zhuǎn)和丟棄。
  
  
• ViT在簡單組合基本操作的情況下，在分割和分類任務(wù)上也取得了較強(qiáng)的性能。當(dāng)與最先進(jìn)的ViT作為骨干網(wǎng)絡(luò)集成時(shí)，探索增強(qiáng)方法的性能將是有意義的。