近年來，深度學(xué)習(xí)技術(shù)使得計算機(jī)視覺和機(jī)器人領(lǐng)域的許多進(jìn)展成為可能，但訓(xùn)練深度模型需要各種各樣的輸入，以泛化到新的場景。

此前，計算機(jī)視覺領(lǐng)域已經(jīng)利用網(wǎng)頁抓取技術(shù)收集了數(shù)百萬個主題的數(shù)據(jù)集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，給這些數(shù)據(jù)集貼標(biāo)簽仍是一個勞動密集型工作，標(biāo)簽錯誤可能會影響到對技術(shù)進(jìn)步的感知，而且這種策略也很難推廣至 3D 或真實世界的機(jī)器人數(shù)據(jù)上。與圖像不同的是，目前網(wǎng)絡(luò)上并沒有大規(guī)模、高質(zhì)量的 3D 場景，而從真實世界收集這類數(shù)據(jù)又極具挑戰(zhàn)性。此外，人工標(biāo)注員也很難從圖像中提取 3D 幾何特性。

一般來說，使用 Gazebo、Bullet、MuJoCo、Unity 等工具對機(jī)器人和環(huán)境進(jìn)行仿真可以減輕上述限制。但是，仿真畢竟不完全是真實世界，即使一個場景是直接通過對真實環(huán)境的 3D 掃描建立起來的，掃描中的離散對象也會像固定的背景物一樣，不會像真實世界的對象那樣對輸入做出回應(yīng)。

因此，關(guān)鍵問題在于提供一個高質(zhì)量的 3D 對象模型庫，這些模型可以整合到物理和視覺建模中，為深度學(xué)習(xí)提供所需的多樣性。

為了解決這個問題，谷歌的研究者提出了 Google Scanned Objects (GSO) 數(shù)據(jù)集，這是一個由超過 1000 個 3D 掃描家用物品組成的精選集，可用于 Ignition Gazebo、Bullet 模擬器和其他可以讀取 SDF 模型格式的工具。

在一篇論文中，研究者介紹了該數(shù)據(jù)集的收集、管理、擴(kuò)展等內(nèi)容。

論文鏈接：https://arxiv.org/pdf/2204.11918.pdf

據(jù)不完全統(tǒng)計，GSO 數(shù)據(jù)集已經(jīng)在計算機(jī)視覺、計算機(jī)圖形學(xué)、機(jī)器人操作、機(jī)器人導(dǎo)航和 3D 形狀處理等 10 個項目的 12 篇論文中得到應(yīng)用：

該研究貢獻(xiàn)主要有幾點：

• 提出 Google Scanned Objects 數(shù)據(jù)集；
• 3D 掃描 pipeline 設(shè)計；
• 3D 掃描管理和發(fā)布過程；
• 該數(shù)據(jù)集在研究領(lǐng)域中的影響。

數(shù)據(jù)集的創(chuàng)建

GSO 數(shù)據(jù)集起源于 2011 年谷歌的云機(jī)器人計劃，目的是讓機(jī)器人基于普通家用物品的高保真 3D 模型，能夠在自己的環(huán)境中識別和抓取物體。

然而，除了物體識別和機(jī)器人抓取之外，3D 模型還有很多用途，包括用于物理模擬的場景構(gòu)建和用于終端用戶應(yīng)用的 3D 物體可視化。因此，谷歌研究院發(fā)起了一個項目，將 3D 體驗大規(guī)模引入谷歌，以低于傳統(tǒng)商業(yè)級產(chǎn)品攝影的成本收集大量家用物品的 3D 掃描圖像。

這是一項端到端的工程，包括物體獲取、新穎的 3D 掃描硬件、高效的 3D 掃描軟件、快速 3D 渲染的質(zhì)量保障、網(wǎng)絡(luò)與移動瀏覽器，以及人機(jī)交互研究。

在收集數(shù)據(jù)之后，研究者構(gòu)建了一個 pipeline，讓這些數(shù)據(jù)能以各種格式使用。

3D 掃描 pipeline

即使限于家用物品的領(lǐng)域，3D 掃描也會帶來獨特的挑戰(zhàn)，包括高效的物理掃描設(shè)置、目標(biāo)照明、相機(jī)可靠性、掃描儀性能、配色、紋理渲染，以及處理光學(xué)上不一致的材料，比如近白色、有光澤或透明的表面。

專用的 3D 掃描硬件是勞動密集型的，性價比不高。為了進(jìn)行大規(guī)模掃描，還需要一些更具可用性和可靠性的工具。

因此，研究者設(shè)計了自己的專用掃描硬件和軟件（圖 2），能夠在 10 分鐘內(nèi)掃描物體并生成高分辨率模型。控制光線的物理外殼（圖 2b）使用兩臺機(jī)器視覺相機(jī)和一臺投影儀進(jìn)行結(jié)構(gòu)光掃描，捕捉 3D 幾何圖形，并使用單獨的單反高分辨率相機(jī)以產(chǎn)品友好的光線捕捉紋理。

項目第一年結(jié)束的時候能夠做到每周超過 400 次掃描，過程中，研究團(tuán)隊共獲得了 100K 份 360 度照片旋轉(zhuǎn)和 10k 份完全 3D 掃描的獨特對象。

圖 2。

圖 3：作為校準(zhǔn)過程的掃描。(a) 校正模式使 2D pipeline 能夠精確對齊相機(jī)。(b) 計算機(jī)控制的投影儀為 3D 掃描物體創(chuàng)造了類似的圖案。(c) 合適的模式能夠以亞像素精度探測位置。(d) 提取掃描物體的完整 3D 形狀。

圖 4：掃描的物品需要通過質(zhì)量檢查。(a) 許多物品被捕獲為高質(zhì)量的封閉流形 mesh。(b) 有的物體很少產(chǎn)生無效的 mesh，但有時會出現(xiàn)變形。

仿真模型轉(zhuǎn)換

這些原始的掃描模型使用協(xié)議緩沖元數(shù)據(jù)、非常高分辨率的可視化、不適合模擬的格式。對象的一些物理屬性，比如質(zhì)量，會被捕獲，但諸如摩擦之類的表面屬性在元數(shù)據(jù)中則沒有表示。

為了讓這些掃描的模型能夠在仿真系統(tǒng)中使用，每個模型都通過一個 pipeline 進(jìn)行下列步驟：

1. 過濾無效對象。
2. 分配對象名稱。
3. 驗證對象 mesh。
4. 計算物理屬性。
5. 構(gòu)造碰撞體積。
6. 減小模型尺寸。
7. 創(chuàng)建 SDF 模型。
8. 創(chuàng)建縮略圖。
9. 打包模型。

數(shù)據(jù)集屬性

組成

GSO 數(shù)據(jù)集包含 1030 個掃描對象和相關(guān)的元數(shù)據(jù)，總計 13GB，根據(jù) CCBY 4.0 License 授權(quán)。表 III.1 分解了數(shù)據(jù)集中的模型類別。

表 III.1

優(yōu)勢

自動化 pipeline 可以快速生成大量模型，而無需手工處理。因為這些模型是掃描的，而不是手工建模的，所以它們是真實的，而不是理想中的，這減少了將學(xué)習(xí)從模擬轉(zhuǎn)移到真實世界的困難。

掃描儀的玻璃平臺可以從各個方面掃描模型，包括底座，不像其他掃描儀有不透明的平臺。類似地，從環(huán)境中提取的模型通常缺少像底座這樣起到銜接作用的遮擋區(qū)域。

因為該掃描儀根據(jù)投影圖案而不是深度照相機(jī)數(shù)據(jù)重建表面形狀，所以得到的 mesh 具有高保真度。光滑的表面是平滑的，輪廓邊緣是準(zhǔn)確的 (圖 5)。相比之下，RGB-D 數(shù)據(jù)得到的 mesh，可能出現(xiàn)斑駁和不規(guī)則，特別是在輪廓上。

圖5

限制

同時，這個數(shù)據(jù)集也有一些限制：掃描儀的捕捉區(qū)域不能容納比面包箱 (約 50 厘米) 大的對象，因此該數(shù)據(jù)集不包括在其他數(shù)據(jù)集中較大的對象，如椅子、汽車或飛機(jī)。同樣，掃描分辨率是有限的，所以非常小的對象不能以合理的保真度建模。此外，生成的紋理是漫反射的：高度鏡面或透明的對象不能表征出來，生成結(jié)果也不夠理想。

更多細(xì)節(jié)可參考原論文。