源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量，模型包含豐富的幾何與紋理細節(jié)，阿里巴巴聯(lián)合學界開源的場景布局數(shù)據(jù)集 3D-FRONT 將填補大規(guī)模高質(zhì)量 3D 場景布局數(shù)據(jù)集空白的現(xiàn)狀。

近期，阿里巴巴淘系技術部門的趙斌強、賈榮飛等與西蒙弗雷澤大學的張皓教授以及中科院計算所的高林、張凌霄多方共同合作，在 CVPR 2020 的 Workshop“Learning 3D Generative” 中開源了大型 3D 場景數(shù)據(jù)集 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics），以填補目前學界在大規(guī)模高質(zhì)量 3D 場景布局數(shù)據(jù)集上空白的現(xiàn)狀。其中，張皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心組織者之一。

接下來我們來看 3D-FRONT 的技術細節(jié)。

3D 場景數(shù)據(jù)將推動基于 AI 的 3D 應用研究

圖 1：三維室內(nèi)場景研究與應用。

3D 與 2D 場景理解是打造未來 AI 世界所研究的基礎核心課題，涵蓋機器人室內(nèi)尋路、線上商城、室內(nèi)設計等室內(nèi)場景相關的應用。這些應用的背后涉及到語義分割、物體識別、場景生成等深度學習相關的理論與技術，而這些技術都是需要依賴大量數(shù)據(jù)來訓練相關深度模型從而發(fā)揮作用。

因此，高質(zhì)量的大型 3D 場景數(shù)據(jù)集對于上述相關研究的推動具有重大意義。

然而，現(xiàn)階段學術界亟須大規(guī)模高質(zhì)量的 3D 場景數(shù)據(jù)集以支持和推動數(shù)據(jù)驅動的智能化 3D 場景的相關研究，特別是具有高質(zhì)量布局與室內(nèi)設計的 3D 場景數(shù)據(jù)集。

目前，相關的數(shù)據(jù)集有，例如：普林斯頓大學提出的 SUNCG、斯坦福大學提出的 ScanNet、上?？萍即髮W提出的 structured3D 等，但是這些數(shù)據(jù)集存在場景內(nèi)容不夠豐富，數(shù)據(jù)規(guī)模不夠龐大的問題。比如，structured3D 數(shù)據(jù)集中雖然提供了 3 千多個場景，但是未能提供具有高質(zhì)量紋理的三維模型數(shù)據(jù)。

圖 2：3D-FRONT 數(shù)據(jù)采集流程。

阿里巴巴作為世界級的電商互聯(lián)網(wǎng)巨頭，其官方家裝家居設計平臺 - 躺平設計家積累了海量高質(zhì)量家居設計方案。

以這些真實家居場景為基礎，阿里巴巴淘系技術部結合 3D 人工智能技術初步打造了場景化數(shù)字營銷，推出了智能設計搭配服務，并創(chuàng)造了大量精美場景布局與設計數(shù)據(jù)。這些場景數(shù)據(jù)很好地契合了學術界的需求。

一言以蔽之，3D-FRONT 數(shù)據(jù)集源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量。

3D-FRONT 填補學術界 3D 場景布局數(shù)據(jù)空白

圖 3：3D-FRONT 數(shù)據(jù)集屬性。

3D-FRONT 包含 6,813 個真實戶型，平均每個戶型包含 7 個房間場景，其中 19,775 個房間場景具有人工驗證過的精美室內(nèi)設計信息。每個房間內(nèi)涉及的家具均來自于阿里巴巴已開源的 3D 模型數(shù)據(jù)集 3D-FUTURE（3D FUrniture shapes with TextURE），該數(shù)據(jù)集的模型都包含豐富的幾何與紋理細節(jié)。

相比于其他 3D 場景數(shù)據(jù)集，3D-FRONT 在以下指標處于領先地位，包括戶型數(shù)目、房間場景數(shù)目和房間類型等，并且還提供了高質(zhì)量硬裝模型和家具模型。

場景中的 3D 幾何模型具有豐富的幾何細節(jié)與高質(zhì)量的紋理圖，這些幾何模型來自于阿里巴巴已開源的 3D 模型庫數(shù)據(jù)集 3D-FUTURE。

圖 4：3D-FRONT 與其他場景數(shù)據(jù)集對比。

目前，3D-FRONT 與 3D-FUTURE 數(shù)據(jù)集已對外開放并提供下載，同時，淘系技術部與今年 3 月同步發(fā)起第一屆阿里巴巴 3D 人工智能挑戰(zhàn)賽，目前初賽報名階段已結束，共吸引來自全球 1300 多支隊伍報名，共同參與并建立學術研究與工業(yè)應用的橋梁。大賽將于 8 月 21 日決出賽道名次，后續(xù)結果敬請關注。

3D-FRONT 數(shù)據(jù)集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

3D-FUTURE 數(shù)據(jù)集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/

3D-FRONT 數(shù)據(jù)集貢獻者

3D-FRONT數(shù)據(jù)集的貢獻者共有7位，分別是來自阿里巴巴的Huan Fu、Bowen Cai、賈榮飛和趙斌強，中科院計算技術研究所的高林和張凌霄，以及西蒙弗雷澤大學的張皓。