在人工智能領域中的圖像分類問題上，最常用來訓練和測試的數(shù)據(jù)集是 ImageNet，它也是全球超大的“CV 習題庫”。近日，麻省理工學院和 IBM 研究人員組成的團隊，共同創(chuàng)建了一個與之不同的圖像識別數(shù)據(jù)集 ObjectNet，難倒了世界上最好的計算機視覺模型。

需要提示的是，這里的最好或最強指的不是某一個模型，而是一類高性能的視覺模型。

在 ImageNet 測試中實現(xiàn)準確率高達 97% 的計算機視覺模型，在 ObjectNet 數(shù)據(jù)集上檢測的準確率下降到了 50%-55%。測試結(jié)果如此“慘烈”，主要原因在于，目前幾乎所有的視覺模型，在類似于物體旋轉(zhuǎn)、背景變換、視角切換等復雜情境下，識別過程都缺乏穩(wěn)定性。

麻省理工學院計算機科學與人工智能實驗室 (CSAIL) 和大腦、心智與機器中心 (CBMM) 的研究科學家 Andrei Barbu，是該研究的通訊作者，也是該項目的主持人之一。他在接受 DeepTech 專訪時表示，“我們需要一個數(shù)據(jù)集能夠具有典型意義地表示你在現(xiàn)實生活中看到的東西，沒有這個東西，誰還有信心做計算機視覺？我們怎么能說計算機視覺已經(jīng)為黃金時代和關乎安全的關鍵應用做好了準備?”

Andrei Barbu 還表示，ObjectNet 可以向全球研究者分享，“只要聯(lián)系我們，我們將發(fā)送給你。”（網(wǎng)站：https://objectnet.dev/）

人工智能使用由神經(jīng)元層組成的神經(jīng)網(wǎng)絡在大量的原始數(shù)據(jù)中尋找規(guī)律。比如，在看過成百上千張椅子的照片之后，它學會了椅子的形狀。

斯坦福大學每年都會舉行一個比賽，邀請谷歌、微軟、百度等 IT 企業(yè)使用 ImageNet 測試他們的系統(tǒng)運行情況。每年一度的比賽也牽動著各大巨頭公司的心弦。

ImageNet 由世界上頂尖的計算機視覺專家李飛飛參與建立，她在一次演講中提到，要讓冰冷的機器讀懂照片背后的故事，就需要讓機器像嬰兒一樣看過足夠多的“訓練圖像”。

ImageNet 從 Flickr 和其他社交媒體網(wǎng)站上下載了接近 10 億張圖片，2009 年，ImageNet 項目誕生了，含有近 1500 萬張照片的數(shù)據(jù)庫， 涵蓋了 22000 種物品。

計算機視覺模型已經(jīng)學會了精確地識別照片中的物體，以至于有些模型在某些數(shù)據(jù)集上表現(xiàn)得比人類還要好。

但是，當這些模型真正進入到生活中時，它們的性能會顯著下降，這就給自動駕駛汽車和其他使用計算機視覺的關鍵系統(tǒng)帶來了安全隱患。

因為即使有成百上千張照片，也無法完全顯示物體在現(xiàn)實生活中可能擺出的方向和位置。椅子可以是倒在地上的，T 恤可能被掛在樹枝上，云可以倒映在車身上…… 這時候識別模型就會產(chǎn)生疑惑。

AI 公司 Vicarious 的聯(lián)合創(chuàng)始人 Dileep George 曾表示：“這表明我們在 ImageNet 上花費了大量資源來進行過擬合。”過度擬合是指過于緊密或精確地匹配特定數(shù)據(jù)集的結(jié)果，以致于無法擬合其他數(shù)據(jù)或預測未來的觀察結(jié)果。

與 ImageNet 隨意收集的照片不同，ObjectNet 上面提供的照片是有特殊背景和角度的，研究人員讓自由職業(yè)者為數(shù)百個隨機擺放的家具物品拍照，告訴他們從什么角度拍攝以及是擺在廚房、浴室還是客廳。

因此，數(shù)據(jù)集中的物品的拍攝角度非常清奇，側(cè)翻在床上的椅子、浴室中倒扣的茶壺、 掛在客廳椅背上的 T 恤……

圖 | ImageNet(左欄)經(jīng)常顯示典型背景上的對象，很少有旋轉(zhuǎn)，也很少有其他視角。典型的 ObjectNet 對象是從多個視點在不同的背景上進行映像的。前三列顯示了椅子的三個屬性：旋轉(zhuǎn)、背景和視角?？梢钥吹接捎谶@些操作而引入到數(shù)據(jù)集的大量變化。由于不一致的長寬比，此圖只略微裁剪了 ObjectNet 圖像。大多數(shù)檢測器對 ObjectNet 中包含的大多數(shù)圖像都識別失敗了（來源：論文）

麻省理工學院 CSAIL 和 CBMM 的研究科學家 Boris Katz 說：“我們創(chuàng)建這個數(shù)據(jù)集是為了告訴人們，物體識別問題仍然是個難題。”“我們需要更好、更智能的算法。”

Katz 和他的同事將在正在召開的 NeurIPS 會議上展示他們的成果，NeurIPS 是人工智能和機器學習領域的國際頂級會議。

圖 | ObjectNet 研究團隊。這項研究由美國國家科學基金會，麻省理工學院大腦、心智和機器中心，麻省理工學院 - IBM 沃森人工智能實驗室，豐田研究所和 SystemsThatLearn@CSAIL 倡議資助（來源：ObjectNet）

另外，ObjectNet 與傳統(tǒng)圖像數(shù)據(jù)集還有一個重要的區(qū)別：它不包含任何訓練圖像。也就是說，練習題和考試題重合的幾率變小了，機器很難“作弊”。大多數(shù)數(shù)據(jù)集都分為訓練集和測試集，但是訓練集通常與測試集有細微的相似之處，實際上是讓模型在測試中占了先機。

乍一看，ImageNet 有 1500 萬張圖片，似乎非常龐大。但是當去除掉訓練集部分時，它的大小與 ObjectNet 相當，差不多有 5 萬張照片。

“如果我們想知道算法在現(xiàn)實世界中的表現(xiàn)如何，我們應該在沒有偏見的圖像上測試它們，這些圖像應該是它們從未見過的，”Andrei Barbu 說。

圖 | 亞馬遜的“土耳其機器人”Amazon Mechanical Turk（MTurk）是一種眾包網(wǎng)絡集市，能使計算機程序員調(diào)用人類智能來執(zhí)行目前計算機尚不足以勝任的任務。ImageNet 和 ObjectNet 都通過這些平臺來標記圖片（來源：Amazon Mechanical Turk）

研究人員說，結(jié)果表明，機器仍然很難理解物體是三維的，物體也可以旋轉(zhuǎn)和移動到新的環(huán)境中。“這些概念并沒有被構(gòu)建到現(xiàn)代對象探測器的架構(gòu)中，”研究的合著者、IBM 的研究員 Dan Gutfreund 說。

模型在 ObjectNet 上的測試結(jié)果如此“慘烈”，并不是因為數(shù)據(jù)量不夠，而是模型對類似于旋轉(zhuǎn)、背景變換、視角切換等等的認知缺乏穩(wěn)定性。研究人員是如何得出這個結(jié)論的呢？他們讓模型先用 ObjectNet 的一半數(shù)據(jù)進行訓練，然后再用另一半數(shù)據(jù)進行測試。在相同的數(shù)據(jù)集上進行訓練和測試，通?？梢蕴岣咝阅埽沁@次，模型只得到了輕微的改進，這表明模型沒有完全理解對象在現(xiàn)實世界中是如何存在的。

所以，研究人員認為，即使設計一個更大版本的、包含更多視角和方向的 ObjectNet，也不一定能教會人工智能理解物體的存在。ObjectNet 的目標是激勵研究人員提出下一波革命性的技術，就像最初推出的 ImageNet 挑戰(zhàn)一樣。他們下一步會繼續(xù)探究為何人類在圖像識別任務上具有良好的泛化能力和魯棒性，并希望這一數(shù)據(jù)集能夠成為檢驗圖像識別模型泛化能力的評估方法。

“人們向這些物體檢測器輸入了大量數(shù)據(jù)，但回報卻在遞減，”Katz 說。“你不可能把一個物體的每一個角度和每一個可能存在的環(huán)境都拍出來。我們希望這個新的數(shù)據(jù)集能夠在現(xiàn)實世界中催生出一個不會出現(xiàn)意外失敗的、強大的計算機視覺系統(tǒng)。”

圖 | Andrei Barbu 是麻省理工學院研究科學家，主要研究語言、視覺和機器人技術，同時還涉獵神經(jīng)科學。（來源：MIT）

DeepTech 對該研究合作者、CSAIL 和 CBMM 的研究科學家 Andrei Barbu 進行了專訪（以下為不改變原意的采訪實錄）：

DeepTech：這個構(gòu)思是在什么時候產(chǎn)生的，目的是什么？現(xiàn)在可以下載使用了嗎？

Andrei Barbu：ObjectNet 是在大約 4 年前提出的。因為即使許多數(shù)據(jù)集 (如 ImageNet) 的準確率高達 95% 以上，但是在現(xiàn)實世界中的性能可能比你預期的要差得多。

我們的想法是將其他學科的優(yōu)秀實驗設計直接引入機器學習，比如物理學和心理學。我們需要一個數(shù)據(jù)集能夠具有典型意義地表示你在現(xiàn)實生活中看到的東西，沒有這個東西，誰還有信心做計算機視覺？我們怎么能說計算機視覺已經(jīng)為黃金時代和關乎安全的關鍵應用做好了準備?

ObjectNet 已經(jīng)可以使用了，只要聯(lián)系我們，我們將發(fā)送給你。

DeepTech：收集實際數(shù)據(jù)用了多長時間？數(shù)據(jù)的有效性如何？

Andrei Barbu：我們花了大約 3 年的時間來弄清楚怎么做，花了大約 1 年的時間來收集數(shù)據(jù)?，F(xiàn)在我們可以更快地收集另一個版本，時間跨度為幾個月。

我們在土耳其機器人上收集大約 10 萬張圖片，其中大約一半我們保存了下來。許多照片都是在美國以外的地方拍攝的，因此，有些物體可能看起來很陌生。成熟的橙子是綠色的，香蕉有不同的大小，衣服有不同的形狀和質(zhì)地。

DeepTech：成本是多少？在收集數(shù)據(jù)時遇到了什么問題?

Andrei Barbu：在學術界，成本是復雜的。人力成本高于在土耳其機器人上的成本，單在土耳其機器人上的成本就很可觀。

收集這些數(shù)據(jù)遇到很多問題。這個過程很復雜，因為它需要在不同的手機上運行；指令很復雜，我們花了一段時間才真正理解如何以一種穩(wěn)定的方式解釋這個任務；數(shù)據(jù)驗證也很復雜，小問題幾乎層出不窮。我們需要很多實驗來學習如何有效地做到這一點。

DeepTech：ObjectNet 與 Imagenet 的區(qū)別和聯(lián)系是什么?

Andrei Barbu：與 ImageNet 的不同之處在于：1、我們收集圖像的方式可以控制偏差。我們告訴人們?nèi)绾涡D(zhuǎn)物體，在什么背景中放置物體，以及在哪個角度拍照。在大多數(shù)的數(shù)據(jù)集中，圖像背景的信息會導致機器不自覺的“欺騙”，它們會憑借對于廚房背景的了解來預測某個東西可能是平底鍋。

2、這些照片不是從社交媒體上收集的，所以它們不是那種好看的照片，人們也不想分享。我們還確保收集來自印度、美國以及不同社會經(jīng)濟階層的圖像。我們還有損壞或破碎物體的圖像。

3、沒有訓練集。

這在 10 年前并不是什么大問題，但我們的方法在發(fā)現(xiàn)模式方面是如此強大，以至于沒有人能夠識別，所以我們需要這些變化來避免簡單地調(diào)整我們的模型，以適應來自相同數(shù)據(jù)集的訓練和測試集之間的偏見。

DeepTech：沒有訓練集會帶來什么影響?

Andrei Barbu：由于沒有訓練集，所有的方法都需要泛化。他們需要在一個數(shù)據(jù)集上進行培訓，并在 ObjectNet 上進行測試。這意味著他們利用偏差的可能性要小得多，而他們成為強大的目標探測器的可能性要大得多。我們想說服每個人，至少在機器學習的既定領域，收集訓練集的小組應該與收集測試集的小組分開。

由于我們已經(jīng)成為一個數(shù)據(jù)驅(qū)動的研究領域，我們需要改變收集數(shù)據(jù)的方法，以推動科學的發(fā)展。

DeepTech：3D 對象太復雜了，我認為它很難表示。比如如何去表示旋轉(zhuǎn)的椅子?

Andrei Barbu：我不認為 3D 很復雜。

顯然你和我對物體的三維形狀有一定的認識，因為我們可以從新的角度想象物體。

我認為這也是計算機視覺的未來，ObjectNet 的設計就是在對這個存疑。它不關心你構(gòu)建模型的基準，真正重要的是，它為你提供了一個更可靠的工具，用來檢測你的模型是不是足夠強。

DeepTech：你們接下來的研究計劃是什么?

Andrei Barbu：我們正在使用 ObjectNet 來理解人類的視覺。對人類在大規(guī)模物體識別方面的研究還不多，還有很多空白需要填補。我們將向成千上萬的在土耳其機器人上有短暫演示的人展示 ObjectNet，讓人們了解人類處理圖片的各個階段。

這也將有助于回答一些我們現(xiàn)在還不太了解的關于人類視覺和物體探測器之間關系的基本問題，比如，物體探測器的行為是否就像人類只能很快地看到一個物體？我們的初步結(jié)果表明，情況并非如此，這些差異可以用來建造更好的探測器。

我們還在開發(fā)下一個版本的 ObjectNet，我認為它對于檢測器來說會更加困難：帶有部分遮擋的 ObjectNet。對象將被其他對象部分覆蓋。我們和其他許多研究小組有理由懷疑探測器對有遮擋的物體的識別還不夠穩(wěn)定，但是還需要一個嚴肅的基準來刺激下一波的進展。