臉書開源自家AR核心技術(shù),能快速識(shí)別影片中的物體
Facebook AI 研究院于日前開源由 Python 語(yǔ)言編寫的基于深度學(xué)習(xí)框架 Caffe2 的物體識(shí)別框架 Detectron。其中包含多個(gè)重要且熱門的目標(biāo)檢測(cè)算法,Detectron 能夠根據(jù)電腦視覺的任務(wù),自動(dòng)產(chǎn)生適合的模型。
臉書在去年 F8 大會(huì)上大秀 AR/VR 應(yīng)用,尤其展示了多種在生活場(chǎng)景疊加圖片的 AR 技術(shù),今日開源的目標(biāo)檢測(cè)框架Detectron,可以快速在影片或圖片中辨別出物體的形狀或邊緣,方便疊加影像。

Detectron 項(xiàng)目于 2016 年 7 月啟動(dòng),當(dāng)時(shí)的目標(biāo)就是要在深度學(xué)習(xí)框架Caffe2上,創(chuàng)造一個(gè)快速且具有彈性的目標(biāo)檢測(cè)系統(tǒng),后來(lái)進(jìn)入預(yù)覽的開發(fā)階段。在過(guò)去一年半的時(shí)間里,Detectron已經(jīng)成熟并可以支持FAIR多數(shù)的項(xiàng)目,包括Mask R-CNN 、Focal Loss for Dense Object Detection,它們分別在2017年ICCV 獲得 Marr 獎(jiǎng)和***學(xué)生論文獎(jiǎng)。這些由 Detectron 支持的算法為重要的計(jì)算機(jī)視覺任務(wù)(例如實(shí)例分割(Instance segmentation))提供了直觀的模型,除此之外,Detectron對(duì)于一些視覺感知系統(tǒng)也會(huì)有很大的幫助。
在臉書AI研究院內(nèi)部,Detectron已經(jīng)用在多個(gè)項(xiàng)目中,像是Feature Pyramid Networks for Object Detection、Mask R-CNN、Detecting and Recognizing Human-Object Interactions、Focal Loss for Dense Object Detection、Non-local Neural Networks, Learning to Segment Every Thing和Data Distillation: Towards Omni-Supervised Learning。
而臉書 AI 研究院將 Detectron 開源的目的是,能夠讓 FAIR 的研究與大家分享,來(lái)加速全世界的研究成果。除了研究之外,臉書團(tuán)隊(duì)用Detectron,為不同的重要應(yīng)用,訓(xùn)練出定制化的模型,模型訓(xùn)練完成后,即可通過(guò)輕量級(jí)且模塊化的 Caffe2 部署于云端、行動(dòng)裝置,臉書期望 Detectron 能夠幫助發(fā)展出下一代的目標(biāo)檢測(cè)技術(shù)。
此外,Ross Girshick表示,臉書AI研究院也在模型動(dòng)物園(Model Zoo)中,發(fā)布超過(guò)70個(gè)已用Detectron訓(xùn)練過(guò)的模型,提供開發(fā)者下載,創(chuàng)造出自己的目標(biāo)檢測(cè)系統(tǒng)。