本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

“只要思想不滑坡，辦法總比困難多，干巴得！”

打工人的一天終于要結(jié)束了！拖著疲憊的身軀準(zhǔn)備下班，卻聽(tīng)到同事小A還在給自己打氣。

只見(jiàn)他迅速打開(kāi)電腦，打開(kāi)百度、打開(kāi)知乎豆瓣微博微信......

都輸入了同一行字：肖像畫簡(jiǎn)易教程......

還以為他要干什么驚天動(dòng)地的大事！原來(lái)是想給女神古力娜扎（Gulnazar）畫一幅肖像畫。

[[354495]]

年輕人就是年輕人，還有精力追星。

可還沒(méi)等我離開(kāi)，他卻哭了—"世上無(wú)難事，只要肯放棄”，哇的一聲！

也是難為他了。無(wú)文藝細(xì)胞的理工男一枚，沒(méi)學(xué)過(guò)畫兒，也沒(méi)畫過(guò)畫兒，現(xiàn)在還想給女神畫一幅肖像畫兒，看這頭秀發(fā)哪是一個(gè)小白能畫出來(lái)的。

“這哪是簡(jiǎn)易教程，構(gòu)圖、劃線、起形.....看的我頭都大了，效果還只是這樣。”

聽(tīng)著小A絮絮叨叨、絮絮叨叨的吐槽，不禁想起了當(dāng)年的自己，作為一個(gè)呆萌理工男也少不了做過(guò)同樣的蠢事。

“你不知道有很多APP，只要輸入照片就可以一秒生成嗎？”我忍不住說(shuō)到。

小A呆住了。

“不過(guò)，看來(lái)你的要求還挺高，這樣，給你推薦一個(gè)高階版神器吧”。我迅速發(fā)了一張樣圖給他：

（別問(wèn)我為什么可以迅速，問(wèn)就是早有預(yù)謀）[讓我看看]

“先看整體感覺(jué)，是不是一股藝術(shù)氣息撲面而來(lái)？再看看神情，輕輕皺眉都能捕捉到位，再看看這頭發(fā)，濃密柔和自然，還根根分明，一看就是專業(yè)水準(zhǔn).....%￥#%@#”，不知不覺(jué)又暴露了推銷老司機(jī)的本質(zhì)....

“贊、太贊、非常贊！一句話，這是用的什么神器？”

“我發(fā)給你，就是用的這款A(yù)I工具...........%￥#%@#，它的研發(fā)者還是我們北大....”

話還沒(méi)說(shuō)完，小A就把他的成果圖發(fā)給了我。

“太棒了，沒(méi)想到如此輕松就搞定了！”只見(jiàn)他邊說(shuō)邊合上電腦、裝進(jìn)書包，穿上外套，大步走向了門口，這速度像極了我平常下班的樣子......

最后還不忘轉(zhuǎn)身朝我比了一串串小芯芯......

我呆住了。“先走的不應(yīng)該是我嗎？”，“等等，我話還沒(méi)說(shuō)完！”。

“算了，這班我不下了”。

除了他，相信大家對(duì)這項(xiàng)AI工具的背后原理「一定」非常感興趣，那么我就來(lái)給大家詳細(xì)介紹一下。

北大校友出品：顯著性目標(biāo)檢測(cè)工具

這款A(yù)I工具叫U^∧2-Net（U Square Net），最近火到不行！

不僅登上了GitHub熱榜，收割了2.8k星標(biāo)，還被頂會(huì)ICPR 2020 選中。更關(guān)鍵是，這項(xiàng)研究的一作還是北大校友——秦雪彬。

[[354499]]

相信不少開(kāi)發(fā)者朋友對(duì)這個(gè)名字非常熟悉，他之前提出邊界感知顯著目標(biāo)檢測(cè)網(wǎng)絡(luò) BASNet，被用來(lái)做了很多好玩的工具，比如『隔空復(fù)制粘貼』——AR Cut & Paste

[[354500]]

https://twitter.com/cyrildiagne/status/1256916982764646402

只要手機(jī)掃一掃，書本、花盆、雜志人物，你能看到的任何現(xiàn)實(shí)物體，只需10s統(tǒng)統(tǒng)都可以被“粘貼”到電腦里。

這項(xiàng)研究在Reddit上短短幾個(gè)小時(shí)，就獲得了近5K點(diǎn)贊量，之后累計(jì)瀏覽量超過(guò)了500萬(wàn)。

秦雪彬以前在北京大學(xué)讀碩士，現(xiàn)在是加拿大阿爾伯塔大學(xué)的一名在讀博士。他對(duì)計(jì)算機(jī)視覺(jué)技術(shù)非常感興趣，尤其是目標(biāo)物體檢測(cè)。最近推出的這款U^2-Net深度網(wǎng)絡(luò)架構(gòu)，同樣是一個(gè)目標(biāo)檢測(cè)工具。

之前的BASNet網(wǎng)絡(luò)被用來(lái)做“復(fù)制粘貼”測(cè)試，效果很好。這次，他就用U^2-Net做了一個(gè)生成肖像畫測(cè)試，結(jié)果也火了。

再來(lái)感受下精細(xì)到毛發(fā)的生成效果。

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理的一個(gè)重要分支。計(jì)算機(jī)視覺(jué)對(duì)于目標(biāo)運(yùn)動(dòng)的分析大致分為三個(gè)層次：圖像分割，目標(biāo)檢測(cè)；目標(biāo)跟蹤；目標(biāo)識(shí)別與描述。其中，目標(biāo)檢測(cè)是最基礎(chǔ)且關(guān)鍵的環(huán)節(jié)。

2006 年，自深度學(xué)習(xí)三大巨頭Hinton、Bengio、Lecun 提出卷積神經(jīng)網(wǎng)絡(luò)（CNN），并應(yīng)用于圖像處理以來(lái)，目標(biāo)檢測(cè)技術(shù)得到顯著性改善，尤其是隨著全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的提出，目標(biāo)檢測(cè)任務(wù)逐步達(dá)到最佳SOAT。

在今年的MICCAI 2020（國(guó)際醫(yī)學(xué)圖像計(jì)算與計(jì)算機(jī)介入）大會(huì)上，U^2-Net憑借出色的性能表現(xiàn)，在甲狀腺結(jié)節(jié)分割比賽中獲得第六名。

接下來(lái)，我們說(shuō)說(shuō)它是如何做到的。

任何AI處理過(guò)程都分為三個(gè)階段：輸入目標(biāo)——模型訓(xùn)練——輸出結(jié)果。要想達(dá)到高質(zhì)量的生成效果，除了考驗(yàn)?zāi)Ｐ途韧猓?dāng)然輸入源也很重要。這一點(diǎn)也是我們所能控制的。

對(duì)于U^2-Net而言，高質(zhì)量的照片源可以獲得更多細(xì)節(jié)，所以在上傳照片時(shí)要注意以下幾點(diǎn)：

• 照片中人頭區(qū)域應(yīng)接近或大于512x512像素。

• 照片整體大小最好達(dá)到960x1280像素。

• 背景要盡量清晰、無(wú)干擾。

如圖，秦雪彬還親自示范做了說(shuō)明。

接下來(lái)是最關(guān)鍵的目標(biāo)檢測(cè)模型（SOD）。

U^∧2-Net模型：嵌套式雙層U型結(jié)構(gòu)

先來(lái)看一組與現(xiàn)有最先進(jìn)SOD模型的比較。

其中紅色星標(biāo)代表U^∧2模型（176.3 MB），它在相對(duì)小的模型尺寸下，表現(xiàn)出了最高性能。（藍(lán)色星標(biāo)為4.7 MB的U^∧2）

之所以達(dá)到如此性能，是因?yàn)閁^∧2擁有兩層嵌套式U型結(jié)構(gòu)，其中的ReSidual U-Block（RSU）中混合了大小不同的接收域，能夠從不同尺度捕獲更多語(yǔ)境信息。另外，由于這些RSU塊中使用了池化操作，因此可以深度捕獲更多細(xì)節(jié)，同時(shí)不會(huì)顯著增加計(jì)算成本。

最關(guān)鍵的是，這種結(jié)構(gòu)體系能夠讓模型從頭訓(xùn)練深層網(wǎng)絡(luò)，而無(wú)需使用圖像分類任務(wù)的架構(gòu)。

現(xiàn)在大多數(shù)SOD 網(wǎng)絡(luò)設(shè)計(jì)都存在這樣一個(gè)問(wèn)題：即專注于利用現(xiàn)有的基礎(chǔ)網(wǎng)絡(luò)提取深度特征，例如 Alexnet、VGG、ResNet、ResNeXt、DenseNet 等。但這些主干網(wǎng)絡(luò)最初都是為圖像分類任務(wù)設(shè)計(jì)的。

它們提取代表語(yǔ)義含義的特征，而不是代表局部性細(xì)節(jié)或全局對(duì)照信息，這對(duì)于顯著性目標(biāo)檢測(cè)至關(guān)重要，并且這些網(wǎng)絡(luò)通常需要在 ImageNet 數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，效率比較低。相比之下，U∧2-Net可以有效地避免上述問(wèn)題。

U^∧2-Net架構(gòu)

接下來(lái)詳細(xì)介紹其中的Block結(jié)構(gòu)、網(wǎng)絡(luò)監(jiān)督策略以及訓(xùn)練損失。

ReSidual U-Block

在圖像信息提取中，1×1或3×3的小型卷積濾波器是最常用的特征提取元件。因?yàn)樗鑳?nèi)存小且計(jì)算效率高。但該元件接收域太小，無(wú)法捕獲全局信息，因此解決方法只能是采用擴(kuò)張卷積（Dilated Convolution）的方法來(lái)擴(kuò)大接收域。

然而在原始分辨率的特征圖上進(jìn)行多次擴(kuò)張卷積（尤其是在初始階段），會(huì)耗費(fèi)大量的計(jì)算和內(nèi)存資源。

為了降低計(jì)算成本，同時(shí)又能捕獲全局信息，研究人員采用了金字塔池化模塊（Pyramid Scene Parseing Network，PSPNet）。該模塊在下采樣特征映射上使用小核濾波器，而不是在原始尺寸的特征映射上使用擴(kuò)張卷積的方法。

但通過(guò)直接上采樣和級(jí)聯(lián)將不同尺度的特征融合，可能會(huì)導(dǎo)致高分辨率特征的退化。因此，研究人員受到受U型網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，提出了一種全新的ReSidual U-block：RSU，來(lái)捕獲階段內(nèi)的多尺度特征。如圖：

從測(cè)試數(shù)據(jù)來(lái)看，RSU計(jì)算開(kāi)銷確實(shí)相對(duì)較小。與PLN（普通卷積塊）、RES（剩余塊）、DSE（密集塊）、INC（初始化塊）相比，所耗費(fèi)的GFLOPS浮點(diǎn)數(shù)最低。（GFLOPS ，全稱Giga Floating-point Operations Per Second，即每秒10億次的浮點(diǎn)運(yùn)算數(shù)，常作為GPU性能參數(shù)）。

Supervision策略

在訓(xùn)練過(guò)程中，研究人員采用了類似于HED的深度監(jiān)督。

其中，訓(xùn)練損失（Training Loss）定義為：

每個(gè)項(xiàng)L使用標(biāo)準(zhǔn)二進(jìn)制交叉熵來(lái)計(jì)算損失：

在訓(xùn)練過(guò)程，等式（1）讓總體損失最小化；在測(cè)試過(guò)程，選擇融合輸出的l_fuse作為最終的顯著性圖。

比較實(shí)驗(yàn)：全尺寸最佳SOTA

在論文中，研究人員將U2模型與其他20多種現(xiàn)有最先進(jìn)的模型進(jìn)行了比較。

其中，各模型采用訓(xùn)練數(shù)據(jù)集是DUTS-TR，它含10553張圖像，是目前用于目標(biāo)檢測(cè)的最大和最常用的數(shù)據(jù)集；采用的基準(zhǔn)數(shù)據(jù)集分別為DUT-OMRON、DUTS-TE、HKU-IS、ECSSD、PASCAL-S、SOD六種。

先來(lái)看下定性比較的結(jié)果：

紅色、綠色和藍(lán)色分別表示最佳、第二和第三性能

從表3、表4來(lái)看，U^∧2-Net在DUT-OMRON、HKU-IS以及ECSSD三個(gè)基準(zhǔn)數(shù)據(jù)集上展現(xiàn)了極大先進(jìn)性，五個(gè)評(píng)估指標(biāo)都達(dá)到了最佳SOTA。

其中，在DUTS-TE上，U^∧2-Net總體性能僅次于PoolNet；在PASCAL-S上，U^∧2-Net性能僅略低于AFNet、CPD和PoolNet。此外，在邊界質(zhì)量評(píng)估指標(biāo)（RelaxF^b_β）方面，U^∧2-Net性能位居第二。

在SOD數(shù)據(jù)集上， U^∧2-Net在整體性能方面也僅此于PoolNet。更重要的是，U^∧2-Net模型大小只有4.7 MB，是在顯著性目標(biāo)檢測(cè)領(lǐng)域型號(hào)最小的，而且與其他型號(hào)相比，它的參數(shù)量也少的多。

定性比較結(jié)果：比較了七種SOTA模型，如圖：

可以看出，U^∧2-Net能夠處理不同類型的目標(biāo)，并均產(chǎn)生了精準(zhǔn)的識(shí)別結(jié)果。

比如，第4行圖像充分展示它在分割由大結(jié)構(gòu)和薄結(jié)構(gòu)組成的目標(biāo)時(shí)的性能；在第六行復(fù)雜的圖像結(jié)構(gòu)下，產(chǎn)生了近乎完美的結(jié)果。

總之，U^∧2-Net模型能夠處理全尺寸和小尺寸圖像的各種場(chǎng)景，與其他模型相比，能夠產(chǎn)生更高精度的顯著目標(biāo)檢測(cè)結(jié)果。