[[341366]]

【51CTO.com快譯】您是否曾被要求在圖像中尋找針對(duì)不同圖形區(qū)域的標(biāo)注類(lèi)信息?在如今人工智能(AI)和機(jī)器學(xué)習(xí)(ML)盛行的環(huán)境中，各類(lèi)AI開(kāi)發(fā)人員和研究人員為了實(shí)現(xiàn)其項(xiàng)目的目標(biāo)，需要訪問(wèn)大量具有高質(zhì)量的數(shù)據(jù)。同時(shí)，隨著“數(shù)據(jù)為王”的概念已深入人心，可以說(shuō)，“沒(méi)有數(shù)據(jù)，就不會(huì)有所謂的數(shù)據(jù)科學(xué)。”目前，機(jī)器學(xué)習(xí)的一個(gè)主要應(yīng)用領(lǐng)域，便是需要在計(jì)算機(jī)視覺(jué)(computer vision)中，對(duì)大量的圖像進(jìn)行標(biāo)注，使之成為實(shí)用的圖像數(shù)據(jù)。

本文將從如下方面和您討論圖像標(biāo)注的相關(guān)概念與類(lèi)型：

• 什么是計(jì)算機(jī)視覺(jué)?
• 什么是圖像標(biāo)注?
• 2D邊界框(Bounding Boxes)
• 3D邊界框/長(zhǎng)方體(Cuboids)
• 多邊形(Polygons)
• 線(xiàn)和樣條線(xiàn)(Lines and Splines)
• 語(yǔ)義分割(Semantic Segmentation)

什么是計(jì)算機(jī)視覺(jué)?

作為AI研究和開(kāi)發(fā)的一個(gè)重要領(lǐng)域，計(jì)算機(jī)視覺(jué)旨在使計(jì)算機(jī)能夠“看到”并解釋所處的環(huán)境和狀態(tài)。從自動(dòng)駕駛汽車(chē)，到無(wú)人機(jī)勘察，再到醫(yī)療診斷，以及面部識(shí)別與辨認(rèn)等場(chǎng)景，計(jì)算機(jī)視覺(jué)在實(shí)際應(yīng)用領(lǐng)域發(fā)揮著巨大的作用。

為了成功地模仿或超越人類(lèi)的視覺(jué)功能，計(jì)算機(jī)視覺(jué)在對(duì)目標(biāo)設(shè)備進(jìn)行開(kāi)發(fā)和處理的過(guò)程中，需要通過(guò)對(duì)大量模型的訓(xùn)練，實(shí)現(xiàn)對(duì)圖像的標(biāo)注。

什么是圖像標(biāo)注?

圖像標(biāo)注是一個(gè)將標(biāo)簽添加到圖像上的過(guò)程。其目標(biāo)范圍既可以是在整個(gè)圖像上僅使用一個(gè)標(biāo)簽，也可以是在某個(gè)圖像內(nèi)的各組像素中配上多個(gè)標(biāo)簽。一個(gè)簡(jiǎn)單的例子是：我們?cè)谙蛴變禾峁└鞣N動(dòng)物的電子圖像時(shí)，可以通過(guò)將正確的動(dòng)物名稱(chēng)標(biāo)記到每個(gè)圖像上，以方便幼兒在點(diǎn)觸圖像時(shí)能夠獲悉其名稱(chēng)。當(dāng)然，具體標(biāo)注的方法取決于實(shí)際項(xiàng)目所使用到的圖像標(biāo)注類(lèi)型。有時(shí)候，我們可以將那些通過(guò)地圖APP采集的地面實(shí)況數(shù)據(jù)(ground truth data)，作為帶標(biāo)注的圖像，饋入計(jì)算機(jī)視覺(jué)的對(duì)應(yīng)算法。通過(guò)反復(fù)訓(xùn)練，模型便可以將已標(biāo)注的實(shí)體與那些未標(biāo)注的圖像區(qū)分開(kāi)來(lái)。

最常見(jiàn)的圖像標(biāo)注類(lèi)型

上述示例非常簡(jiǎn)單，我們?cè)谥T如汽車(chē)自動(dòng)駕駛等領(lǐng)域，則會(huì)用到更加復(fù)雜的圖像標(biāo)注和計(jì)算機(jī)視覺(jué)技術(shù)。那么，我們?cè)撊绾沃滥囊环N圖像標(biāo)注類(lèi)型更適合自己手頭的項(xiàng)目呢?下面我將向您介紹五種常見(jiàn)的圖像標(biāo)注類(lèi)型，及其相關(guān)應(yīng)用。

1.2D邊界框

2D邊界框標(biāo)注是指：為那些人類(lèi)標(biāo)注器(human annotator)提供圖像，并負(fù)責(zé)在圖像中的某些對(duì)象周?chē)L制框。該邊框應(yīng)盡可能地靠近對(duì)象的每個(gè)邊緣。此項(xiàng)工作通常是在不同公司的自定義平臺(tái)上完成的。如果某個(gè)項(xiàng)目有著獨(dú)特的要求，那么服務(wù)公司則可以通過(guò)調(diào)整其現(xiàn)有平臺(tái)，以符合此類(lèi)需求。

邊界框的一種典型應(yīng)用是針對(duì)汽車(chē)自動(dòng)駕駛的開(kāi)發(fā)。標(biāo)注器需要在捕獲到的交通圖像內(nèi)識(shí)別車(chē)輛、行人和騎車(chē)人等實(shí)體，并在其周?chē)L制邊界框。因此，開(kāi)發(fā)人員通過(guò)為機(jī)器學(xué)習(xí)模型提供帶有邊界框標(biāo)注的圖像，以幫助正在進(jìn)行自動(dòng)駕駛的車(chē)輛，實(shí)時(shí)地區(qū)分出各類(lèi)實(shí)體，并避免觸碰到它們。

2.3D長(zhǎng)方體

與邊界框非常相似，3D長(zhǎng)方體標(biāo)注是在立體圖像中的識(shí)別對(duì)象，并在其周?chē)L制邊框。與僅描繪長(zhǎng)和寬的2D邊界框不同，3D長(zhǎng)方體則標(biāo)注了對(duì)象的長(zhǎng)、寬和近似深度。

使用3D長(zhǎng)方體標(biāo)注，人類(lèi)標(biāo)注器可以繪制一個(gè)框，將感興趣的對(duì)象封裝起來(lái)，并將錨點(diǎn)(anchor points)放置在對(duì)象的每個(gè)邊緣。如果對(duì)象的一個(gè)邊緣不可見(jiàn)、或被圖像中的另一個(gè)對(duì)象所遮擋，那么標(biāo)注器就會(huì)根據(jù)該對(duì)象的大小、高度、以及圖像的角度，來(lái)估算其邊緣的位置。

3.多邊形

有時(shí)候，圖像中的對(duì)象由于光照或角度等原因，其形狀、大小或方向無(wú)法被很好地適配上2D邊界框或3D長(zhǎng)方體。同時(shí)，開(kāi)發(fā)人員希望對(duì)圖像中的對(duì)象，進(jìn)行更加精確的標(biāo)注，例如：交通圖像中的汽車(chē)、空中圖像中的地標(biāo)性建筑物等。在這些情況下，我們可能需要選擇多邊形進(jìn)行標(biāo)注。

在使用多邊形時(shí)，標(biāo)注器會(huì)通過(guò)在需要標(biāo)注的對(duì)象的外邊緣，放置許多個(gè)點(diǎn)來(lái)繪制成線(xiàn)。這個(gè)過(guò)程有點(diǎn)類(lèi)似我們小時(shí)候玩過(guò)的“連點(diǎn)成線(xiàn)，勾勒輪廓”的練習(xí)。在此基礎(chǔ)上，我們使用一組預(yù)定的實(shí)體類(lèi)別(例如：汽車(chē)、自行車(chē)、卡車(chē))，對(duì)由這些點(diǎn)和線(xiàn)所包圍的區(qū)域內(nèi)的空間進(jìn)行標(biāo)注。此外，當(dāng)我們分配了多個(gè)類(lèi)別時(shí)，它們就被稱(chēng)為多類(lèi)標(biāo)注(multi-class annotation)。

4.線(xiàn)和樣條線(xiàn)

盡管線(xiàn)和樣條線(xiàn)可以被用于多種用途，但它們?cè)诖酥饕挥糜谟?xùn)練駕駛系統(tǒng)，以識(shí)別車(chē)道及其邊界。顧名思義，標(biāo)注器將會(huì)簡(jiǎn)單地沿著既定的機(jī)器學(xué)習(xí)方式，去繪制出邊界線(xiàn)。通過(guò)標(biāo)注出車(chē)行道和人行道，它能夠訓(xùn)練自動(dòng)駕駛系統(tǒng)，了解所處的邊界，并保持在某條車(chē)道內(nèi)，以避免壓線(xiàn)或轉(zhuǎn)向行駛。

此外，線(xiàn)和樣條線(xiàn)也可以被用于訓(xùn)練倉(cāng)庫(kù)里的機(jī)器人，讓它們能夠整齊地將箱子挨個(gè)擺放，或是將物品準(zhǔn)確地放置到傳送帶上。

5.語(yǔ)義分割

和上述主要著眼于繪制對(duì)象的外部邊緣(或邊界)分類(lèi)不同，語(yǔ)義分割要更加精確和具體一些。它是一個(gè)將整個(gè)圖像中的每個(gè)像素與標(biāo)簽相關(guān)聯(lián)的過(guò)程。在需要用到語(yǔ)義分割的項(xiàng)目中，我們通常會(huì)為人類(lèi)標(biāo)注器提供一系列預(yù)定義的標(biāo)簽，以便它能夠從中選擇需要標(biāo)記的內(nèi)容。

語(yǔ)義分割使用的是和多邊形標(biāo)注類(lèi)似的平臺(tái)，能夠讓標(biāo)注器在需要標(biāo)記的一組像素周?chē)L制線(xiàn)條。當(dāng)然，這些操作可以在AI輔助平臺(tái)上完成，例如，處理程序雖然可以近似地繪制出汽車(chē)的輪廓邊界，但是為了避免錯(cuò)誤，需要在分割過(guò)程中剔除掉汽車(chē)下方的陰影部分。

在實(shí)際應(yīng)用中，標(biāo)注器一旦接收到自動(dòng)駕駛的訓(xùn)練數(shù)據(jù)，就需要按照道路、建筑物、騎車(chē)人、行人、障礙物、樹(shù)木、人行道、以及車(chē)輛等，對(duì)圖像中的所有內(nèi)容，進(jìn)行分類(lèi)分割。而且，人類(lèi)標(biāo)注器會(huì)使用單獨(dú)的工具，裁剪掉不屬于主體的像素。

語(yǔ)義分割的另一個(gè)常見(jiàn)應(yīng)用場(chǎng)景是醫(yī)學(xué)成像。針對(duì)提供過(guò)來(lái)的患者照片，標(biāo)注器將從解剖學(xué)角度對(duì)不同的身體部位，打上正確的部位名稱(chēng)標(biāo)簽。因此，語(yǔ)義分割可以被用于處理諸如“在CT掃描圖像中標(biāo)記腦部病變”，之類(lèi)難度較大的特殊任務(wù)。

原標(biāo)題：An Introduction to 5 Types of Image Annotation ，作者：Limarc Ambalina

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】