地震、颶風(fēng)和洪水等自然災(zāi)害影響著大片地區(qū)和數(shù)百萬(wàn)人，而這對(duì)于后勤救援是一項(xiàng)巨大的挑戰(zhàn)。包括政府、非政府組織和聯(lián)合國(guó)組織在內(nèi)的危機(jī)響應(yīng)機(jī)構(gòu)，需要在災(zāi)害發(fā)生后快速而全面準(zhǔn)確的評(píng)估，以規(guī)劃如何優(yōu)化配置有限的資源。為此，能提供充足信息的工具愈發(fā)重要，如分辨率高達(dá) 0.3 米的超高分辨率 (VHR) 衛(wèi)星圖像，成為應(yīng)對(duì)危機(jī)的重要工具，可以向危機(jī)響應(yīng)機(jī)構(gòu)呈現(xiàn)災(zāi)害給地形、基礎(chǔ)設(shè)施和人口帶來(lái)的變化。

然而，要從原始衛(wèi)星圖像中提取相關(guān)的具體信息（例如，倒塌的建筑物、出現(xiàn)裂縫的橋梁以及臨時(shí)避難所的位置），仍然需要大量的人工手動(dòng)操作。例如，就 2010 年海地地震而言，僅在太子港地區(qū)，分析人員就人工檢查了 90,000 多棟建筑物，并以五分制對(duì)每座建筑物遭受的破壞程度進(jìn)行了評(píng)估。

這類人工分析工作常需要專家團(tuán)隊(duì)工作數(shù)周才能完成。而實(shí)際上災(zāi)后 48-72 小時(shí)內(nèi)就迫切需要這些數(shù)據(jù)，為最緊要決定的作出提供依據(jù)。

為了幫助減輕這類自然災(zāi)害的影響，我們提出了“使用卷積神經(jīng)網(wǎng)絡(luò)在衛(wèi)星圖像中檢測(cè)建筑物損壞程度的方法 (Building Damage Detection in Satellite Imagery Using Convolutional Neural Networks)”，其中詳細(xì)介紹了一種機(jī)器學(xué)習(xí) (ML) 方法，該方法可自動(dòng)處理衛(wèi)星數(shù)據(jù)從而生成建筑物損壞的評(píng)估數(shù)據(jù)，這由我們與聯(lián)合國(guó)世界糧食計(jì)劃署 (WFP) 創(chuàng)新加速器合作開發(fā)。相信這項(xiàng)工作將有望大幅減少危機(jī)響應(yīng)工作人員進(jìn)行災(zāi)害評(píng)估報(bào)告所需的時(shí)間和精力，進(jìn)而縮短向受災(zāi)最嚴(yán)重地區(qū)及時(shí)提供救災(zāi)援助所需的周轉(zhuǎn)時(shí)間，同時(shí)增加此類關(guān)鍵服務(wù)的總體覆蓋范圍。

•  使用卷積神經(jīng)網(wǎng)絡(luò)在衛(wèi)星圖像中檢測(cè)建筑物損壞程度的方法

https://arxiv.org/abs/1910.06444

方法

自動(dòng)損失評(píng)估過(guò)程分為兩步：建筑物檢測(cè)和損失分類。

在第一個(gè)步驟中，我們使用對(duì)象檢測(cè)模型在圖像中為每個(gè)建筑物周圍繪制邊界框。然后，截取以每個(gè)檢測(cè)的建筑物為中心的災(zāi)前和災(zāi)后圖像，利用分類模型確定建筑物是否受損。

分類模型由卷積神經(jīng)網(wǎng)絡(luò)組成，在該卷積神經(jīng)網(wǎng)絡(luò)中輸入以給定建筑物為中心的兩個(gè) RGB 圖像，大小為 161 像素 x 161 像素，對(duì)應(yīng) 50 m x 50 m 的占地面積。模型會(huì)對(duì)比災(zāi)害事件之前與之后的圖像，分析兩幅圖像中的差異，并輸出 0.0 - 1.0 范圍內(nèi)的值，其中 0.0 表示建筑物未受損，1.0 則表示建筑物受損。

由于前后的對(duì)比圖像是在不同日期、一天中的不同時(shí)間拍攝，并且在某些情況下是由不同衛(wèi)星所拍攝的，所以可能會(huì)出現(xiàn)許多不同的問(wèn)題。如，圖像的亮度、對(duì)比度、色彩飽和度和照明條件可能有很大的差異，并且有時(shí)圖像中的像素可能會(huì)錯(cuò)位。

為了校正顏色和亮度差異，我們使用直方圖均衡對(duì)圖像的顏色進(jìn)行歸一化。我們還通過(guò)使用標(biāo)準(zhǔn)的數(shù)據(jù)增強(qiáng)技術(shù)（如在訓(xùn)練過(guò)程中隨機(jī)干擾圖像的對(duì)比度和飽和度），讓模型對(duì)細(xì)微顏色差異更具穩(wěn)健性。

訓(xùn)練數(shù)據(jù)

這項(xiàng)工作的主要挑戰(zhàn)之一是收集訓(xùn)練數(shù)據(jù)集?？梢允褂玫臄?shù)據(jù)存在固有限制：因?yàn)閮H有少數(shù)災(zāi)害才存在高分辨率的衛(wèi)星圖像，并且進(jìn)行災(zāi)害評(píng)估的災(zāi)害更是少之甚少。我們使用從事這一領(lǐng)域的人道主義組織（如 UNOSAT 和 REACH）手動(dòng)制作且公開提供的損壞評(píng)估數(shù)據(jù)為標(biāo)簽。

我們使用對(duì)應(yīng)的的原始衛(wèi)星圖像，然后用 Google Earth Engine 在空間上將災(zāi)害評(píng)估標(biāo)簽與衛(wèi)星圖像結(jié)合起來(lái)，以生成最終的訓(xùn)練示例。用于訓(xùn)練模型的所有圖像均來(lái)自可用的商業(yè)源。

•  Google Earth Engine 

https://developers.google.com/earth-engine

圖塊示例：呈現(xiàn)了不同災(zāi)害中受損和未受損建筑物的前后對(duì)比情況

結(jié)果

我們針對(duì)近年來(lái)發(fā)生的三次大地震進(jìn)行評(píng)估：2010 年海地地震（7.0 級(jí)）、2017 年墨西哥城地震（7.1 級(jí)）和 2018 年印度尼西亞發(fā)生的一系列地震（5.9 - 7.5 級(jí)）。

對(duì)于每一次事件，我們都用受地震影響地區(qū)的一部分建筑物來(lái)訓(xùn)練模型，并用另一地區(qū)的一部分建筑物對(duì)其進(jìn)行測(cè)試。我們使用 UNOSAT 和 REACH 進(jìn)行的人類專家損壞評(píng)估作為評(píng)估的基礎(chǔ)。我們使用實(shí)際準(zhǔn)確率（與專家評(píng)估相比）和 ROC 曲線下的面積 (AUROC) 來(lái)衡量模型的質(zhì)量，AUROC 捕捉了模型的真陽(yáng)性和假陽(yáng)性檢測(cè)率之間的權(quán)衡，是測(cè)試數(shù)據(jù)集中陽(yáng)性和陰性樣本數(shù)量不平衡時(shí)衡量質(zhì)量的一種常用方法。AUROC 值為 0.5 意味著模型的預(yù)測(cè)是隨機(jī)的，而值為 1.0 意味著模型完全準(zhǔn)確。根據(jù)危機(jī)應(yīng)對(duì)者的反饋，要在災(zāi)害發(fā)生后 72 小時(shí)內(nèi)做出初步?jīng)Q策，要求準(zhǔn)確率必須達(dá)到 70%。

根據(jù)人類專家評(píng)估數(shù)據(jù)評(píng)價(jià)模型預(yù)測(cè)（越高越好）

2010 年海地地震的模型預(yù)測(cè)示例：接近 1.0 的預(yù)測(cè)值意味著模型更確信建筑物受損。值接近于 0.0 表示建筑物未受損。閾值 0.5 通常用來(lái)區(qū)分受損/未受損的預(yù)測(cè)，但是可以對(duì)其進(jìn)行調(diào)整以控制預(yù)測(cè)的敏感程度

未來(lái)工作

雖然當(dāng)前模型在使用相同地區(qū)（例如，同一城市或國(guó)家）的建筑物進(jìn)行訓(xùn)練和測(cè)試時(shí)運(yùn)行良好，但我們的最終目標(biāo)是希望模型能夠準(zhǔn)確評(píng)估世界上各地發(fā)生的災(zāi)害對(duì)建筑物的損壞程度，而不僅僅局限于與訓(xùn)練模型所用的數(shù)據(jù)類似的災(zāi)害。

這項(xiàng)工作充滿挑戰(zhàn)，因?yàn)閬?lái)自歷史災(zāi)害的可用訓(xùn)練數(shù)據(jù)的種類存在固有限制：僅局限于少數(shù)幾個(gè)地理位置發(fā)生的事件。因此，對(duì)我們的模型而言，泛化到新地點(diǎn)未來(lái)可能發(fā)生的災(zāi)害仍是一個(gè)挑戰(zhàn)，也是我們目前的工作重點(diǎn)。我們?cè)O(shè)想建立一個(gè)可以由專家分析師進(jìn)行交互式訓(xùn)練、驗(yàn)證和部署的系統(tǒng)，以便重要的援助分配決策可以始終得到經(jīng)驗(yàn)豐富的災(zāi)害響應(yīng)機(jī)構(gòu)的核實(shí)。我們希望這項(xiàng)技術(shù)能讓社區(qū)在最需要的時(shí)候及時(shí)得到所需的幫助。