隨手在網(wǎng)絡(luò)上發(fā)布的一張照片，能暴露多少信息？

外國(guó)的一位博主@rainbolt就長(zhǎng)年接受這種「照片游戲」的挑戰(zhàn)，網(wǎng)友提供照片，他來(lái)猜測(cè)照片的具體拍攝地，有些照片甚至還能猜到具體的航班細(xì)節(jié)。

是不是細(xì)思極恐？

但「照片挑戰(zhàn)」也同樣撫慰了很多人心中的遺憾，比如拿著一張父親年輕時(shí)候拍的照片，卻不知道在哪里，借助rainbolt和廣大網(wǎng)友的力量，最終完成了心愿。

我花費(fèi)了6個(gè)月和300多個(gè)小時(shí)試圖找到一位粉絲父親生前照片的位置，但沒(méi)有結(jié)果，我放棄了；在發(fā)布到y(tǒng)outube上的一小時(shí)后，我們找到了。

光是想想，就能知道「從照片猜位置」這個(gè)過(guò)程的艱辛和難度，其中涉及到大量的地理、歷史專業(yè)知識(shí)，從路標(biāo)、交通方向、樹(shù)木種類、基礎(chǔ)設(shè)施等蛛絲馬跡中不斷找到真相。

在計(jì)算機(jī)領(lǐng)域，這一任務(wù)也被稱為圖像地理定位（image geolocalization），目前大多數(shù)方法仍然是基于手工特征和檢索的方法，沒(méi)有使用Transformer等深度學(xué)習(xí)架構(gòu)。

最近斯坦福大學(xué)的研究團(tuán)隊(duì)合作開(kāi)發(fā)了一款A(yù)I工具PIGEON，將語(yǔ)義地理單元?jiǎng)?chuàng)建（semantic geocell creation）與標(biāo)簽平滑（label smoothing）相結(jié)合，對(duì)街景圖像進(jìn)行CLIP視覺(jué)轉(zhuǎn)換器的預(yù)訓(xùn)練，并使用ProtoNets在候選地理單元集上細(xì)化位置預(yù)測(cè)。

論文鏈接：https://arxiv.org/abs/2307.05845

PIGEON在「照片猜國(guó)家」的子任務(wù)上實(shí)現(xiàn)了91.96%的正確率，40.36%的猜測(cè)在距離目標(biāo)25公里以內(nèi)，這也是過(guò)去五年來(lái)第一篇沒(méi)有軍事背景資助的、最先進(jìn)的圖像地理定位相關(guān)的論文。

GeoGuessr是一個(gè)從街景圖像中猜測(cè)地理位置的游戲，全球擁有5000萬(wàn)玩家，前面提到的rainbolt就是該游戲的忠實(shí)粉絲，也是公認(rèn)的最強(qiáng)玩家之一。

而PIGEON模型在GeoGuessr中對(duì)人類玩家呈碾壓優(yōu)勢(shì)，在六場(chǎng)比賽中連續(xù)擊敗rainbolt，全球排名前0.01%.

PIGEON的進(jìn)步還啟發(fā)了開(kāi)發(fā)人員創(chuàng)建另一個(gè)模型PIGEOTTO，使用Flickr和維基百科的400萬(wàn)張圖像進(jìn)行訓(xùn)練，輸入任意圖像而非街景全景圖，就能定位出圖像的位置，功能更加強(qiáng)大。

在此類任務(wù)的測(cè)試中，PIGEOTTO的性能最佳，將中位偏差降低了20%-50%，在城市粒度上的預(yù)測(cè)超過(guò)了之前的SOTA高達(dá)7.7個(gè)百分點(diǎn)，在國(guó)家粒度上超過(guò)了38.8個(gè)百分點(diǎn)。

2016 MediaEval數(shù)據(jù)集的樣本圖像用于訓(xùn)練PIGEOTTO

從技術(shù)上來(lái)說(shuō)，該工作的最重要的結(jié)果之一就是證明了預(yù)訓(xùn)練的CLIP模型StreetCLIP域泛化及其對(duì)分布變化的魯棒性，能夠以零樣本的方式將StreetCLIP應(yīng)用于分布外基準(zhǔn)數(shù)據(jù)集IM2GPS和IM2GPS3k，并取得了最先進(jìn)的結(jié)果，擊敗了在400多萬(wàn)張分布內(nèi)（in-distributions）圖像上微調(diào)的模型。

并且，實(shí)驗(yàn)結(jié)果也證明了對(duì)比預(yù)訓(xùn)練是一種有效的圖像地理定位元學(xué)習(xí)技術(shù)，在StreetCLIP預(yù)訓(xùn)練中沒(méi)見(jiàn)過(guò)的國(guó)家預(yù)測(cè)上，準(zhǔn)確率比CLIP提高了10個(gè)百分點(diǎn)以上。

由于圖像地理定位數(shù)據(jù)集在地理分布方面差異很大，結(jié)果也證明了將StreetCLIP應(yīng)用于任何地理定位和相關(guān)問(wèn)題的有效性。

由于這項(xiàng)技術(shù)目前仍然可以用于不良目的，所以開(kāi)發(fā)人員決定暫時(shí)不公布模型權(quán)重。

實(shí)驗(yàn)數(shù)據(jù)集

雖然大多數(shù)圖像地理定位方法都依賴于公開(kāi)的數(shù)據(jù)集，但目前還沒(méi)有公開(kāi)的、全地球范圍下的街景（Street View）數(shù)據(jù)集。

所以研究人員決定在原始數(shù)據(jù)集上創(chuàng)建，主動(dòng)聯(lián)系了Geoguessr的首席技術(shù)官Erland Ranvinge，獲得了該游戲中競(jìng)爭(zhēng)對(duì)決模式下使用的100萬(wàn)個(gè)地點(diǎn)的數(shù)據(jù)集，再隨機(jī)采樣10%數(shù)據(jù)點(diǎn)，對(duì)每個(gè)數(shù)據(jù)點(diǎn)下載4張圖片，最終獲得40萬(wàn)張圖片。

方法架構(gòu)

1. Geocell Creation（地理單元生成）

先前的研究嘗試過(guò)直接對(duì)輸入圖像來(lái)預(yù)測(cè)經(jīng)緯度，但結(jié)果證明無(wú)法取得sota性能，所以目前的方法大多依賴于生成geocells，把坐標(biāo)回歸問(wèn)題離散化，再轉(zhuǎn)成分類問(wèn)題，所以geocell的設(shè)計(jì)至關(guān)重要。

這篇論文的一個(gè)創(chuàng)新點(diǎn)就是語(yǔ)義地理單元（semantic geocells），可以根據(jù)訓(xùn)練數(shù)據(jù)集樣本的地理分布自動(dòng)適應(yīng)，因?yàn)閳D像中的視覺(jué)特征通常與國(guó)家（道路標(biāo)記）、地區(qū)（基礎(chǔ)設(shè)施質(zhì)量）或城市（街道標(biāo)志）有關(guān)；并且國(guó)家或行政邊界往往遵循自然邊界，如河流或山脈的流動(dòng)，這反過(guò)來(lái)又影響植被類型，土壤顏色等自然特征。

研究人員設(shè)計(jì)的地理單元有三個(gè)級(jí)別：國(guó)家、admin 1、admin 2，從最細(xì)粒度級(jí)別（admin 2）開(kāi)始，算法會(huì)逐步合并相鄰的admin 2級(jí)別多邊形，其中每個(gè)geocell包含至少30個(gè)訓(xùn)練樣本。

2. 標(biāo)簽平滑（label smoothing）

語(yǔ)義地理單元?jiǎng)?chuàng)建過(guò)程來(lái)離散化圖像地理定位問(wèn)題，可以在粒度和預(yù)測(cè)準(zhǔn)確性之間尋求平衡：地理單元的粒度越大，預(yù)測(cè)就越精確，但由于基數(shù)(cardinality)更高，分類問(wèn)題就會(huì)變得更加困難。

為了解決這個(gè)問(wèn)題，研究人員設(shè)計(jì)了一個(gè)損失函數(shù)，基于預(yù)測(cè)的、到正確的地理單元之間的距離進(jìn)行懲罰，可以更高效地對(duì)模型進(jìn)行訓(xùn)練。

使用兩點(diǎn)之間Haversine距離的一個(gè)優(yōu)勢(shì)是基于地球的球面幾何，能夠精確估計(jì)兩點(diǎn)之間的距離。

3. Vision Transformer（CLIP）

研究人員使用預(yù)訓(xùn)練的視覺(jué)Transformer，架構(gòu)為ViT-L/14，然后對(duì)預(yù)測(cè)header進(jìn)行了微調(diào)，并且對(duì)最后一個(gè)視覺(jué)Transformer層進(jìn)行解凍。

對(duì)于具有多個(gè)圖像輸入的模型版本，將四個(gè)圖像的embedding進(jìn)行平均；在實(shí)驗(yàn)中，平均embedding比通過(guò)多頭注意力或額外的Transformer層組合embedding表現(xiàn)得更好。

基于先驗(yàn)知識(shí)和專業(yè)GeoGuessr玩家通常觀察到的策略，圖像定位任務(wù)有各種相關(guān)特征，例如，植被、道路標(biāo)記、路標(biāo)和建筑。

多模態(tài)模型對(duì)圖像有更深語(yǔ)義理解的embedding，使其能夠?qū)W習(xí)這些特征，實(shí)驗(yàn)中也證明了，CLIP視覺(jué)Transformer比類似的ImageNet視覺(jué)Transformer有明顯的進(jìn)步，并且使用注意力map能夠以可解釋的方式展示模型學(xué)習(xí)到的策略。

4. StreetCLIP對(duì)比預(yù)訓(xùn)練

受CLIP對(duì)比預(yù)訓(xùn)練的啟發(fā)，研究人員設(shè)計(jì)了一個(gè)對(duì)比預(yù)訓(xùn)練任務(wù)，在學(xué)習(xí)geocell預(yù)測(cè)頭之前，也可以使用它來(lái)微調(diào)CLIP基礎(chǔ)模型。

使用地理、人口統(tǒng)計(jì)和地質(zhì)輔助數(shù)據(jù)來(lái)增強(qiáng)街景數(shù)據(jù)集，使用基于規(guī)則的系統(tǒng)為每個(gè)圖像創(chuàng)建隨機(jī)描述，例如：

地點(diǎn)：南非東開(kāi)普省地區(qū)的街景照片

Location: A Street View photo in the region of Eastern Cape in South Africa.

氣候：該地區(qū)為溫帶海洋性氣候。

Climate: This location has a temperate oceanic climate.

羅盤方向：這張照片是朝北的。

Compass Direction: This photo is facing north.

季節(jié)：這張照片是在12月拍攝的。

Season: This photo was taken in December.

交通：在這個(gè)位置，人們?cè)诘缆返淖髠?cè)行駛。

Traffic: In this location, people drive on the left side of the road.

相當(dāng)于是一個(gè)隱式的多任務(wù)，可以確保模型保持豐富的數(shù)據(jù)表示，同時(shí)調(diào)整街景圖像的分布并學(xué)習(xí)與地理位置相關(guān)的功能。

5. 多任務(wù)學(xué)習(xí)

研究人員還嘗試通過(guò)為輔助氣候變量、人口密度、海拔和一年中的月份（季節(jié)）創(chuàng)建特定于任務(wù)的預(yù)測(cè)header來(lái)明確多任務(wù)設(shè)置。

6. ProtoNet Refinement

為了進(jìn)一步完善模型在geocell內(nèi)的猜測(cè)并提高街道和城市級(jí)別的性能，研究人員使用ProtoNets執(zhí)行g(shù)eocell內(nèi)的細(xì)化，將每個(gè)單元的單元內(nèi)細(xì)化作為一個(gè)單獨(dú)的few shot分類任務(wù)。

再次使用OPTICS聚類算法，其中minsample參數(shù)為3，xi參數(shù)為0.15來(lái)聚類geocell內(nèi)的所有點(diǎn)，從而提出在cell內(nèi)分類設(shè)置中學(xué)習(xí)的類別。

每個(gè)聚類由至少三個(gè)訓(xùn)練樣本組成，形成一個(gè)原型，其表征通過(guò)對(duì)原型中所有圖像的embedding進(jìn)行平均來(lái)計(jì)算。

大洛杉磯都市區(qū)的可視化ProtoNet集群

為了計(jì)算原型embedding，使用與geocell預(yù)測(cè)任務(wù)相同的模型，但刪除預(yù)測(cè)header并凍結(jié)所有權(quán)重。

在推理過(guò)程中，首先計(jì)算并平均新位置的嵌入，采用平均圖像嵌入與給定geocell內(nèi)的所有原型之間的歐幾里得距離，選擇具有最小歐幾里得圖像嵌入距離的原型位置作為最終的地理定位預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果

性能最好的PIGEON模型實(shí)現(xiàn)了91.96%的國(guó)家準(zhǔn)確率（基于政治邊界），40.36%的猜測(cè)都在距離正確位置25公里以內(nèi)，中位公里誤差為44.35公里，GeoGuessr平均得分為4525分。

在增強(qiáng)數(shù)據(jù)集上的多任務(wù)模型的結(jié)果顯示，模型可以從街景圖像中推斷出地理、人口和地質(zhì)特征。