一、概述

網(wǎng)絡(luò)空間測(cè)繪的概念由白帽匯率先提出。在很長(zhǎng)一段時(shí)間內(nèi)，國(guó)內(nèi)對(duì)于這個(gè)行業(yè)都不太關(guān)注。最近2年，尤其是去年，該行業(yè)得到了快速發(fā)展，各大網(wǎng)絡(luò)安全公司都開(kāi)始布局。

雖然行業(yè)已經(jīng)發(fā)展了幾年，但在行業(yè)標(biāo)準(zhǔn)、資質(zhì)品類等方面，一直處于不成熟的階段。例如：至今廠商的相關(guān)產(chǎn)品在申請(qǐng)銷售許可證時(shí)都是向漏洞掃描器去掛靠的；由于是新興行業(yè)，一些非?；A(chǔ)的概念大家仍未能達(dá)成共識(shí)，在理解上產(chǎn)生了一些非常明顯的“偏差”。所以如果能得到更多關(guān)注，行業(yè)也一定能得到更加規(guī)范的發(fā)展。當(dāng)然，我們也一直希望能為行業(yè)進(jìn)步，貢獻(xiàn)一份綿薄之力。

近期，中國(guó)網(wǎng)絡(luò)安全年會(huì)中發(fā)布了一份關(guān)于“網(wǎng)絡(luò)空間搜索引擎技術(shù)調(diào)研”（https://link.springer.com/chapter/10.1007/978-981-33-4922-3_15#Tab1）的報(bào)告。報(bào)告中對(duì)比、分析了幾個(gè)知名的網(wǎng)絡(luò)空間測(cè)繪平臺(tái)，可見(jiàn)網(wǎng)絡(luò)空間測(cè)繪這個(gè)網(wǎng)絡(luò)安全細(xì)分領(lǐng)域的技術(shù)，已經(jīng)贏得了來(lái)自有關(guān)權(quán)威部門的關(guān)注和認(rèn)可，這對(duì)我們這些一直堅(jiān)持在技術(shù)一線的團(tuán)隊(duì)和公司來(lái)說(shuō)，絕對(duì)是一件非常值得開(kāi)心的事情。對(duì)于其中的一些說(shuō)法和數(shù)據(jù)，我們認(rèn)為存在一些問(wèn)題，也有一些小小的建議和想法。在此，我們就“拋磚引玉”，和大家一起探討一下。

二、詳細(xì)描述

1、參考鏈接非權(quán)威來(lái)源，且缺少價(jià)值信息

圖1

上圖中，根據(jù)文章鏈接內(nèi)容3（https://www.zoomeye.org/doc?Thechannel=user#d-service），作者嘗試說(shuō)明ZoomEye的用戶手冊(cè)中提到了協(xié)議來(lái)源于NMAP-Services的描述。點(diǎn)進(jìn)頁(yè)面后卻發(fā)現(xiàn)并沒(méi)有任何內(nèi)容提到這一點(diǎn)，且連Nmap字樣都看不到。我們姑且認(rèn)為是網(wǎng)站進(jìn)行了改版，無(wú)法看到之前的信息，那么我們思考一個(gè)問(wèn)題，我們可以宣稱參考了某個(gè)規(guī)范，它可以解讀為：a）我們實(shí)現(xiàn)了里面的部分協(xié)議；b）我們實(shí)現(xiàn)了里面的所有協(xié)議；官方未必有這個(gè)意思，而文章中顯然采信了第二種假設(shè)。于是我們做了一個(gè)很小的隨機(jī)抽樣測(cè)試，隨機(jī)選擇了NMAP-Services中的50個(gè)協(xié)議進(jìn)行確認(rèn)，ZoomEye只實(shí)現(xiàn)了其中的11種，這個(gè)證偽的過(guò)程是比較簡(jiǎn)單的（具體測(cè)試方法，如果相關(guān)單位有興趣，可以聯(lián)系我們）。從另一個(gè)角度，如果以后各網(wǎng)絡(luò)空間測(cè)繪引擎在各自官網(wǎng)都寫上：我們的“協(xié)議參考了Nmap以及Wireshark”，這個(gè)領(lǐng)域?qū)Ρ仁遣皇蔷秃?jiǎn)單了？

文章參考鏈接的4（https://www.freebuf.com/articles/ics-articles/196647.html），是名稱為《2018年工業(yè)控制網(wǎng)絡(luò)安全態(tài)勢(shì)白皮書》的文章。調(diào)研報(bào)告中說(shuō)Fofa的協(xié)議列表來(lái)源于此，但事實(shí)上引用的來(lái)源文章里面非但沒(méi)有提及Fofa。而且來(lái)源明確說(shuō)了信息是“東北大學(xué)諦聽(tīng)網(wǎng)絡(luò)安全團(tuán)隊(duì)根據(jù)‘諦聽(tīng)’網(wǎng)絡(luò)空間工控設(shè)備搜索引擎收集的各類安全數(shù)據(jù)”。此類情況出現(xiàn)在一篇嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)論文里面，可能不太合適。退一萬(wàn)步說(shuō)，2018年的分析肯定不能與現(xiàn)在的另外幾家去比較。很簡(jiǎn)單的邏輯：僅工業(yè)控制協(xié)議，F(xiàn)ofa從2018年起都增加了十個(gè)以上。

基于上述分析，我們認(rèn)為數(shù)據(jù)的參考是不可取的。如果由各平臺(tái)自行報(bào)送，并由權(quán)威部門進(jìn)行匯總整理，以及做驗(yàn)證確認(rèn)，數(shù)據(jù)價(jià)值才會(huì)更高，并且不會(huì)有失偏頗和公平。因?yàn)閰⒖剂瞬灰欢▽?shí)現(xiàn)了，實(shí)現(xiàn)了不一定準(zhǔn)確了，準(zhǔn)確了不一定全網(wǎng)數(shù)據(jù)采集全面了。對(duì)比就是為了區(qū)分不同平臺(tái)的優(yōu)劣勢(shì)，大家選擇發(fā)力方向不同，結(jié)果自然不同。

2、對(duì)比的核心維度概念模糊，存在不一致性

圖2

其中這一張圖比較有代表性。首先介紹一下在網(wǎng)絡(luò)空間測(cè)繪領(lǐng)域比較重要的幾個(gè)基本數(shù)據(jù)的統(tǒng)計(jì)維度：

1）網(wǎng)絡(luò)資產(chǎn)數(shù)：

通俗一點(diǎn)就是數(shù)據(jù)記錄條數(shù)，技術(shù)上說(shuō)就是用什么作為存儲(chǔ)的key值。不同的平臺(tái)實(shí)現(xiàn)的機(jī)制并不一致，例如：Shodan是按照ip:port存儲(chǔ)，F(xiàn)ofa和ZoomEye是按照host:port存儲(chǔ)，360的Quake平臺(tái)是根據(jù)ip:port:date存儲(chǔ)。因?yàn)镾hodan選擇的是只針對(duì)IP層面進(jìn)行分析，所以他們直接放棄了主機(jī)域名的分析。一個(gè)IP可以對(duì)應(yīng)任意多個(gè)域名，所以說(shuō)Shodan做針對(duì)某個(gè)企業(yè)的互聯(lián)網(wǎng)暴露面梳理效果比較差。其他平臺(tái)都采用了網(wǎng)站域名的方式，數(shù)據(jù)量差別比較大，目前Fofa的主機(jī)域名數(shù)暫時(shí)來(lái)說(shuō)還是有一些優(yōu)勢(shì)的?；趆ost:port的方式會(huì)存儲(chǔ)兩個(gè)數(shù)據(jù)存儲(chǔ)：一個(gè)叫熱數(shù)據(jù)，比如昨天發(fā)現(xiàn)了1.1.1.1:80，今天又發(fā)現(xiàn)了，在你熱數(shù)據(jù)中會(huì)發(fā)生覆蓋，只會(huì)有一條最新的；另一個(gè)叫冷數(shù)據(jù)或者叫歷史數(shù)據(jù)，大家按名字理解就好。Quake平臺(tái)稍微特殊，由于加入了date作為key，會(huì)導(dǎo)致一個(gè)IP的同一個(gè)端口，可以查詢出來(lái)多條數(shù)據(jù)。

2）獨(dú)立IP數(shù)：

基于上面的說(shuō)法，大家就知道，記錄數(shù)不代表IP數(shù)，一個(gè)IP開(kāi)了多個(gè)端口，就對(duì)應(yīng)多條記錄。大家通常對(duì)IP比較容易理解，所以Fofa在搜索的時(shí)候會(huì)明確告知聚合后的IP總數(shù)有多少。在Shodan直接查詢一個(gè)端口，例如：port:80，以此搜索出來(lái)的統(tǒng)計(jì)數(shù)據(jù)就是準(zhǔn)確的IP個(gè)數(shù)，其他平臺(tái)大家可以自行分析方法。在硬件（物聯(lián)網(wǎng)或者服務(wù)器）領(lǐng)域，IP和硬件是一一對(duì)應(yīng)的，但在軟件應(yīng)用領(lǐng)域，一個(gè)IP可以承載任意多個(gè)應(yīng)用，這也就是我們俗稱的攻擊點(diǎn)。

3）指紋規(guī)則數(shù)：

一條指紋規(guī)則簡(jiǎn)單來(lái)說(shuō)就是能夠用于識(shí)別某一類設(shè)備或者軟件的查詢語(yǔ)句。這是Fofa最先提出的，早期各平臺(tái)都內(nèi)嵌了一些簡(jiǎn)單的設(shè)備識(shí)別庫(kù)，并未提供html等大文本的關(guān)鍵字檢索，所以用戶無(wú)法自定義規(guī)則和保存。Fofa一開(kāi)始的設(shè)計(jì)理念就是用戶更懂場(chǎng)景，所以放開(kāi)了這種方法，讓用戶來(lái)自定義識(shí)別的語(yǔ)法，然后可以保存下來(lái)方便后續(xù)使用。最初我們叫應(yīng)用規(guī)則庫(kù)，后來(lái)慢慢叫法各異，有叫指紋庫(kù)的、有叫規(guī)則集的，還有叫軟硬件識(shí)別庫(kù)的。一條指紋可以對(duì)應(yīng)任意多條設(shè)備。目前論指紋規(guī)則庫(kù)，F(xiàn)ofa在數(shù)量上還是有一點(diǎn)點(diǎn)優(yōu)勢(shì)的。

4）特定規(guī)則集匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)：

如上所述，一個(gè)規(guī)則查詢的結(jié)果其實(shí)就是匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)，所有指紋規(guī)則庫(kù)匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)基本就是全庫(kù)了。

圖3

如果上面說(shuō)的還是難以理解，現(xiàn)在通過(guò)上圖這個(gè)簡(jiǎn)單的示例來(lái)說(shuō)明：我們嘗試搜索互聯(lián)網(wǎng)中開(kāi)放的Apache網(wǎng)站服務(wù)器數(shù)量，我們可以在Fofa中檢索app="APACHE-Web-Server"，這時(shí)返回的11682萬(wàn)代表了互聯(lián)網(wǎng)中存在的所有使用了這個(gè)服務(wù)器的資產(chǎn)數(shù)，其中網(wǎng)站和協(xié)議是可以有重合的，分別對(duì)應(yīng)7446萬(wàn)和4235萬(wàn)，因?yàn)橐粋€(gè)80端口在協(xié)議中是存在的，但是它可能會(huì)綁定多個(gè)域名。獨(dú)立IP只有2918萬(wàn)，是因?yàn)橐粋€(gè)IP的apache服務(wù)器可以綁定到多個(gè)端口。

回到圖2來(lái)看，就是一個(gè)非常有意思的結(jié)果了：Shodan對(duì)應(yīng)4億，ZoomEye對(duì)應(yīng)11億，F(xiàn)ofa對(duì)應(yīng)27萬(wàn)。我們相信每一條數(shù)據(jù)作者都是經(jīng)過(guò)思考和挑選的，只是沒(méi)能梳理清楚，到底是全網(wǎng)的網(wǎng)絡(luò)資產(chǎn)數(shù)、獨(dú)立IP數(shù)、指紋規(guī)則庫(kù)的數(shù)量、抑或特定規(guī)則集匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)，甚至是可能沒(méi)有分清是熱數(shù)據(jù)還是包含了歷史數(shù)據(jù)？如果不在一個(gè)維度來(lái)對(duì)比，也就沒(méi)有太大的參考價(jià)值了。

另外，值得強(qiáng)調(diào)的是，哪怕是在一個(gè)維度進(jìn)行對(duì)比，單純的對(duì)比數(shù)據(jù)也存在很大的誤導(dǎo)性，比如Shodan只拿出一個(gè)月的數(shù)據(jù)作為熱數(shù)據(jù)，老的數(shù)據(jù)并未展示（沒(méi)覆蓋的也不顯示），而ZoomEye則是把歷史數(shù)據(jù)都展示出來(lái)，所以實(shí)際上很難統(tǒng)計(jì)出一個(gè)公允的結(jié)果。在對(duì)比時(shí)，我們要考慮一定時(shí)間內(nèi)數(shù)據(jù)的獲取能力（注意必須要考慮一定時(shí)間內(nèi)），要考慮數(shù)據(jù)的深入性和準(zhǔn)確性（比如協(xié)議或者規(guī)則）。如果沒(méi)有這些，就必然出現(xiàn)各大平臺(tái)玩起了刷數(shù)據(jù)的游戲，樂(lè)此不疲。如果Shodan隱藏實(shí)力，我們向它學(xué)習(xí)還是有意義的。

3、數(shù)據(jù)抽樣測(cè)試參考標(biāo)準(zhǔn)存在差異，直接影響了結(jié)果

這里必須幫ZoomEye說(shuō)一句話：如果作為互聯(lián)網(wǎng)使用量最大的HTTP協(xié)議一輪掃描需要超過(guò)一年時(shí)間，基本上這個(gè)平臺(tái)就廢了，ZoomEye不至于這么不濟(jì)。Shodan的周期稍微有些偏差，ZoomEye和Fofa的時(shí)間則是存在很大的問(wèn)題。這幾個(gè)協(xié)議是互聯(lián)網(wǎng)使用最多的，數(shù)量大變化快，能夠很好的用于實(shí)戰(zhàn)體系中，所以各家都比較重視，不會(huì)存在不抓取的情況。

在圖中出現(xiàn)了“-”說(shuō)明沒(méi)有掃描數(shù)據(jù)，而Shodan和Censys有，我們大膽地推測(cè)拿出來(lái)的對(duì)比測(cè)試的IP是以Shodan或者Censys為主的（這⼀點(diǎn)只是推測(cè)）。由于網(wǎng)絡(luò)變化太快，一個(gè)IP端口上線后快速下線，所以哪怕在一天一次這種極速輪詢過(guò)程中，一定會(huì)出現(xiàn)一些IP剛好只被一個(gè)平臺(tái)抓到，在其他平臺(tái)都沒(méi)有抓取到。舉個(gè)反例，比如24.232.7.242這個(gè)IP，大家到各平臺(tái)搜索一下，你會(huì)發(fā)現(xiàn)這個(gè)IP對(duì)應(yīng)的23端口只存在于Fofa平臺(tái)，這僅僅能證明那一天剛好被Fofa抓到了，其他平臺(tái)到它那去的時(shí)候23端口已經(jīng)關(guān)閉，但由此一定證明不了Shodan或者Censys的掃描頻率是“-”。

實(shí)際運(yùn)營(yíng)過(guò)程中，大家會(huì)把不同的端口進(jìn)行分組，一個(gè)端口可以存在不同的掃描集群中，比如一個(gè)大端口（覆蓋大量IP的端口）可能同時(shí)并行的存在不同的端口組策略中，并行地進(jìn)行掃描。又由于大網(wǎng)的端口掃描一定是隨機(jī)IP的，也一定存在網(wǎng)絡(luò)抖動(dòng)的，所以依靠一次完成95%的數(shù)據(jù)相似度根本就不可能。大家會(huì)進(jìn)行不斷的輪詢掃描，盡可能覆蓋最新上線的資產(chǎn)。那種嘗試用Nmap實(shí)現(xiàn)端口掃描和協(xié)議識(shí)別的網(wǎng)絡(luò)空間測(cè)繪技術(shù)， 暫時(shí)打一個(gè)問(wèn)號(hào)，宣稱即快又全又準(zhǔn)的，內(nèi)網(wǎng)可以，全網(wǎng)掃描很難。

4、其他一些細(xì)節(jié)點(diǎn)

1）協(xié)議分類和設(shè)備分類是否為同一個(gè)概念？

2）Domain database這一項(xiàng)提到了只分析了top 100萬(wàn)Alexa排名域名的Censys，沒(méi)有提域名存量最多的Fofa？

3） 探針?lè)植嫉姆治鼍S度？

這些細(xì)枝末節(jié)倒也無(wú)關(guān)痛癢，只是大家對(duì)權(quán)威論文的理解是：分析方法應(yīng)該經(jīng)得起公示、經(jīng)得起挑戰(zhàn)，如果存在諸多不明確，很容易產(chǎn)生分歧、引起誤會(huì)。

三、總結(jié)

Shodan是第一個(gè)開(kāi)拓者，大家或多或少會(huì)受其影響，站在老師傅的肩膀上前行。今天老師傅還是老師傅，無(wú)論是從基礎(chǔ)的投入、數(shù)據(jù)的嚴(yán)謹(jǐn)性，還是歷史存量數(shù)據(jù)的積累和功能的豐富程度等等，國(guó)內(nèi)的平臺(tái)暫時(shí)都還難以與其并行。不過(guò)，我們當(dāng)然也存在彎道超車的可能，我們也看到了很多機(jī)會(huì)，只是在當(dāng)下，任何一家公司單方面宣布是世界第一，還是欠妥。一個(gè)讓我們值得深思的問(wèn)題：論實(shí)戰(zhàn)化的能力，如果真的需要對(duì)攻對(duì)防，我們這些儲(chǔ)備真的夠嗎？

我們要關(guān)注各種數(shù)據(jù)的對(duì)比，根據(jù)我們這些年對(duì)網(wǎng)絡(luò)空間測(cè)繪的理解，網(wǎng)絡(luò)空間測(cè)繪的技術(shù)對(duì)比維度，應(yīng)該聚焦于實(shí)戰(zhàn)，應(yīng)當(dāng)包含如下一些點(diǎn)：

1.  資產(chǎn)總量（歷史存續(xù)數(shù)據(jù)、域名數(shù)據(jù)等）

2.  支持的端口和協(xié)議

3.  搜索和展示字段數(shù)

4.  數(shù)據(jù)更新速度（每周、每月）

5.  數(shù)據(jù)準(zhǔn)確度(協(xié)議、規(guī)則等)

6.  協(xié)議解析深入度

7.  產(chǎn)品規(guī)則數(shù)

8.  活躍用戶規(guī)模

為了滿足實(shí)戰(zhàn)化，以及持續(xù)性的常態(tài)實(shí)戰(zhàn)化。我們呼吁相關(guān)部門能夠針對(duì)網(wǎng)絡(luò)空間測(cè)繪這一個(gè)細(xì)分領(lǐng)域給予指導(dǎo)，出臺(tái)相關(guān)的技術(shù)標(biāo)準(zhǔn)和規(guī)范。標(biāo)準(zhǔn)化一些概念和名稱，規(guī)范化搜索關(guān)鍵字和語(yǔ)法，統(tǒng)一化數(shù)據(jù)的存儲(chǔ)格式，歸一化資產(chǎn)的分類和分層。進(jìn)而制定出對(duì)應(yīng)的技術(shù)評(píng)判標(biāo)準(zhǔn)，最終引導(dǎo)行業(yè)步入健康有序的發(fā)展，為國(guó)家創(chuàng)造更多更好的技術(shù)輸出。