用于情報收集的15大開源情報工具
OSINT工具是信息收集過程的關鍵部分,尤其是在了解和減少網(wǎng)絡安全情報中的攻擊面方面。全球開源情報市場在2018年的價值為50.2億美元,預計到2026年將增長到291.9億美元,2020年至2026年的復合年增長率為 24.7%,反映出它們的重要性。
OSINT 工具在開源情報分析中有著非常重要的作用。
關鍵要點
- OSINT(開源情報)工具可以高效地收集和分析公開數(shù)據(jù),政府機構(gòu)和私人組織可以使用這些數(shù)據(jù)來分析市場趨勢、品牌定位等。這些工具已經(jīng)從傳統(tǒng)媒體發(fā)展到融合了網(wǎng)絡抓取、社交媒體分析、地理空間情報和人工智能等技術,以提高數(shù)據(jù)處理的精度和速度。
- 高級搜索引擎和專業(yè)服務(例如Internet Archive)以及瀏覽器擴展程序(例如 Mitaka)以及 Google 高級搜索運算符(稱為Google dorks)對于出于OSINT目的探索網(wǎng)絡至關重要。它們可以高效地導航和分析標準搜索引擎實踐未索引的內(nèi)容。
- OSINT 實踐必須遵守法律標準,以確保負責任的情報收集。這涉及關注道德考慮、了解法律框架以及利用 OSINT 工具(例如公共記錄搜索引擎、社交媒體監(jiān)控和網(wǎng)絡掃描工具),同時保持透明度并避免未經(jīng)授權的數(shù)據(jù)訪問。
開源情報簡介
開源情報(OSINT)是:
- 從公開來源收集信息的藝術和科學
- 將原始數(shù)據(jù)轉(zhuǎn)化為可操作的見解
- 隨著數(shù)字世界的擴張,需求量很大
- 政府機構(gòu)和商業(yè)組織均使用它來進行偵察、加強網(wǎng)絡犯罪調(diào)查等
- 提供有關市場趨勢和品牌定位的寶貴見解。
OSINT在廣泛的OSINT數(shù)據(jù)源上運行,包括來自各種OSINT技術的公共數(shù)據(jù),例如:
- 廣播電視
- 收音機
- 社交媒體
- 網(wǎng)站
OSINT是收集各種格式(如文本、視頻、圖像和音頻)數(shù)據(jù)的強大資源。結(jié)合機器學習和神經(jīng)網(wǎng)絡等先進技術,可以識別趨勢和模式,并通過分析各種數(shù)據(jù)源識別個人或主題等關鍵要素。
OSINT 工具的演變
隨著時間的推移,OSINT工具發(fā)生了重大變化。OSINT工具最初專注于報紙和廣播等傳統(tǒng)媒體分析,現(xiàn)在已轉(zhuǎn)向利用互聯(lián)網(wǎng)上私營和公共部門的大量信息資源。現(xiàn)代OSINT工具已經(jīng)超越了簡單的搜索引擎,現(xiàn)在包含復雜的分析和可視化功能。
這些平臺融合了網(wǎng)絡抓取、社交媒體分析和地理空間智能等最先進的技術,徹底改變了信息的提取和評估方式。
預計OSINT工具的未來將由人工智能和機器學習驅(qū)動,從而提高數(shù)據(jù)處理和分析的精度和速度。
頂級OSINT工具配備了增強情報收集過程的功能。這些功能之一是內(nèi)置數(shù)據(jù)轉(zhuǎn)換,允許將檢索到的信息轉(zhuǎn)換為更有用或更易讀的格式。為了根據(jù)特定用戶需求定制數(shù)據(jù)收集和分析,多種OSINT工具支持自定義轉(zhuǎn)換。
15 種OSINT工具
個人和組織現(xiàn)在可以開始使用許多免費的 OSINT工具。這些工具功能廣泛,可用于各種情報收集目的。
1. OSINT 框架:OSINT框架是研究人員基于網(wǎng)絡的重要工具,可按來源、類型和上下文組織開源情報資源。它廣泛應用于政府、執(zhí)法和企業(yè)安全等部門,以滿足各種數(shù)據(jù)收集需求。社區(qū)貢獻不斷增強該框架,同時其運行遵守 GDPR 等法律標準,以確保合乎道德的數(shù)據(jù)收集。
2. Google Dorks:自2002年開始使用以來, Google Dorks提供專門的查詢,利用 Google的龐大索引來協(xié)助安全調(diào)查。這些查詢可以定位特定文件類型、擴展名、頁面內(nèi)的文本、標題和URL,這些工具對于探索個人和公司的詳細信息非常有用。盡管搜索引擎通常不會索引日志文件等敏感數(shù)據(jù),但Google Dorks仍然可以挖掘此類信息,為IT安全提供關鍵資源。
3. theHarvester :包含在Kali Linux發(fā)行版中,是一款用于收集與任何公司或網(wǎng)站相關的子域、虛擬主機、開放端口和電子郵件地址信息的綜合工具。theHarvester利用PGP密鑰服務器、Google和Bing等搜索引擎以及 LinkedIn 等社交網(wǎng)絡等來源收集數(shù)據(jù),支持被動偵察和主動滲透測試。此工具對于本地和第三方授權網(wǎng)絡的滲透測試的初始階段特別有用。
4. SecurityTrails API:SecurityTrails API允許您即時訪問當前DNS 服務器記錄和歷史記錄(稱為DNS 歷史記錄)、域詳細信息和關聯(lián)域、IP信息以及WHOIS數(shù)據(jù),以便您可以將其集成到您自己的應用程序中,用于資產(chǎn)發(fā)現(xiàn)、威脅情報、風險評分等。最好的部分是您只需要一個 HTTP 請求即可檢索數(shù)據(jù)。
5. BGPView:使用BGPView輕松跟蹤 BGP 路由信息和 IP 地址數(shù)據(jù),簡化網(wǎng)絡監(jiān)控任務。分析網(wǎng)絡配置、識別安全威脅并無縫監(jiān)控路由變化。這款直觀的網(wǎng)絡工具提供可直接從瀏覽器訪問的全面見解,從而做出明智的決策以優(yōu)化網(wǎng)絡性能、識別威脅行為者的來源等等。
6. Recorded Future 漏洞數(shù)據(jù)庫:從這個免費的CVE DB訪問詳細的漏洞信息。此工具為安全團隊提供了寶貴的見解,使他們能夠領先于新興的 CVE。它包括有用的信息,例如 CVSS 分數(shù)、攻擊復雜度級別、可用性、每個 CVE 的摘要,以及受影響的產(chǎn)品和緩解資源。
7. Triage Malware Sandbox:使用最先進、最流行的惡意軟件分析沙箱之一免費探索惡意軟件樣本。該平臺提供了一個可定制的環(huán)境,您可以在其中提交大量惡意軟件樣本,從而能夠檢測和提取各種惡意軟件家族的配置。
8. Mitaka:這是一個 OSINT 瀏覽器擴展,可以幫助您提高日常運營效率,提供對各種情報收集功能的直觀訪問,以實現(xiàn)高效的偵察和調(diào)查任務。Mitaka 采用以用戶為中心的方法開發(fā),無縫集成了多個OSINT模塊,實現(xiàn)了對目標實體的全面分析。
9. Recorded Future 的瀏覽器擴展:使用此威脅情報瀏覽器擴展,可以輕松訪問來自任何基于 Web 的資源的情報數(shù)據(jù),從而簡化安全操作。此 OSINT 擴展將幫助您調(diào)查網(wǎng)絡釣魚電子郵件、檢測 IOC、優(yōu)先修補漏洞并加快 SIEM 中的警報處理速度。
10. HaveIbeenPwned?HaveIbeenPwned 可以幫助您檢查您的帳戶過去是否被盜用。該網(wǎng)站由 Troy Hunt 開發(fā),他是這個市場上最受尊敬的 IT 安全專家之一,多年來一直提供準確的報告。如果您懷疑您的帳戶已被盜用,或者想要驗證外部帳戶是否受到第三方入侵,這是一個完美的工具。它可以追蹤來自許多來源的網(wǎng)絡入侵,例如 Gmail、Hotmail、Yahoo 帳戶,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和許多其他熱門網(wǎng)站。
11. BuiltWith:作為全面的分析器,用于識別網(wǎng)站上部署的各種技術,從服務器框架到分析和內(nèi)容管理系統(tǒng)。它提供對網(wǎng)絡設置的深入分析,這對于競爭情報和技術戰(zhàn)略制定至關重要。對于那些尋求深入了解數(shù)字平臺技術基礎設施的人來說,這個工具至關重要。
12. Shodan:由 John Matherly 于 2009 年構(gòu)思,是一款網(wǎng)絡安全監(jiān)控器,也是深層網(wǎng)絡和物聯(lián)網(wǎng)的專用搜索引擎。它使用戶能夠探索大量聯(lián)網(wǎng)設備,并按國家、操作系統(tǒng)和網(wǎng)絡類型組織結(jié)果,為 IT 安全研究人員提供寶貴的見解。
13. SpiderFoot:由 Steve Micallef 開發(fā),是一款出色的偵察工具,可自動執(zhí)行 OSINT,在偵察、威脅情報和周邊監(jiān)控方面可快速獲得結(jié)果。它利用 100 多個公共數(shù)據(jù)源來收集各種目標的情報,包括通用名稱、域名、電子郵件地址和 IP 地址,并通過易于使用的模塊選擇和目標規(guī)范簡化流程。
14. Maltego:由Paterva開發(fā),是Kali Linux發(fā)行版中的一款強大工具,專為對目標進行詳細數(shù)字偵察而設計。利用“轉(zhuǎn)換”來集成和分析來自外部應用程序的數(shù)據(jù),有免費版和商業(yè)版。用戶可以通過Maltego平臺啟動調(diào)查以獲得綜合結(jié)果,例如 IP、域和 AS 編號。
15. Nmap:雖然一些網(wǎng)絡掃描儀在技術上可能不被視為 OSINT 工具,但它們被廣泛集成到許多此類平臺中。網(wǎng)絡掃描儀收集的信息通??赏ㄟ^公共渠道訪問,符合開源情報 (OSINT) 的原則。其中一個最好的例子是強大的 Nmap。此網(wǎng)絡和端口掃描儀是用于情報收集的出色工具,它提供了數(shù)十個Nmap 命令,可從終端和 GUI 執(zhí)行偵察過程。
擴展知識
什么是開源情報工具?
開源情報工具用于從社交媒體、網(wǎng)站和新聞文章收集公開信息,以識別漏洞并制定攻擊計劃。
社交媒體如何用于開源情報 (OSINT)?
可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具將社交媒體用于 OSINT,從不同的社交媒體平臺提取和分析數(shù)據(jù),從而深入了解在線行為和關系。
如何確保開源情報調(diào)查實踐的合法合規(guī)性?
為了確保開源情報收集實踐的合法性,必須遵守法律法規(guī)、行動透明、確保數(shù)據(jù)收集合法合乎道德。這些步驟對于保持誠信和遵守法律標準至關重要。
全球范圍內(nèi),開源情報活動受到不同法律法規(guī)的約束,這可能會帶來風險,在我國以《網(wǎng)絡安全法》《個人信息保護法》等法律法規(guī)約束,歐洲則是《通用數(shù)據(jù)保護條例》等法律對數(shù)據(jù)使用規(guī)定了嚴格的要求。在德國,開展開源情報需要有法律顧問確認的合法權益。最佳實踐建議遵守服務條款、謹慎使用、避免非法數(shù)據(jù)訪問并確保運營透明度。