美國國家安全局永遠(yuǎn)無法捕捉互聯(lián)網(wǎng)上所有可疑的動(dòng)向——但他們也不需要。

[[74860]]

國家安全局總部位于馬里蘭州米德堡。

有這么一家機(jī)構(gòu)，其數(shù)據(jù)中心內(nèi)保存著大量來自互聯(lián)網(wǎng)的可見內(nèi)容——圖像捕捉系統(tǒng)就在我們周圍，但我們卻又無從感知。它擁有大量針對(duì)世界各地家用、企業(yè)乃至政府設(shè)施的衛(wèi)星圖像資料，共同構(gòu)成一套總量達(dá)到PB級(jí)別的地理數(shù)據(jù)庫，囊括了個(gè)人與組織信息。同時(shí)，其分析系統(tǒng)能夠處理Web搜索請(qǐng)求、電子郵件信息及其它來自無數(shù)用戶的電子設(shè)備操作活動(dòng)。

雖然機(jī)構(gòu)中沒有任何人能確切“掌握”個(gè)人在網(wǎng)絡(luò)中的行為，但信息被濫用的可能性仍然存在。從政策角度看，所有情況都會(huì)被軟件所“了解”，而該機(jī)構(gòu)的分析人士則從這一龐大的系統(tǒng)流程數(shù)據(jù)海洋中搜尋異常狀況（例如違法活動(dòng)）。

當(dāng)然，這里說的是谷歌公司。大多數(shù)用戶對(duì)于谷歌在“大數(shù)據(jù)”方面的處理并不在意，因?yàn)槲覀冊(cè)诤艽蟪潭壬辖邮芰擞善涮峁┑亩骰?mdash;—雖然谷歌也確實(shí)從我們的活動(dòng)中賺到了豐厚的經(jīng)濟(jì)回報(bào)。不過如果我們把“谷歌”這個(gè)名字消去，轉(zhuǎn)而替換為“國家安全局”，那么事情在很多人眼中就會(huì)變得完全不同。

事實(shí)上國家安全局的PRISM程序以及對(duì)手機(jī)運(yùn)營(yíng)商通話元數(shù)據(jù)的收集與谷歌公司的處理方式并無不同：獲取大量數(shù)據(jù)、從中找到信息之間的聯(lián)系；整個(gè)過程無需手動(dòng)操作，而且由專業(yè)分析人士從中提取“例外”情況。二者之間的本質(zhì)區(qū)別只在于，如果國家安全局發(fā)現(xiàn)了異常事態(tài)，那么根據(jù)外國情報(bào)監(jiān)視法（簡(jiǎn)稱FISA）的有關(guān)規(guī)定，聯(lián)邦調(diào)查局的特工人員將有權(quán)進(jìn)一步監(jiān)控甚至敲開我們的大門。

那么，國家安全局所搜集的“大數(shù)據(jù)”到底包含哪些內(nèi)容、他們又能對(duì)這些信息做些什么？#p#

從網(wǎng)絡(luò)干流中提取信息

讓我們姑且不談美國法律對(duì)于國家安全局行事方式的默認(rèn)，轉(zhuǎn)而關(guān)注其它一些能夠?qū)ζ浼右约s束的理論：也就是物理學(xué)法則與摩爾定律。國家安全局有能力從電話網(wǎng)絡(luò)交換流量與互聯(lián)網(wǎng)中收集大量數(shù)據(jù)，而且這種情況長(zhǎng)期以來一直存在。由于電話公司本身的積極配合，安全局能夠進(jìn)行深度包檢測(cè)、擁有數(shù)據(jù)包捕獲硬件以及其它一些信號(hào)監(jiān)控手段。然而他們?cè)纫恢睙o法真正捕捉并保存用戶們所產(chǎn)生的全部數(shù)據(jù)，更無法將其無限期加以留存——但現(xiàn)在情況發(fā)生了變化，谷歌與雅虎的新機(jī)制讓這兩項(xiàng)艱巨任務(wù)成為可能。

我們都知道，國家安全局監(jiān)控民眾資料的消息來自前AT&T公司員工MarkKlein。他曾于2006年為AT&T工作，并幫助國家安全局在AT&T的全球網(wǎng)光纖主干上安裝了類似于“水龍頭”的分流裝置，借以將數(shù)據(jù)信息引導(dǎo)至由一款名為Narus流量語義洞察分析器的工具。（該設(shè)備后來被更名為‘智能流量分析器’，或者簡(jiǎn)稱為ITA。）

[[74861]]

AT&T公司位于舊金山福爾遜街的“秘密房間”被認(rèn)為是該公司全國幾套互聯(lián)網(wǎng)監(jiān)聽基礎(chǔ)設(shè)施之一，專門為國家安全局提供數(shù)據(jù)資料。

Narus的設(shè)備還被聯(lián)邦調(diào)查局用于替代原先由其自主研發(fā)的“Carnivore”系統(tǒng)。它會(huì)對(duì)“配對(duì)標(biāo)簽”數(shù)據(jù)包（即數(shù)據(jù)包的屬性與數(shù)值監(jiān)控對(duì)象）進(jìn)行掃描，并保留與設(shè)定條件相匹配的數(shù)據(jù)包信息。我曾在2012年9月對(duì)Narus公司網(wǎng)絡(luò)分析產(chǎn)品管理總監(jiān)NeilHarrington進(jìn)行過采訪，Harrington表示該公司的洞察系統(tǒng)能夠以每秒達(dá)GB級(jí)別的速度對(duì)數(shù)據(jù)進(jìn)行分析與排序。“通常采用一個(gè)萬兆以太網(wǎng)接口，而且全力啟動(dòng)后系統(tǒng)的數(shù)據(jù)吞吐通能力可達(dá)到12Gb每秒。由于20Gb處理能力無法實(shí)現(xiàn)，因此我們選擇了12Gb方案。如果我們暫時(shí)關(guān)閉不感興趣的配對(duì)標(biāo)簽，則處理效率還能進(jìn)一步提升。

單獨(dú)一臺(tái)NarusITA每秒能夠處理1.5GB數(shù)據(jù)包信息的全部?jī)?nèi)容。這意味著其每小時(shí)處理能力達(dá)到5400GB、每天則為129.6TB，這還只是一個(gè)萬兆網(wǎng)絡(luò)裝置的水準(zhǔn)。所有數(shù)據(jù)都通過專有信息傳輸協(xié)議被歸納到一組邏輯服務(wù)器當(dāng)中，數(shù)據(jù)包內(nèi)容在這里被處理并重新匹配，從而把每天上PB的總體數(shù)據(jù)量降低至GB級(jí)別。具體方法是制作數(shù)據(jù)流量列表（在表中填寫數(shù)據(jù)包的元數(shù)據(jù)內(nèi)容）與應(yīng)用程序數(shù)據(jù)列表。

國家安全局的這套網(wǎng)絡(luò)“龍頭”分流機(jī)制在美國及世界其它區(qū)域都普遍存在。不過在如此龐大的數(shù)據(jù)流面前，如何從中提取數(shù)據(jù)包并分析出真正有價(jià)值的信息是安全局方面面臨的最大難題。存儲(chǔ)、索引與分析工作需要面對(duì)超乎想象的規(guī)?；瘜?duì)象。根據(jù)思科公司的統(tǒng)計(jì)，2012年全球互聯(lián)網(wǎng)流量每天達(dá)1.1艾字節(jié)，單從物理角度講將其存儲(chǔ)下來就已經(jīng)無法實(shí)現(xiàn)，更不要說實(shí)際使用了。因此，國家安全局目前所捕捉并保留的數(shù)據(jù)總量?jī)H占每天全球互聯(lián)網(wǎng)流量中的一小部分。

另一大難點(diǎn)在于截獲的數(shù)據(jù)包往往受到安全套接層（簡(jiǎn)稱SSL）加密機(jī)制的保護(hù)。即使是在理想情況下，破解SSL加密機(jī)制也需要投入高昂成本，而且根本不可能應(yīng)用到所有互聯(lián)網(wǎng)流量當(dāng)中（盡管針對(duì)伊朗的Flame惡意軟件攻擊已經(jīng)證明SSL機(jī)制可以被破解）。因此，雖然美國國家安全局有能力掌握數(shù)據(jù)流的真實(shí)內(nèi)容，但他們恐怕無法以實(shí)時(shí)方式獲取這部分信息。#p#

原始社交網(wǎng)絡(luò)

根據(jù)2006年曝出的消息，互聯(lián)網(wǎng)監(jiān)控還不是國家安全局的惟一一種數(shù)據(jù)收集方式。就在同年五月，有消息稱安全局從電話運(yùn)營(yíng)商處獲取到通話數(shù)據(jù)庫，其中包含大量通話數(shù)據(jù)記錄（例如通話時(shí)間與通話時(shí)長(zhǎng)、相關(guān)電話號(hào)碼以及移動(dòng)設(shè)備本地?cái)?shù)據(jù)等等）。這套數(shù)據(jù)庫建立于2001年“911”恐怖襲擊事件后不久，而且得到了AT&T、Verizon與BellSouth三家運(yùn)營(yíng)商的支持。長(zhǎng)途通信供應(yīng)商Qwest通訊公司則由于不認(rèn)同F(xiàn)ISA的合法地位而拒絕加入該計(jì)劃。

根據(jù)《今日美國》發(fā)布的報(bào)告，國家安全局利用這套數(shù)據(jù)庫進(jìn)行“社交網(wǎng)絡(luò)分析”。雖然分析流程主要是希望找出涉及海外個(gè)人的通話記錄，但安全局方面仍然從運(yùn)營(yíng)商處獲得了整套記錄數(shù)據(jù)庫，其中包括國內(nèi)電話信息。

這套數(shù)據(jù)庫（或者至少是其后續(xù)方案）被稱為MARINA，《倫敦周刊》的MarcAmbinder報(bào)道稱。而且根據(jù)上周英國《衛(wèi)報(bào)》公布的文檔，國家安全局仍然在無差別收集美國國內(nèi)及涉外兩類電話信息——目前惟一的區(qū)別在于FISA已經(jīng)得到正式許可。根據(jù)FISA法令，其信息收集范圍包括“廣義通訊路徑信息，包括但不限于對(duì)話識(shí)別信息（例如呼入呼出電話號(hào)碼、國際移動(dòng)用戶識(shí)別碼（簡(jiǎn)稱IMEI）等）、端口標(biāo)識(shí)、電話卡號(hào)碼以及呼叫時(shí)間與時(shí)長(zhǎng)。”

2006年，《今日美國》稱這套通話數(shù)據(jù)庫是“世界上規(guī)模最大的數(shù)據(jù)庫”。該數(shù)據(jù)庫處理著數(shù)以十億記的電話記錄數(shù)據(jù)，而這無疑是安全局物理空間難題的早期翻版。在如今互聯(lián)網(wǎng)全面爆發(fā)的時(shí)代，監(jiān)控工作的規(guī)模與難度無疑又會(huì)進(jìn)一步提升。另外，要想通過電話信息推斷人與人之間的關(guān)系，恐怕需要對(duì)大量柱狀數(shù)據(jù)進(jìn)行索引與分析。#p#

神秘的社交圖譜

頗為諷刺的是，幾乎在同一時(shí)間，谷歌與雅虎等互聯(lián)網(wǎng)公司開始著手部署計(jì)劃、希望解決大數(shù)據(jù)的存儲(chǔ)與分析難題。2006年11月，谷歌公司率先公布了BigTable數(shù)據(jù)庫計(jì)劃書，稱其有能力對(duì)PB級(jí)別的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行索引，且支持谷歌地球及其它應(yīng)用程序。雅虎也不甘示弱，在努力追趕谷歌GFS文件系統(tǒng)（也就是BigTable的基礎(chǔ)）的同時(shí)拿出了自己的成果——Hadoop。

BigTable與基于Hadoop的數(shù)據(jù)庫為國家安全局指出了一條光明大道，使其真正有能力對(duì)獲得的海量數(shù)據(jù)進(jìn)行處理。但二者在服務(wù)情報(bào)工作方面還存在一大致命缺點(diǎn)：區(qū)分化安全（或者說廣義層面上的安全性缺失）。因此在2008年，安全局方面決定著手建立一套更為理想的BigTable版本，也就是目前歸屬于Apache基金會(huì)的Accumulo項(xiàng)目。

Accumulo是一套“NoSQL”數(shù)據(jù)庫，以鍵值對(duì)為基礎(chǔ)。其設(shè)計(jì)思路類似于谷歌的Big Table與Amazon的Dynamo DB，但Accumulo卻擁有一部分由國家安全局親自設(shè)計(jì)的特殊安全功能，例如多級(jí)安全訪問機(jī)制。該項(xiàng)目利用開源Hadoop平臺(tái)及其它Apache產(chǎn)品創(chuàng)建而來。

在眾多功能當(dāng)中，Column Visibility值得關(guān)注，該功能允許數(shù)據(jù)行中的個(gè)別項(xiàng)目擁有不同分類屬性。這樣一來，擁有不同數(shù)據(jù)訪問權(quán)限的用戶與應(yīng)用程序就能在信息列中查看與其職責(zé)匹配的數(shù)據(jù)內(nèi)容。訪問權(quán)限較低的用戶無法閱讀當(dāng)前列中級(jí)別較高的數(shù)據(jù)。

Accumulo還能夠通過特定模式以幾乎實(shí)時(shí)的方式生成數(shù)據(jù)報(bào)告。舉例來說，該系統(tǒng)可以根據(jù)某個(gè)IP地址范圍找到特定的關(guān)鍵詞或者電子郵件信息；它還能夠以某個(gè)目標(biāo)電話號(hào)碼為基礎(chǔ)分析出其它號(hào)碼與之關(guān)聯(lián)的程度。經(jīng)過甄別后，它會(huì)將有價(jià)值的電子郵件或者電話號(hào)碼傳出另一套數(shù)據(jù)庫，以供安全局工作人員慢慢加以分析。

換句話來說，Accumulo為國家安全局帶來與谷歌同樣的電子郵件與網(wǎng)絡(luò)搜索分析能力——互聯(lián)網(wǎng)上的任意操作、通話過程中的全部?jī)?nèi)容，一切都在其掌控之中。

它的運(yùn)行基于名為“迭代器”的特定服務(wù)器進(jìn)程類型。這些代碼會(huì)持續(xù)處理輸入的信息并以新型模式生成反饋報(bào)告。由于查詢PB級(jí)數(shù)據(jù)庫并等待響應(yīng)往往需要耗費(fèi)大量時(shí)間，特別是不斷有新數(shù)碼加入進(jìn)來的情況下，因此迭代器就像是一群不知疲倦的小螞蟻、日夜幫助國家安全局進(jìn)行數(shù)據(jù)處理工作。

Accumulo還只是安全局武器庫中的成員之一。由Accumulo生成的融合數(shù)據(jù)會(huì)被傳輸至Palantir的分析數(shù)據(jù)庫及其Graph應(yīng)用程序當(dāng)中，能利用這些工具完成分析。Graph能夠根據(jù)屬性、關(guān)系以及基于此類關(guān)系的搜索行為在不同“實(shí)體”之間建立虛擬化連接——這些關(guān)系從概念上講類似于Facebook的Unicorn搜索與社交圖譜、谷歌的KnowledgeGraph以及微軟研究院的Satori。

Palantir這類工具只能與大數(shù)據(jù)庫中的小型子集協(xié)作，例如MARINA電話數(shù)據(jù)庫。不過由Accumulo實(shí)現(xiàn)的后端工作能從規(guī)模大到無法由分析工具管理的海量數(shù)據(jù)中抽取出數(shù)據(jù)集。由于安全局與其它社交網(wǎng)絡(luò)相互連通，關(guān)系類數(shù)據(jù)還擁有另一種處理源頭，這就是PRISM。#p#

PRISM也走后門

國家安全局監(jiān)控互聯(lián)網(wǎng)通信的障礙之一在于SSL。從表面上看，以Gmail、Facebook以及原先也曾人氣爆棚的Hotmail這類“云”服務(wù)令分析難題更加難以克服，因?yàn)樗鼈兊扔谑窃赟SL的保護(hù)之下為會(huì)話加入更多交互機(jī)制。然而諷刺的是，這些通信服務(wù)本身反而降低了安全局利用PRISM方案收集受保護(hù)數(shù)據(jù)的難度。

根據(jù)國家安全局承包商Edward Snowden泄露出的圖片信息（已經(jīng)由<華盛頓郵報(bào)>與<衛(wèi)報(bào)>刊發(fā)），微軟公司早在2007年就開始為安全局方面提供數(shù)據(jù)。在這一計(jì)劃中，國家安全局開始訪問云服務(wù)背后的服務(wù)器并查看用戶數(shù)據(jù)，這等于是繞過了SSL保護(hù)機(jī)制、直接觸及存儲(chǔ)數(shù)據(jù)。

PRISM為國家安全局提供了一條與云供應(yīng)商相通的網(wǎng)絡(luò)紐帶。不過目前對(duì)于安全局如何通過PRISM與云供應(yīng)商對(duì)接還存在一些爭(zhēng)議?！缎l(wèi)報(bào)》與《華盛頓郵報(bào)》在文章中將其稱為通向服務(wù)器的“坦途”。不過《衛(wèi)報(bào)》與《紐約時(shí)報(bào)》也報(bào)道稱，微軟表示其信息供應(yīng)機(jī)制與DropBox非常相似，即設(shè)立一個(gè)由服務(wù)向安全局遞交數(shù)據(jù)的“安全在線空間”，且與其服務(wù)器內(nèi)容同步。其中容納的信息包括用戶從何處接入服務(wù)、他們與哪些對(duì)象進(jìn)行溝通、電子郵件中的原始數(shù)據(jù)以及共享的文檔等。其實(shí)聯(lián)邦調(diào)查局也一直在進(jìn)行類似的信息收集工作，但有趣的是曝出這條新聞的正是其同行——中央情報(bào)局主管DavidPatraeus與他的傳記作家PaulaBroadwell。

國家安全局理論上可以將這些來自服務(wù)的元數(shù)據(jù)大量導(dǎo)出以實(shí)現(xiàn)內(nèi)容搜索的全面性。然而事實(shí)上這根本不現(xiàn)實(shí)，理由很簡(jiǎn)單——他們沒有那么大的存儲(chǔ)空間。安全局方面根本不可能親自保存包括電子郵件及附件在內(nèi)的規(guī)?；瘧?yīng)用程序數(shù)據(jù)。PRISM也允許安全局通過服務(wù)對(duì)特定對(duì)象的操作進(jìn)行監(jiān)控，包括臨場(chǎng)數(shù)據(jù)（在其上線時(shí)自動(dòng)通知安全局工作人員）、即時(shí)消息、視頻與語音聊天以及利用服務(wù)實(shí)現(xiàn)的IP語音電話等。

國家安全局位于猶他州布拉夫代爾的數(shù)據(jù)中心正在建設(shè)之中，將配備澤字節(jié)級(jí)別的存儲(chǔ)能力。#p#

途徑與方式

有了收集得來的海量數(shù)據(jù)，我們就能很容易理解為什么安全局要在猶他州興建擁有澤字節(jié)級(jí)別存儲(chǔ)能力的數(shù)據(jù)中心了。另外，大家應(yīng)該也能理解為什么隱私保護(hù)倡導(dǎo)者們會(huì)擔(dān)心政府方面可能濫用個(gè)人數(shù)據(jù)。

我們先把政策放在一邊，專注于審視當(dāng)前監(jiān)控體系的功能。國家安全局手中的技術(shù)能夠創(chuàng)建出覆蓋數(shù)億人口的地理與關(guān)系圖，其監(jiān)控能力甚至超出了美國本土，這意味著我們的日常溝通都面臨著被侵入的威脅。安全局同樣有能力保護(hù)這些數(shù)據(jù)免受閑雜人等的窺探。而且在必要時(shí)，相信安全局也有能力讓信息遠(yuǎn)離犯罪分子的覬覦。

即使已經(jīng)開始著手建設(shè)如此龐大的數(shù)據(jù)中心，國家安全局仍然沒有能力收集整個(gè)互聯(lián)網(wǎng)的數(shù)據(jù)流量。但安全局事實(shí)上也不一定要通過捕捉全部信息來掌握特殊人士的動(dòng)向——單是從流量中整理出的元數(shù)據(jù)已經(jīng)足以勾勒出特定對(duì)象在網(wǎng)絡(luò)上的大體活動(dòng)。

現(xiàn)在的問題不在于國家安全局能或者不能勘破個(gè)人用戶的數(shù)字化生活軌跡、并以“國家公敵”的形式動(dòng)用一切力量打擊特定對(duì)象。真正的關(guān)鍵是，安全局方面是否有能力將管理政策落實(shí)到位、保證這種強(qiáng)大的感知能力不會(huì)被濫用。當(dāng)然，安全局的內(nèi)部數(shù)據(jù)庫肯定采用了更深入的信息劃分機(jī)制，但外界對(duì)于這種保障措施的嚴(yán)格程度無從知曉。

國家情報(bào)主任JamesClapper及其他一些美國官員稱，法律承諾這些數(shù)據(jù)“不會(huì)被用于故意針對(duì)任何美國公民、身處境外的美國人或者任何身處美國本土的人士。”然而EdwardSnowden的聲明告訴我們，光靠法律的制約還遠(yuǎn)遠(yuǎn)不夠，國家安全局需要出臺(tái)更嚴(yán)厲的措施來保證其項(xiàng)目承包商不會(huì)將這套搜索引擎體系用于個(gè)人目的。