互聯(lián)網(wǎng)變革又十年:2008-2018
十年前,我寫了一篇文章,回顧了1998年至2008年期間互聯(lián)網(wǎng)的發(fā)展。又過了十年,這是一個(gè)很好的時(shí)機(jī),再花點(diǎn)時(shí)間思考一下哪些是活躍的,哪些是過時(shí)的,哪些是在互聯(lián)網(wǎng)變革的另一個(gè)十年中將被遺忘的。
任何一個(gè)技術(shù)的進(jìn)化往往會(huì)出現(xiàn)意想不到的迂回轉(zhuǎn)折。在某些轉(zhuǎn)折點(diǎn)簡(jiǎn)單抽象會(huì)由復(fù)雜修飾所替代,而其他時(shí)候戲劇性的突破會(huì)暴露技術(shù)的核心概念,同時(shí)去除多余的東西?;ヂ?lián)網(wǎng)的發(fā)展看起來也不例外,它有著與這些意想不到的迂回轉(zhuǎn)折相同的形式。關(guān)于互聯(lián)網(wǎng)技術(shù)這過去的十年,改變了什么,又保留了什么,這似乎是一個(gè)復(fù)雜的歷程。
現(xiàn)在的互聯(lián)網(wǎng)看起來大致與十年前的互聯(lián)網(wǎng)類似。很多互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施頑強(qiáng)地阻止了變革的發(fā)生。我們?nèi)匀惶幱诨ヂ?lián)網(wǎng)轉(zhuǎn)換為IPv6的進(jìn)程之中,同十年前一樣。我們?nèi)匀槐M力提升互聯(lián)網(wǎng)的適應(yīng)性來對(duì)抗各類進(jìn)攻,同十年前一樣。我們?nèi)匀慌μ峁┟鞔_的網(wǎng)絡(luò)中服務(wù)質(zhì)量,同十年前一樣。1990年代到2000初技術(shù)變革的快速步伐似乎已經(jīng)失去了動(dòng)力,過去十年互聯(lián)網(wǎng)的主導(dǎo)活動(dòng)似乎是整合,而不是持續(xù)的技術(shù)演變。或許這種對(duì)變革阻力的提升是因?yàn)殡S著網(wǎng)絡(luò)大小的增長(zhǎng),它的慣性質(zhì)量也增加了。我們常?;ハ嘁肕etcalf定律,定律說的是:網(wǎng)絡(luò)增長(zhǎng)量與用戶數(shù)量的平方成正比。相關(guān)觀察發(fā)現(xiàn)一個(gè)網(wǎng)絡(luò)對(duì)變革的固有阻力,或者慣性質(zhì)量,也是與用戶數(shù)量的平方直接相關(guān)。
或許作為一個(gè)大體觀察,所有大型松散耦合分布式系統(tǒng)都有強(qiáng)烈地抗變革能力。這些系統(tǒng)最多對(duì)市場(chǎng)壓力的各類形式做出了反應(yīng),但是由于互聯(lián)網(wǎng)整體系統(tǒng)如此龐大且多樣化,這些市場(chǎng)壓力在網(wǎng)絡(luò)的不同部分以不同的形式表現(xiàn)出來。個(gè)體行為人在沒有集中組織的指示或者約束下進(jìn)行操作。產(chǎn)生變革,是因?yàn)橐恍┳銐蚨嗟膫€(gè)體行為人看到了變革中的機(jī)遇,或是察覺到了若不變革會(huì)帶來的無法接受的風(fēng)險(xiǎn)。從互聯(lián)網(wǎng)的結(jié)果看來,一些變革非常具有挑戰(zhàn)性,而其他看起來則是自然且不可避免的進(jìn)步。
但故事的另一面與繪畫可能截然相反。在過去十年中,我們看到了互聯(lián)網(wǎng)的另一場(chǎng)深刻革命,因?yàn)樗郧八从械乃俣炔捎昧嘶跓o線的基礎(chǔ)設(shè)施和豐富的服務(wù)組合。我們看到內(nèi)容和內(nèi)容提供方面的革命不僅改變了互聯(lián)網(wǎng),而且作為附帶損害,互聯(lián)網(wǎng)似乎正在摧毀傳統(tǒng)的報(bào)紙和廣播電視領(lǐng)域。社交媒體幾乎取代了電話的社會(huì)角色和寫信的做法。我們已經(jīng)看到了以“云”為偽裝的舊式中央大型機(jī)服務(wù)器的復(fù)興和興起,以及互聯(lián)網(wǎng)設(shè)備再利用,常見的云托管服務(wù)在許多方面模仿了過去顯示終端的功能 。所有這些都是互聯(lián)網(wǎng)的基礎(chǔ)變革,所有這些都發(fā)生在過去十年!
故事所涉及范圍比較廣,所以我把故事設(shè)定為一個(gè)更大的主題,然后逐步構(gòu)建故事,而不是提供一堆雜亂無章的觀點(diǎn),講述過去10年中互聯(lián)網(wǎng)發(fā)生的各種變化和發(fā)展。我會(huì)用一個(gè)標(biāo)準(zhǔn)的協(xié)議堆棧模型作為指導(dǎo)模板,我們從底層的傳輸媒介層(物理層)開始,然后到傳輸層(IP協(xié)議層),后面是應(yīng)用層和服務(wù)層,最后以互聯(lián)網(wǎng)商業(yè)對(duì)過去10年開發(fā)的促進(jìn)作用作為結(jié)尾。
在 IP 層之下
網(wǎng)絡(luò)媒體發(fā)生了什么變化?
光傳輸系統(tǒng)在過去 10 年經(jīng)歷了持續(xù)的改變。在 10 年多一點(diǎn)之前產(chǎn)品級(jí)光傳輸系統(tǒng)使用簡(jiǎn)單的開-關(guān)(on-off)鍵控來編碼信號(hào)到光傳輸通道中。這個(gè)速度在這一代的光傳輸系統(tǒng)上的增長(zhǎng)依賴于可控硅系統(tǒng)的發(fā)展以及激光驅(qū)動(dòng)芯片。關(guān)于波長(zhǎng)時(shí)分復(fù)用的介紹在 1990 年代讓光傳輸電纜基礎(chǔ)設(shè)施的搬運(yùn)者(傳播介質(zhì))極大的增加了搬運(yùn)能力。最近 10 年光傳輸系統(tǒng)的演化在偏振和相位調(diào)制領(lǐng)域有效的提升了每波特信號(hào)的位數(shù)。通常可以支持的 100Gbps 的光傳輸通道,并且我們正尋找進(jìn)一步改進(jìn)使其可以超過 200Gbps。我們預(yù)期系統(tǒng)會(huì)在不久的未來可以達(dá)到 400Gbps,使用各種更快的基波速率和更高的相位幅度調(diào)制組合現(xiàn)在可以在敢于的清晰的設(shè)想不久后的光傳輸服務(wù)達(dá)到 1Tbps。
無線系統(tǒng)在總體上也是一個(gè)類似的演化。在信號(hào)處理的基本實(shí)現(xiàn)里,類似于光傳輸系統(tǒng)的變化,使用相位調(diào)制提升無線承載的數(shù)據(jù)速率。MIMO(多輸入多輸出) 技術(shù)的使用,外加更高的傳輸頻率的使用使得在未來的 5G 技術(shù)部署中的移動(dòng)系統(tǒng)速度達(dá)到 1Gbps。
在最初的基本原理和那明亮的黃色同軸電纜一起消失之后,光傳輸速率持續(xù)增長(zhǎng),在傳輸系統(tǒng)中,以太網(wǎng)包的幀結(jié)構(gòu)仍然存在。奇怪的是,以太網(wǎng)定義的最小和最大包大小為64和1500字節(jié)仍然存在。在過去的十年中,由于傳輸速度的提高,出現(xiàn)了不可避免的結(jié)果,每秒的數(shù)據(jù)包數(shù)量增加了100倍,這是由于傳輸速度從2.5 Gbps增加到400 Gbps。因此,從硅基開關(guān)中要求更高的包處理速率。但在過去的十年中,一個(gè)非常重要的因子并沒有改變,即處理器的時(shí)鐘速度和內(nèi)存的周期時(shí)間,這一點(diǎn)根本沒有改變。到目前為止,人們的應(yīng)對(duì)策略是越來越多地依賴于高速數(shù)字交換應(yīng)用程序的并行性,而現(xiàn)在,多核處理器和高度并行的內(nèi)存系統(tǒng)被用來實(shí)現(xiàn)在單線程處理模型中不可能實(shí)現(xiàn)的性能。
在2018年,我們似乎接近于實(shí)現(xiàn)1 Tbps的光傳輸系統(tǒng),在無線傳輸系統(tǒng)中達(dá)到20 Gbps。這些傳輸模型能夠傳輸多遠(yuǎn)和多快來支持更高的通道速度仍是一個(gè)懸而未決的問題。
IP層
在過去的十年中,網(wǎng)絡(luò)中最引人注目的一個(gè)方面,它頑固地抵制各種形式的壓力,包括一些嚴(yán)峻的現(xiàn)實(shí),即我們?nèi)匀辉谶\(yùn)行一個(gè)本質(zhì)上是IPv4的互聯(lián)網(wǎng)。
在過去的十年中,我們已經(jīng)耗盡了剩余的IPv4地址,而在世界的大部分地區(qū),IPv4互聯(lián)網(wǎng)正在面臨某種形式的IP短缺。我們從未懷疑過,互聯(lián)網(wǎng)將會(huì)面臨一個(gè)最基本的支柱——標(biāo)記互聯(lián)設(shè)備唯一性的地址——的耗盡,顯然是聳聳肩,繼續(xù)愉快地繼續(xù)下去。但是,出乎意料的是,這正是所發(fā)生的事情。
今天,我們估計(jì)大約有34億人是互聯(lián)網(wǎng)的???,而且有大約200億的設(shè)備連接在互聯(lián)網(wǎng)上。我們已經(jīng)使用了大約30億個(gè)唯一的IPv4地址來實(shí)現(xiàn)這一點(diǎn)。沒有人認(rèn)為我們可以實(shí)現(xiàn)這一驚人的壯舉,但它確實(shí)是在悄悄的發(fā)生。
早在1900年代,我們就認(rèn)為IP地址耗盡的前景將推動(dòng)互聯(lián)網(wǎng)使用IPv6。 這是后續(xù)IP協(xié)議,IP地址的位寬增加了四倍。 通過將IP地址池增加到一些非常大量的唯一地址(340個(gè)十億地址,或3.4 x 1038),我們?cè)僖膊槐孛鎸?duì)網(wǎng)絡(luò)地址耗盡。 但這不是一個(gè)簡(jiǎn)單的過渡。 此協(xié)議轉(zhuǎn)換中沒有向后兼容性,因此必須更改所有內(nèi)容。 每個(gè)設(shè)備,每個(gè)路由器甚至每個(gè)應(yīng)用程序都需要更改以支持IPv6。 我們不是在互聯(lián)網(wǎng)上執(zhí)行全面的協(xié)議變更,而是改變基礎(chǔ)設(shè)施的每個(gè)部分以支持IPv6來改變了互聯(lián)網(wǎng)的基本架構(gòu)。 奇怪的是,看起來這是更便宜的選擇!
通過在網(wǎng)絡(luò)邊緣幾乎無處不在的網(wǎng)絡(luò)地址轉(zhuǎn)換器(NAT)部署,我們已經(jīng)將網(wǎng)絡(luò)從對(duì)等網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榭蛻舳?服務(wù)器網(wǎng)絡(luò)。 在今天的客戶端/服務(wù)器中,Internet客戶端可以與服務(wù)器通信,服務(wù)器可以與這些連接的客戶端進(jìn)行通信,但就是這樣。 客戶端無法直接與其他客戶端通信,服務(wù)器需要等待客戶端發(fā)起對(duì)話才能與客戶端通信。 客戶端在與服務(wù)器通信時(shí)“借用”端點(diǎn)地址,并釋放此地址以供其他客戶端閑置時(shí)使用。 畢竟,端點(diǎn)地址僅對(duì)客戶端有用,以便與服務(wù)器通信。 結(jié)果是,我們已經(jīng)設(shè)法將大約200億臺(tái)設(shè)備塞進(jìn)一個(gè)只部署了30億個(gè)公共地址槽的互聯(lián)網(wǎng)中。 我們已經(jīng)實(shí)現(xiàn)了這一目標(biāo),并囊括了可以描述為IP地址分時(shí)的內(nèi)容。
不錯(cuò),但是 IPv6 呢?我們還需要它嗎?如果是這樣,那么接下來我們要度過這漫長(zhǎng)的過渡期嗎?十年過去了,這些問題的答案仍不明確。往好了想想,IPv6 現(xiàn)在比十年前多得多了。與2008年相比,現(xiàn)今服務(wù)提供商部署了更多的 IPv6 。我們看到當(dāng) IPv6 被服務(wù)提供商部署到網(wǎng)路中具備 IPv6 的設(shè)備能立即使用。在2018年似乎五分之一的互聯(lián)網(wǎng)用戶(現(xiàn)在估計(jì)是地球上一半的人)能夠使用優(yōu)先于 IPv6 的互聯(lián)網(wǎng),其中的大部分發(fā)生于近十年。然而,壞處是必須提出這樣一個(gè)問題:關(guān)于 IPv6 ,另外五分之四的上網(wǎng)的人怎么了?據(jù)悉一些互聯(lián)網(wǎng)服務(wù)提供商更愿意將有限的運(yùn)營(yíng)預(yù)算投在提升用戶體驗(yàn)方面上,就像增加網(wǎng)絡(luò)容量、取消數(shù)據(jù)上限和獲取更多的網(wǎng)上內(nèi)容。上述網(wǎng)絡(luò)服務(wù)提供商仍舊將部署 IPv6 看做為可延緩的舉措。
貌似現(xiàn)在我們還能看到關(guān)于 IPv6 的混雜局面。一些服務(wù)提供商只是看出他們自己 IPv4 地址稀缺的問題,這些服務(wù)提供商將 IPv6 當(dāng)做進(jìn)一步擴(kuò)大網(wǎng)絡(luò)的一項(xiàng)必要決策。其他服務(wù)提供商更愿意推遲到未來某一天。
路由
雖然我們正在研究過去十年里基本沒有改變的事物,但我們需要說說路由系統(tǒng)。盡管10年前即將發(fā)生的對(duì)邊界網(wǎng)關(guān)協(xié)議(BGP)縮減死亡的可怕預(yù)測(cè),但BGP依然堅(jiān)定地繼續(xù)為整個(gè)互聯(lián)網(wǎng)提供路由支持。是的,BGP與以往一樣處在不安全地位,是的,持續(xù)不斷的胖手指之流以及不太常見但更多關(guān)注惡意路由劫持將繼續(xù)困擾我們的路由系統(tǒng),但2008年使用的路由技術(shù)與我們?cè)诋?dāng)今的互聯(lián)網(wǎng)中所使用的技術(shù)是一樣的。
IPv4路由表的規(guī)模在過去十年中增長(zhǎng)了兩倍,從2008年的25萬條增加到今天的超過75萬條。IPv6路由的故事更加引人注目,從1,100個(gè)條目增加到5.2萬個(gè)條目。然而,BGP依然悄悄地繼續(xù)有效并高效地工作。誰(shuí)會(huì)想到,一個(gè)最初設(shè)計(jì)用于應(yīng)付幾百個(gè)網(wǎng)絡(luò)宣稱有幾千條路由的協(xié)議仍然可以在跨越一百萬個(gè)路由條目和十萬個(gè)網(wǎng)絡(luò)的路由空間中有效運(yùn)行!
同樣,我們對(duì)內(nèi)部路由協(xié)議的運(yùn)作沒有做出任何重大改動(dòng)。較大型的網(wǎng)絡(luò)仍然使用OPSF或ISIS,具體取決于它們的實(shí)際境況,而較小的網(wǎng)絡(luò)可能選擇一些諸如RIPv2或甚至EIGRP等的距離矢量協(xié)議。IETF關(guān)于最新路由協(xié)議LISP和BABEL的工作似乎對(duì)整個(gè)互聯(lián)網(wǎng)缺乏有效牽引力,雖然它們?cè)诼酚晒芾矸矫娑季哂杏腥さ奶匦?,但它們都沒有足夠的已知優(yōu)勢(shì)來克服常規(guī)的網(wǎng)絡(luò)設(shè)計(jì)和運(yùn)維中出現(xiàn)的可觀的慣性。同樣,這看起來像慣性物質(zhì)正在施加影響以抵抗網(wǎng)絡(luò)變化的另一個(gè)示例。
網(wǎng)絡(luò)運(yùn)維
說起網(wǎng)絡(luò)運(yùn)維,我們看到一些激動(dòng)人心的改變正在發(fā)生,不過這是一個(gè)相對(duì)保守的區(qū)域,新的網(wǎng)絡(luò)管理工具和實(shí)踐的使用需要花更多的時(shí)間。
四分之一個(gè)世紀(jì)之前,Internet 主要使用簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(SNMP),盡管它面臨很多問題,比如安全缺陷、低效、使用不友好的 ASN.1 協(xié)議,以及容易遭受 DDOS 攻擊等,可是它仍舊是被廣泛使用的協(xié)議。不過隨著人們用 SNMP 進(jìn)行運(yùn)維的嘗試表明,SNMP 僅僅是一個(gè)網(wǎng)絡(luò)監(jiān)控協(xié)議,而不是一個(gè)網(wǎng)絡(luò)配置協(xié)議。
最近,Netconf 和 YANG 正在努力嘗試推動(dòng)交換機(jī)的配置管理進(jìn)入一個(gè)更實(shí)用的階段,以替換目前以 expect 腳本作為命令行接口的情況。與此同時(shí),我們也看到一些編排工具也進(jìn)入了網(wǎng)絡(luò)運(yùn)維領(lǐng)域,比如 Ansible、Chef、NAPALM 和 SALT 等,它們可以對(duì)成千上萬的獨(dú)立模塊進(jìn)行管理任務(wù)的編排工作。這些網(wǎng)絡(luò)運(yùn)維管理工具正在朝著自動(dòng)化網(wǎng)絡(luò)管理的方向發(fā)展,但仍舊還有很多路要走。
在我們似乎已推進(jìn)了自動(dòng)控制系統(tǒng)的狀態(tài)以實(shí)現(xiàn)無人駕駛的自動(dòng)駕駛的同一時(shí)期,全自動(dòng)網(wǎng)絡(luò)管理的任務(wù)似乎已經(jīng)遠(yuǎn)遠(yuǎn)達(dá)不到預(yù)期的終點(diǎn)。當(dāng)然,為自適應(yīng)自動(dòng)控制系統(tǒng)提供網(wǎng)絡(luò)基礎(chǔ)設(shè)施和可用資源是必要的,并允許控制系統(tǒng)監(jiān)控網(wǎng)絡(luò)以及修改網(wǎng)絡(luò)組件的運(yùn)行參數(shù),以不斷滿足網(wǎng)絡(luò)的服務(wù)水平目標(biāo)? 駕駛網(wǎng)絡(luò)的無人駕駛汽車在哪里呢? 也許接下來的十年可能會(huì)讓我們見到它。
移動(dòng)互聯(lián)網(wǎng)
我們?cè)?Internet 協(xié)議模型中移動(dòng)一個(gè)層并查看端到端傳輸層的演化之前,我們可能需要討論連接到 Internet 設(shè)備的發(fā)展。
多年來,互聯(lián)網(wǎng)一直是臺(tái)式個(gè)人電腦的領(lǐng)域,筆記本電腦設(shè)備滿足了人們對(duì)更便攜設(shè)備的需求。當(dāng)時(shí),手機(jī)還只是一部電話,他們?cè)跀?shù)據(jù)世界的早期嘗試并不令人印象深刻。
蘋果公司2007年發(fā)布的 iPhone 是一款革命性的設(shè)備。它擁有一個(gè)充滿活力的彩色觸摸屏,只有四個(gè)鍵,一個(gè)功能齊全的操作系統(tǒng),有WiFi和蜂窩無線網(wǎng)絡(luò)接口,有一個(gè)強(qiáng)大的處理器和內(nèi)存,它進(jìn)入消費(fèi)者市場(chǎng)可能是這十年的最重要事件。蘋果早期的領(lǐng)先地位很快被 Windows 和諾基亞以自己的產(chǎn)品趕超。谷歌的地位更像是一個(gè)活躍的破壞者,它使用 Android 平臺(tái)及其相關(guān)應(yīng)用生態(tài)系統(tǒng)的開放許可框架,授權(quán)給一批手機(jī)組裝商。Android 被三星、LG、HTC、華為、索尼和谷歌等公司采用。如今,幾乎80%的移動(dòng)平臺(tái)使用 Android ,約17%的平臺(tái)使用蘋果的 iOS 。
對(duì)于人類互聯(lián)網(wǎng)來說,移動(dòng)市場(chǎng)現(xiàn)在是互聯(lián)網(wǎng)定義的收入市場(chǎng)。如今,有線網(wǎng)絡(luò)的利潤(rùn)空間和機(jī)會(huì)空間幾乎為零,即便是移動(dòng)數(shù)據(jù)環(huán)境的利潤(rùn)率不斷下降,也給占主導(dǎo)地位的接入提供商行業(yè)帶來了一絲渺茫的希望。
從本質(zhì)上講,公共互聯(lián)網(wǎng)現(xiàn)在是移動(dòng)設(shè)備上的應(yīng)用平臺(tái)。
端到端傳輸層
是時(shí)候在協(xié)議堆上提升一個(gè)層次,回顧一下點(diǎn)對(duì)點(diǎn)傳輸協(xié)議以及過去十年發(fā)生的變化。
端到端傳輸是因特網(wǎng)的革命性概念,而 TCP 協(xié)議是這個(gè)概念的核心。其他許多協(xié)議要求更低階層的網(wǎng)絡(luò)協(xié)議堆提供一個(gè)穩(wěn)定的流傳輸接口。這需要網(wǎng)絡(luò)可以創(chuàng)造傳輸?shù)姆€(wěn)定,提供數(shù)據(jù)的完整性,控制數(shù)據(jù)流,并且在數(shù)據(jù)丟失的時(shí)候能夠修補(bǔ)。然而 TCP 省掉了所有這一切,只是假設(shè)網(wǎng)絡(luò)提供了一個(gè)不可靠的數(shù)據(jù)報(bào)傳輸服務(wù)并且保證了傳輸協(xié)議有數(shù)據(jù)完整性和流控制。
在 TCP 的世界中,過去十年里似乎沒有太大的變化。我們已經(jīng)看到 TCP 的控制速率增加和快速降低方面的一些進(jìn)一步細(xì)微改進(jìn),但沒有任何改動(dòng)觸及這個(gè)協(xié)議的基本行為。TCP 傾向于使用分組丟失作為擁塞信號(hào)并且在一些較低速率和該丟失觸發(fā)速率之間調(diào)整其速率。
或者最起碼這是直到最近才出現(xiàn)的情況。隨著谷歌的 BBR 和 QUIC 的首次亮相,情況有望改變,并以一種非常基礎(chǔ)的方式發(fā)生變化。
瓶頸帶寬和往返時(shí)間控制算法(簡(jiǎn)稱BBR)是 TCP 流控制協(xié)議的變體,其以與其他 TCP 協(xié)議非常不同的模式操作。BBR 試圖保持在恰好位于發(fā)送方和接收方之間的端到端路徑的延遲帶寬積的流速率。這樣做,試圖避免在網(wǎng)絡(luò)中緩沖數(shù)據(jù)的累積(當(dāng)發(fā)送速率超過路徑容量時(shí)),并且還試圖避免在網(wǎng)絡(luò)中留下空閑時(shí)間(此時(shí)發(fā)送速率小于路徑容量)。它的副作用是 BBR 試圖避免在發(fā)生基于擁塞的丟失時(shí)網(wǎng)絡(luò)緩沖的崩潰。BBR 通過有線和無線網(wǎng)絡(luò)傳輸系統(tǒng)實(shí)現(xiàn)了顯著的效率提升。
谷歌近期提供的第二個(gè)產(chǎn)品也代表了我們?cè)谑褂脗鬏攨f(xié)議上的重大轉(zhuǎn)變。QUIC 協(xié)議看起來跟 UDP 協(xié)議很像,從網(wǎng)絡(luò)的角度來看,它只是一個(gè) UDP 數(shù)據(jù)包流。但在這種情況下,外在是不可信的。這些 UDP 數(shù)據(jù)包的內(nèi)部有效載荷包含更傳統(tǒng)的 TCP 流控制結(jié)構(gòu)和 TCP 流的有效載荷。但是,QUIC 加密了其 UDP 有效負(fù)載,因此整個(gè)內(nèi)部 TCP 控制對(duì)網(wǎng)絡(luò)而言是完全隱藏的?;ヂ?lián)網(wǎng)傳輸?shù)慕┗且驗(yàn)榫W(wǎng)絡(luò)中間件的無可替代的角色,網(wǎng)絡(luò)中間件是用于丟棄它無法識(shí)別的數(shù)據(jù)包的。諸如 QUIC 之類的方法允許應(yīng)用程序打破這種機(jī)制,并將端到端流管理恢復(fù)為端到端函數(shù),并且無需任何形式的網(wǎng)絡(luò)中間件檢驗(yàn)或操縱。我稱這個(gè)新發(fā)展可能是在整個(gè)十年中傳輸協(xié)議層面最重要的變革之舉。
應(yīng)用層
讓我們繼續(xù)深入?yún)f(xié)議棧,并從網(wǎng)絡(luò)上運(yùn)行的應(yīng)用程序和服務(wù)的角度來審視Internet。
隱私和加密
正如我們?cè)谘芯慷说蕉藗鬏攨f(xié)議的發(fā)展時(shí)所指出的那樣,QUIC負(fù)載的加密不僅僅是為了防止網(wǎng)絡(luò)中間件干擾TCP控制狀態(tài),盡管它確實(shí)非常成功地實(shí)現(xiàn)了這一點(diǎn)。加密適用于整個(gè)有效載荷,它指出了過去十年中另一個(gè)重大發(fā)展。我們目前正警惕各種形式的基于網(wǎng)絡(luò)的用于竊聽用戶和服務(wù)的機(jī)制。Edward Snowden在2013年發(fā)布的文件中描繪了一個(gè)非常活躍的美國(guó)政府竊聽計(jì)劃,該計(jì)劃利用廣泛使用的通信攔截源來構(gòu)建用戶行為畫像以及個(gè)人用戶的推理畫像。在許多方面,這種收集此類配置文件的努力與谷歌和Facebook等以廣告資助的服務(wù)(或多或少地)多年來一直公開所做的差別不大,但可能本質(zhì)上的不同是是否知情以及默認(rèn)準(zhǔn)許。在廣告商的場(chǎng)景下,該信息旨在提高用戶畫像的準(zhǔn)確性,從而增加用戶對(duì)潛在廣告商的價(jià)值。政府機(jī)構(gòu)的動(dòng)機(jī)包含各種形式的解釋,其更加開放,但并非所有這些解釋都是處于善意的。
對(duì)這種泄露材料影響的一種技術(shù)反應(yīng)是公開推動(dòng)在網(wǎng)絡(luò)的所有部分采用端到端加密。由此產(chǎn)生的結(jié)果是努力讓所有人都能使用健壯的加密技術(shù),而不僅僅成為那些支付得起溢價(jià)的人才能使用的高級(jí)功能。”Let 's Encrypt initiative“在發(fā)布X.509域名證書時(shí)非常成功,這個(gè)證書無需付出任何代價(jià),結(jié)果是,所有的網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商,不管它們的規(guī)模大小或相對(duì)財(cái)富如何,都可以為它們的web服務(wù)器提供TLS形式的加密會(huì)話。
對(duì)網(wǎng)絡(luò)和基于網(wǎng)絡(luò)的竊聽者,隱藏用戶通信的努力遠(yuǎn)遠(yuǎn)超出了QUIC和TLS會(huì)話協(xié)議。域名系統(tǒng)也是關(guān)于用戶正在做什么的豐富信息來源,并且在許多地方被用于實(shí)施內(nèi)容限制。最近試圖移動(dòng)和清理DNS過度啰嗦的性質(zhì),使用查詢名稱最小化防止不必要的數(shù)據(jù)泄漏,同時(shí)開發(fā)DNS/TLS和DNS / HTTPS來保護(hù)存根解析器和其遞歸服務(wù)器之間的網(wǎng)絡(luò)路徑。這是目前正在進(jìn)行的一項(xiàng)工作,還需要一些時(shí)間來確定這項(xiàng)工作的結(jié)果是否會(huì)在DNS環(huán)境中被廣泛采用。
我們正在一個(gè)日趨執(zhí)狂的環(huán)境中運(yùn)行我們的應(yīng)用程序。應(yīng)用程序不一定信任它們所運(yùn)行的平臺(tái),同時(shí)我們看到應(yīng)用程序努力將其活動(dòng)對(duì)底層平臺(tái)隱藏。應(yīng)用程序不信任網(wǎng)絡(luò),我們看到越來越多地使用端到端加密來避免其活動(dòng)被網(wǎng)絡(luò)竊聽。在加密會(huì)話建立中使用身份認(rèn)證還可以降低應(yīng)用程序客戶端觸發(fā)誤定向到偽裝服務(wù)器的漏洞。
內(nèi)容的蓬勃發(fā)展
在過去的十年中協(xié)議棧進(jìn)一步升級(jí)到內(nèi)容和應(yīng)用環(huán)境,我們也見證了一些革命性的變化。
在一小段時(shí)間內(nèi),互聯(lián)網(wǎng)的內(nèi)容和傳輸活動(dòng)主要存在于相互獨(dú)立的商業(yè)領(lǐng)域,相互依存。傳輸?shù)娜蝿?wù)是將用戶帶到內(nèi)容,這意味著運(yùn)輸對(duì)于內(nèi)容來說是必不可少的。但同時(shí),服務(wù)器端的服務(wù)器/服務(wù)器網(wǎng)絡(luò)是無用的,所以內(nèi)容對(duì)于運(yùn)輸來說是必不可少的。在一個(gè)重新崛起的龐然大物的企業(yè)世界中,這種相互依存的關(guān)系既令人擔(dān)憂,又直接涉及到參與者,以及更大的公眾利益。
內(nèi)容產(chǎn)業(yè)在這兩方面基本上是更有利可圖的,并且在監(jiān)管限制方面的限制程度要低得多。 在他們提供的服務(wù)中,沒有任何服務(wù)義務(wù)的概念,甚至沒有任何有效的價(jià)格控制形式。 許多內(nèi)容服務(wù)提供商使用內(nèi)部交叉資金,允許他們向公眾提供免費(fèi)服務(wù),如免費(fèi)電子郵件,免費(fèi)內(nèi)容托管,免費(fèi)存儲(chǔ)等,并通過第二個(gè)更加封閉的交易為這些服務(wù)提供資金,這些交易基本上是對(duì)最高出價(jià)廣告客戶消費(fèi)者資料的出售。 所有這些都發(fā)生在任何重要的監(jiān)管限制之外,這使得內(nèi)容服務(wù)行業(yè)擁有可觀的財(cái)富和相當(dāng)大的商業(yè)自由度。
毫不奇怪,這個(gè)行業(yè)現(xiàn)在正在利用其能力和資本來消除其以前對(duì)通信部門的依賴。 我們現(xiàn)在看到內(nèi)容數(shù)據(jù)網(wǎng)絡(luò)(CDN)模型的迅速崛起,其中內(nèi)容存儲(chǔ)器正在用戶旁邊打開本地內(nèi)容出口,而不是將用戶帶到各種內(nèi)容存儲(chǔ)庫(kù)的因特網(wǎng)。 隨著所有形式的數(shù)字服務(wù)進(jìn)入CDN,并且由于CDN開設(shè)了與經(jīng)濟(jì)上有價(jià)值的消費(fèi)者群體緊鄰的網(wǎng)點(diǎn),那么這在傳統(tǒng)的互聯(lián)網(wǎng)中扮演著什么角色呢? 鑒于較大內(nèi)容經(jīng)濟(jì)體中的通信邊緣化日益加劇,公共通信提供商的前景并不樂觀。
在這些CDN中,我們還看到以云服務(wù)形式進(jìn)入互聯(lián)網(wǎng)的新服務(wù)模型興起。我們的計(jì)算機(jī)不再是具有處理和計(jì)算資源的自包含系統(tǒng),而是越來越像一個(gè)窗口,這個(gè)窗口中我們可以看到存儲(chǔ)在公共服務(wù)器上的數(shù)據(jù)。云服務(wù)非常類似于本地設(shè)備作為是大型后臺(tái)存儲(chǔ)的本地緩存。在一個(gè)用戶可能有多個(gè)設(shè)備的世界里,這個(gè)模型是有說服力的,因?yàn)闊o論使用哪個(gè)設(shè)備來訪問數(shù)據(jù),公共后臺(tái)存儲(chǔ)的視圖都是不變的。這些云服務(wù)還使數(shù)據(jù)共享和協(xié)作工作更容易得到支持。云模型并不是創(chuàng)建了原始文檔的一組副本,然后嘗試將所有單獨(dú)的編輯內(nèi)容縫回一個(gè)公共的整體,而是通過簡(jiǎn)單地修改文檔的訪問權(quán)限來共享文檔。文檔只有一個(gè)副本,對(duì)文檔的所有編輯和注釋都是可用的。
網(wǎng)絡(luò)攻擊的演變
與此同時(shí),當(dāng)我們看到互聯(lián)網(wǎng)內(nèi)不斷增加的網(wǎng)絡(luò)容量時(shí),我們看到了一組并行的公告,這些公告指出了拒絕服務(wù)攻擊的總體容量中出現(xiàn)了新的記錄。當(dāng)前的峰值容量是大約1.7Tbps的惡意流量攻擊。
攻擊現(xiàn)在司空見慣。它們中的許多都極其簡(jiǎn)單,依靠的是一大堆潛在的僵尸設(shè)備,這些設(shè)備很容易被顛覆,并被用來協(xié)助攻擊。這些攻擊通常是攻擊的簡(jiǎn)單形式,例如UDP反射攻擊:一個(gè)簡(jiǎn)單的UDP查詢就會(huì)生成大量的響應(yīng)。查詢的源地址被偽造為目標(biāo)攻擊受害者的地址,不需要做更多的工作。一個(gè)小的查詢流就可以導(dǎo)致一種大規(guī)模的攻擊。像SNMP、NTP、DNS和memcache這樣的UDP協(xié)議在過去已經(jīng)被使用過了,毫無疑問將再次被使用。
為什么我們不能解決這個(gè)問題?我們已經(jīng)嘗試了幾十年,但是我們似乎無法在攻擊發(fā)生之前做好準(zhǔn)備。有關(guān)防止偽造來源地址的封包泄漏的建議(RFC 2827),已于二十年前的一九九八年發(fā)表。然而,大規(guī)模基于 udp 的偽造源地址攻擊一直持續(xù)到今天。有已知漏洞的老舊電腦系統(tǒng)繼續(xù)與互聯(lián)網(wǎng)連接,并很容易轉(zhuǎn)變成攻擊機(jī)器人。
攻擊的場(chǎng)景也變得更加不祥。此前被認(rèn)為是“黑客”所為,但很快意識(shí)到這些惡意攻擊的一個(gè)重要部分具有犯罪動(dòng)機(jī)。從犯罪活動(dòng)者到國(guó)家活動(dòng)者的發(fā)展也是完全可以預(yù)見的,我們正在目睹這一網(wǎng)絡(luò)戰(zhàn)爭(zhēng)舞臺(tái)的升級(jí),以各種形式對(duì)漏洞利用的投資被視為一套理想國(guó)家能力的一部分。
這里的一個(gè)主要問題似乎是,我們集體不愿對(duì)有效的防御或威懾作出任何重大投資。我們?cè)诨ヂ?lián)網(wǎng)上使用的系統(tǒng)正在過度信任到了非理性輕信的程度。例如,用于保護(hù)基于 Web 事務(wù)的公鑰認(rèn)證系統(tǒng)多次被證明是不可信的,但這都是我們所信任的。個(gè)人數(shù)據(jù)不斷遭到破壞和泄露,但我們似乎只想增加規(guī)則的數(shù)量和復(fù)雜性,而不是實(shí)際使用更好的工具來有效保護(hù)用戶。
敵意攻擊的大背景并沒有變得更好。事實(shí)上,情況變得更糟了。如果任何企業(yè)有需要維護(hù)隨時(shí)可用服務(wù)的業(yè)務(wù),那么任何形式的內(nèi)部準(zhǔn)備都不足以抵御攻擊。如今,只有少數(shù)平臺(tái)能夠提供有彈性的服務(wù),即便如此,也不清楚它們能否經(jīng)受住最極端的攻擊。在網(wǎng)絡(luò)中有一個(gè)持續(xù)背景級(jí)別的掃描和探測(cè)在運(yùn)行,任何形式的可見漏洞都被無情地利用。人們可以把今天的互聯(lián)網(wǎng)描述成一片有毒的荒原,偶爾還會(huì)有重兵把守的堡壘。能夠找到他們服務(wù)的那些人在這些堡壘里從這些經(jīng)常的惡意攻擊中享受一定程度的緩解,而其所有他人被迫試著從最糟糕的有毒環(huán)境隱藏自己,同時(shí)意識(shí)到,他們完全可能被任何大規(guī)模的攻擊所壓倒。
令人警醒的是,現(xiàn)在世界上只有大約一半的人口是這個(gè)數(shù)字環(huán)境的一部分。一個(gè)更發(fā)人深省的想法是如今的許多控制系統(tǒng)都暴露在互聯(lián)網(wǎng)上,如發(fā)電和配電、供水和道路交通控制系統(tǒng)。或許更令人擔(dān)憂的是互聯(lián)網(wǎng)在自動(dòng)化系統(tǒng)中越來越多地使用,其中包括各種生命支持功能。面對(duì)持續(xù)和破壞性的攻擊,這些系統(tǒng)大規(guī)模失效的后果是難以想象的。
由數(shù)十億極其愚鈍的事物所構(gòu)成的互聯(lián)網(wǎng)
讓這種情況更令人沮喪的征兆是所謂的物聯(lián)網(wǎng)。
在那些互聯(lián)網(wǎng)預(yù)測(cè)比比皆是,政策制定者涌向未來的宏偉愿景的圈子中,我們經(jīng)常聽到這個(gè)“物聯(lián)網(wǎng)”所代表的無限未來。這句話囊括了幾十年來計(jì)算行業(yè)的變遷軌跡,計(jì)算以僅被國(guó)家能夠負(fù)擔(dān)的神秘工程部分,變遷到大型機(jī)、臺(tái)式機(jī)筆、記本電腦、手持設(shè)備和現(xiàn)在的手腕式電腦。下一個(gè)風(fēng)口在哪里?在物聯(lián)網(wǎng)的愿景中,我們將把互聯(lián)網(wǎng)擴(kuò)展到人之外,并繼續(xù)在世界各個(gè)方面使用數(shù)十億此類蜂窩設(shè)備。
我們對(duì)已經(jīng)連接到互聯(lián)網(wǎng)的“事物”有什么了解?
它們中的有些不是很好。事實(shí)上,它們中的一些就是愚蠢透頂。這種愚蠢是有毒的,因?yàn)樗麄冇袝r(shí)不適當(dāng)?shù)牟僮骱桶踩J綍?huì)以潛在惡意的方式影響他人。毫無疑問,如果這些設(shè)備不斷地被檢查和管理,我們可能會(huì)發(fā)現(xiàn)異常行為的證據(jù)并加以糾正。但這些都是非托管設(shè)備,幾乎都看不見。有網(wǎng)絡(luò)攝像頭的控制器,所謂的智能電視的“智能”薄,或者是控制從洗衣機(jī)到商品機(jī)車任何東西的控制器。沒有人照看這些設(shè)備。
當(dāng)我們想到物聯(lián)網(wǎng)時(shí),我們會(huì)想到氣象站、網(wǎng)絡(luò)攝像頭、“智能”汽車、個(gè)人健康監(jiān)測(cè)器等等組成的世界。但我們往往忘記的是,所有這些設(shè)備都是建立在其他人的軟件層之上的,這些軟件以盡可能低的價(jià)格組裝進(jìn)產(chǎn)品。你可能會(huì)不安地意識(shí)到,你剛剛安裝的網(wǎng)絡(luò)攝像頭有一個(gè)安全模型,可以用一句話概括為:“根本沒有安全可言”,它實(shí)際上可以讓整個(gè)互聯(lián)網(wǎng)看到你的房子。意識(shí)到你的電子錢包是運(yùn)行在使用開源軟件編譯的設(shè)備上可能更加不安,這些開源軟件主要來源不明,帶著不能完全理解的安全模型,但似乎容易被強(qiáng)迫成為“是的,你隨取所需”。
如果我們已經(jīng)停止在代碼中犯錯(cuò),從現(xiàn)在開始,我們的軟件將是完美的。但這是不可救藥的理想主義。這是不可能發(fā)生的。軟件不是完美的。它將繼續(xù)存在漏洞。我們有個(gè)美好的想法:物聯(lián)網(wǎng)正在成為一個(gè)質(zhì)量至關(guān)重要的市場(chǎng),消費(fèi)者將選擇更昂貴的產(chǎn)品,盡管它的功能行為與一種價(jià)格較低的產(chǎn)品相同,但價(jià)格低的產(chǎn)品沒有經(jīng)過嚴(yán)格的安全缺陷測(cè)試。但這也太天真了。
物聯(lián)網(wǎng)將繼續(xù)是一個(gè)市場(chǎng),在這里,價(jià)格和質(zhì)量之間的妥協(xié)將繼續(xù)推動(dòng)我們站在廉價(jià)而非安全的一邊。有什么能阻止我們通過大量的、各種各樣的由編程的、非托管的、帶著很容易被利用內(nèi)置漏洞的設(shè)備聚集來進(jìn)一步污染我們的環(huán)境呢?我們能做些什么來讓這個(gè)世界上的這些愚蠢的,廉價(jià)的有毒物質(zhì)少一些愚蠢,少一些有毒的東西?到目前為止還沒有找到這個(gè)問題的可行答案。
下一個(gè)十年
硅晶片行業(yè)接下來還會(huì)持續(xù)發(fā)展。確保將生產(chǎn)更多的芯片。未來幾年會(huì)有更細(xì)的納米線寬和翻倍的芯片堆疊技術(shù)。計(jì)算機(jī)強(qiáng)烈需要越來越強(qiáng)大的運(yùn)算速度和處理更龐大復(fù)雜的計(jì)算任務(wù)保障。
同時(shí),我們對(duì)互聯(lián)網(wǎng)充滿信心??梢愿叨瓤隙ǖ氖牵ヂ?lián)網(wǎng)一直在發(fā)展以滿足更高的定制化和個(gè)性化所需。
但是,我發(fā)現(xiàn)對(duì)互聯(lián)網(wǎng)的安全性和信任保持樂觀是極具挑戰(zhàn)性的。過去十年中,我們?cè)谶@方面取得的進(jìn)展甚微,沒有理由認(rèn)為未來十年的情況會(huì)有所改變。 如果我們不能迎接挑戰(zhàn),那么,事件不容樂觀,或者我們只能接受一個(gè)充斥著悲劇般愚蠢的事情的網(wǎng)絡(luò)。
然而,除了這些粗略的設(shè)想之外,很難預(yù)測(cè)互聯(lián)網(wǎng)將走向何方。技術(shù)并不遵循預(yù)先指定的路徑(發(fā)展)。它是由消費(fèi)市場(chǎng)的變幻莫測(cè)所驅(qū)動(dòng),并很容易被我們迅速地視為司空見慣的東西而厭倦,而這個(gè)充滿激情的消費(fèi)市場(chǎng)很容易被色彩鮮艷的閃亮新事物所吸引。
在未來的十年里,我們能從互聯(lián)網(wǎng)上期待什么呢?能超過可以用自然語(yǔ)言交談的袖珍電腦嗎?能提供比沉浸式3D視頻更好的質(zhì)量嗎?能把人類所有的書面作品都匯集到一個(gè)可搜索的數(shù)據(jù)庫(kù)中,在短短幾秒鐘內(nèi)就能回答我們的任何問題?
就我個(gè)人而言,我不知道從互聯(lián)網(wǎng)上期待什么。但無論吸引我們注意力的是什么,我都很有信心它將會(huì)是五彩繽紛的,明亮的,閃亮的,完全出乎意料的!
—— 文章作者:杰夫•哈斯頓(Geoff Huston)