Google公開數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計
Google數(shù)據(jù)中心和基礎(chǔ)設(shè)施是業(yè)界公認最為先進的,以往他們保密做得很嚴,所以所有相關(guān)的信息透露都會引起關(guān)注。畢竟,現(xiàn)在大紅大紫的Hadoop最初就是山寨人家的幾篇論文而已。
網(wǎng)易上的文章 介紹了Google數(shù)據(jù)中心中的網(wǎng)絡(luò)設(shè)計,這方面信息之前是很稀缺的。文章應(yīng)該是摘譯自 Wired 。Wired文章的特點是八卦信息多(因為他們要寫的是故事,不是技術(shù)本身),技術(shù)細節(jié)少,還時常有技術(shù)錯誤(至少這篇文章里Jupiter交換機處理能力的數(shù)據(jù)就是過時的),但對了解一件事兒的來龍去脈還是有用的。
文中大致說的意思,就是Google很早就開始自己研發(fā)網(wǎng)絡(luò)設(shè)備了,因為他們的系統(tǒng)增長很快,思科之類的設(shè)備滿足不了需要(勉強能用也貴得要死),反正和云計算其他領(lǐng)域是一樣的:互聯(lián)網(wǎng)公司發(fā)展遠遠超出傳統(tǒng)IT的范圍,所以只好自己玩了。
反正Google這種公司能招到***的人才,業(yè)界沒有就直接挖學校的教授(Amin Vahdat就是因為做過相關(guān)研究 PortLand 被請過去的)。然后用普通芯片加上Linux搞定交換機,自己設(shè)計網(wǎng)絡(luò)協(xié)議,自己設(shè)計網(wǎng)絡(luò)控制軟件。***做出來超級大的網(wǎng)絡(luò)系統(tǒng)。相關(guān)的技術(shù)還有 SDN 。
比較引人注目的點是:“如今谷歌網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)中心之間交換的數(shù)據(jù)量已經(jīng)超過了谷歌和整個互聯(lián)網(wǎng)之間交換的數(shù)據(jù)量。”
好在Google負責網(wǎng)絡(luò)的Fellow Amin Vahdat 還寫了一篇 官方博客 介 紹他們的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計,強調(diào)是***次公開Google內(nèi)部五代網(wǎng)絡(luò)技術(shù)的細節(jié),從Firehose到Jupiter,***的Jupiter可以提供 1Pb/s的總對分帶寬,足夠10萬臺服務(wù)器每臺之間以10Gb/s交換信息,可以在十分之一秒之內(nèi)讀取所有美國國會圖書館的掃描數(shù)據(jù)。
不過文章很短,語焉不詳,只說了幾條原則:
以 Clos拓撲 安排網(wǎng)絡(luò),這種網(wǎng)絡(luò)配置用一組較小(較便宜)的交換機來提供一臺大得多的邏輯交換機的功能。
使用集中化的軟件控制棧來管理數(shù)據(jù)中心中的數(shù)千交換機,讓它們像一臺大的fabric那樣工作。
自建軟件和硬件(使用來自Broadcom等供應(yīng)商的芯片),不太依賴標準Internet協(xié)議,更多使用根據(jù)數(shù)據(jù)中心定制的協(xié)議。(Wired文章里說定制協(xié)議叫Firepath,比BGP和OSPF之類更簡單、更快也更容易擴展)
好在Google管基礎(chǔ)設(shè)施的老大Urs Hölzle在博客下面評論說:“等著我們的論文吧,8月的SIGCOMM 2015。” 他們在 SIGCOMM 上已經(jīng)提交的論文名為“Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network ”。
讓我們拭目以待吧。