[[174114]]

今年杭州云棲大會上，中國館地震局的地球物理科學(xué)家王偉濤博士在Tech Insight的數(shù)據(jù)存儲技術(shù)實戰(zhàn)專場做了一場主題分享：名為《云計算在地震學(xué)研究中的應(yīng)用-利用bcs和海量數(shù)據(jù)創(chuàng)建虛擬地震》。 他介紹，原本需要一年計算時間的整個中國數(shù)千個地震臺兩兩之間的五年數(shù)據(jù)的計算任務(wù)，在云計算中狂飆，48小時之內(nèi)就計算完成了。

這到底是如何實現(xiàn)的呢?

我們的祖先凝望星河閃耀，卻花費萬年時間才摸索出天體運(yùn)行規(guī)律。

我們的前輩坐看潮涌潮平，卻歷經(jīng)千秋萬代才能航行到大洋彼岸。

而我們自己，在這片土地上繁衍至今，卻仍舊對腳下的大地懵然無知。

從觀察記錄到規(guī)律預(yù)測，幾乎是人類科學(xué)史的全部邏輯。

但每次我們拼盡全力記下的數(shù)據(jù)，都只是抬高知識瀚海的涓涓細(xì)流。

當(dāng)我們提筆開始繁復(fù)演算的時候，期待的是阿基米德跳出浴缸、牛頓舉起蘋果的那一刻。

王偉濤博士正是這樣計算的執(zhí)筆人，他來自中國地震局。他想知道的，是我們腳下大地的每個細(xì)節(jié)。

[[174115]]

浩如煙海的計算

我們經(jīng)歷的每一次地震，都在提醒自己預(yù)測和預(yù)警這種災(zāi)害的迫切性。但是，我們距離這個目標(biāo)還很遠(yuǎn)。

為更好的認(rèn)識地震這一物理現(xiàn)象，需要極其的詳細(xì)的地殼結(jié)構(gòu)影像，而為了繪制這張地下地圖，又需要詳盡的數(shù)據(jù)計算。 目前為止人類打到地下最深的井是前蘇聯(lián)鉆探的科拉超深井，約12.2公里，但是地震的震源深度往往在地下十幾到幾十公里，當(dāng)前的科技根本無法在震源深度開展直接觀測。

所以我們需要依靠分布在全國的數(shù)千個地震臺來對地震波進(jìn)行探測，震波在地下的傳播特性，受到地質(zhì)結(jié)構(gòu)的影響，這也是地震波可以用來繪制地底圖像的原理。這些地震臺可以感知地震的“大震波”，也同樣可以捕捉日常的“大地噪聲”，例如海潮拍擊大陸的震動。王偉濤說。

根據(jù)地震波進(jìn)行地底成像的原理

王偉濤告訴記者，像他這樣的地球物理科學(xué)家?guī)缀醵际前雮€程序員。 因為從地震波到地底成像，中間要經(jīng)過超越一般人想象的大規(guī)模程序計算。他的計算模型是這樣的： 每一次震動都會由近至遠(yuǎn)依次傳遞到各個地震臺，所以理論上來說，每個地震臺都會對同一次震動做出自己的記錄，這些數(shù)據(jù)既有差異有又聯(lián)系。

利用這些數(shù)據(jù)，可以計算出一些“虛擬地震”。 用每兩個地震臺之間進(jìn)行數(shù)據(jù)互相關(guān)對比計算，就可以獲取研究中國地下的總體結(jié)構(gòu)所需要的寶貴數(shù)據(jù)。

虛擬地震可以模擬出和真實地震一樣的數(shù)據(jù)，所以可以用于本來沒有發(fā)生地震的地區(qū)的地底成像 每個地震波數(shù)據(jù)都有 E，N，Z(東西，南北，垂直)三個向度的分量，全國2000多個永久和臨時地震臺就是 6000 個分量，每年的數(shù)據(jù)量大概是 30TB，而我們的總數(shù)據(jù)量已經(jīng)到了 PB 級別。

由于我們要相互對比每一個地震臺每個時間點的每個分量數(shù)據(jù)，這些計算量是呈指數(shù)級增長的。 王偉濤的智慧和經(jīng)驗，恰恰表現(xiàn)在他所設(shè)計的程序和算法之上。 但耗費很大心力完成這個算法的王偉濤博士發(fā)現(xiàn)，他才踏上了萬里長征的第一步，還有一個巨大的困難橫亙在面前。

圖中每兩個地震臺之間的連線(灰色)都是需要計算的數(shù)據(jù)，總計算量極其龐大。如果使用單機(jī)對這些數(shù)據(jù)進(jìn)行計算，大概需要七年時間。按照一個人的職業(yè)生涯二十年計算的話，我在退休前只能完成三次計算。在這種情況下，大規(guī)模分布式的云計算似乎成為了唯一的選擇。

然而，云計算的機(jī)理絕不像聽起來這么輕盈。記者也采訪到了中國地震局的合作伙伴阿里云的童鞋們，在他們眼里，云計算和科學(xué)研究一樣，集合了人類最頂尖的智慧。

所需存儲空間、計算量和預(yù)計單機(jī)計算所需的時間

分布式存儲：有關(guān)農(nóng)場的游戲

云存儲就像一個大的農(nóng)場，每個服務(wù)器就像一個工人，而你的數(shù)據(jù)就是羊。阿里云存儲高級專家承宗說?？磥硭莻€牧場達(dá)人。“分布式存儲”，可以看作分布式計算的基礎(chǔ)條件。也就是說，你的羊要先放進(jìn)阿里云的“農(nóng)場”，它的工人才會幫你照料、喂養(yǎng)、剪毛、紡線。

對于王偉濤博士的數(shù)據(jù)來說，僅僅是存儲在云端，就需要無數(shù)“黑科技”。

在將要進(jìn)行的計算中，計算系統(tǒng)會對存儲系統(tǒng)進(jìn)行大規(guī)模的訪問。而這些訪問必須要平均地打到服務(wù)器上，絕不能存在熱點。而這還不夠，由于服務(wù)器的硬件故障在大規(guī)模集群中會變成一個常態(tài)事件，所以必須做好資源的實時調(diào)度和提供故障容忍能力。

例如保證在摘掉一塊硬盤的時候，其余的硬盤要迅速用備份數(shù)據(jù)把存儲追齊。

承宗舉了以上兩個例子。這兩個例子換成農(nóng)場的比喻，大概是如下表述： 農(nóng)場對于工人的工作量要平均分配，絕不能出現(xiàn)“對著一個羊薅羊毛”的情況發(fā)生。另外，農(nóng)場每天都有工人病倒、請假，要在最短的時間把他的工作合理分配給很多人，這樣別的工人也不至于負(fù)荷過大。

整個阿里云的分布式文件系統(tǒng)，被命名為盤古。在承宗心里，盤古還有很多智能化的“黑科技”。

他舉例了一個例子： 我們?nèi)祟惪吹降拇疟P都一樣，但是盤古看到的磁盤各不相同。它會根據(jù)歷史訪問數(shù)據(jù)的積累，例如寫入的速度和效率，對每一塊磁盤的健康度進(jìn)行打分。

對于健康狀況不好的磁盤，就相應(yīng)減輕一些工作分配。這些底層的技術(shù)，都可以為王偉濤博士下一步真正的計算做準(zhǔn)備。

承宗說，在分布式計算中，數(shù)據(jù)帶寬成為了一個重要的參數(shù)。從王偉濤博士的角度來看，如果把數(shù)據(jù)存儲在自己的服務(wù)器上，僅僅利用阿里云的計算能力進(jìn)行結(jié)果輸出，是不能實現(xiàn)的。原理很簡單，分布式計算的所有服務(wù)器都向一個存儲單位發(fā)送數(shù)據(jù)讀取請求，帶寬會被瞬間堵死，再強(qiáng)大的算力都無法發(fā)揮。

至于具體數(shù)據(jù)，百兆光纖的帶寬一般是 100Mb/s，而硬盤的帶寬最高可達(dá)幾Gb/s，而阿里云存儲內(nèi)網(wǎng)訪問帶寬(云計算系統(tǒng)內(nèi)部)可以高達(dá)Tb/s級別。

批量計算：建造一座金字塔

接下來，王偉濤博士的數(shù)據(jù)就會進(jìn)入最終計算的環(huán)節(jié)。我熟悉了自己習(xí)慣的 Linux 系統(tǒng)，所有的計算代碼都是在這個環(huán)境中完成的，如何讓我的代碼在云計算的環(huán)境中發(fā)揮作用，是一個很重要的問題。王偉濤說。

地底成像數(shù)據(jù)的計算流程

在地震科學(xué)研究方面，阿里云顯然沒辦法提出算法建議，所以他們需要做的是，提供一個通用的接口，讓王偉濤可以使用自己機(jī)房中的電腦、界面和Linux 系統(tǒng)，來對云上的計算進(jìn)行控制。

阿里云提供的兼容和適配能力，是阿里計算專家林河山頗為驕傲的地方。 王博士在此之前沒有使用過分布式集群，也沒有使用過“超算”，所以直接跨越到云上，從操作和控制層面來說，對他來說會是個挑戰(zhàn)。

我們提供的計算接口可以讓單機(jī)程序不做修改就高效執(zhí)行在云環(huán)境下。用戶通過幾句簡單的命令就能在云上調(diào)動大規(guī)模的計算資源進(jìn)行分析，而不需要學(xué)習(xí)復(fù)雜的分布式計算知識。其實很多從其他地方過渡到云計算的人都會有這樣的問題，所以不僅是王博士，很多其他用戶也會用到我們的通用計算接口。他說。 這個時候，大規(guī)模計算的障礙基本被掃清了。

不過，林河山告訴記者，云計算真正的核心技術(shù)，還在于批量計算的算力調(diào)度之上。

大規(guī)模計算的加速流程和模式 計算規(guī)模擴(kuò)大之后，就會造成對存儲資源的訪問非常頻繁，這時，對于訪問的并發(fā)量的控制就要非常“小心”了。

王博士的應(yīng)用有非常多的小I/O請求，如果每一次I/O請求都直接訪問云存儲，由此帶來的延時會對計算效率造成影響。為了進(jìn)一步優(yōu)化計算性能，批量計算采取了“分布式緩存”的策略，把有可能會用到的數(shù)據(jù)，提前緩存到計算節(jié)點周圍。這樣，就可以讓計算能力不受集群規(guī)模的限制。林河山說。

而即使是這樣，還遠(yuǎn)遠(yuǎn)不夠，對于數(shù)據(jù)訪問究竟采取多大“粒度”，是考驗系統(tǒng)智能的重要時刻。如果一次讀取過多，可能造成帶寬擁堵，如果一次讀取過少，又會造成頻繁訪問。而針對不同類型的數(shù)據(jù)，都要做出合理的預(yù)判，自動地讀取，是一項艱巨的任務(wù)。

打個比方： 這如同建造一座金字塔，數(shù)萬名“奴隸”要分工合作。工程師要決定：是犧牲速度一次性運(yùn)輸多個石塊到現(xiàn)場，還是犧牲數(shù)量，一次快速運(yùn)輸一塊石頭到現(xiàn)場。

同樣，面對浩瀚的金字塔工程，每時每刻要分配多少奴隸來攪拌砂漿，分配多少奴隸來搬運(yùn)石塊，分別分配多少奴隸來負(fù)責(zé)建造各個區(qū)塊，這個即使是工程師都需要仔細(xì)考量才能完成的任務(wù)，都要交給系統(tǒng)自動完成，難度可想而知。

[[174120]]

當(dāng)然，如此繁復(fù)的計算過程，出錯是經(jīng)常會發(fā)生的。

林河山舉了一個例子： 在渲染追光動畫的動畫片《小門神》時，阿里云的容錯機(jī)制就發(fā)揮了作用。(當(dāng)時在峰值有 2000臺服務(wù)器參與了大規(guī)模批量計算。)一般情況下， 對于視頻的渲染工作是一個連續(xù)的長流程。如果某一幀渲染中哪怕只有一個節(jié)點出問題，都會造成訪問的大規(guī)模延時，造成邏輯上的擁堵，產(chǎn)生“熱點”。

林河山說：“阿里云的做法是，在計算出錯之后，在最短的時間內(nèi)重跑，如果在跑的過程中確認(rèn)節(jié)點存在問題，還會自動調(diào)度到另一個地方，這些對于用戶來說都是沒有感知的，但是在背后，我們必須做出大量的努力。

繪制地下的世界

原本需要一年計算時間的整個中國數(shù)千個地震臺兩兩之間的五年數(shù)據(jù)的計算任務(wù)，在云計算中狂飆，48小時之內(nèi)就計算完成了。

地球內(nèi)部成像，恰似人體的B超

這在云計算時代來臨以前是無法想象的。 從科學(xué)研究的角度來看，這些數(shù)據(jù)是原始的地震觀測數(shù)據(jù)的數(shù)據(jù)產(chǎn)品，同時也是后續(xù)科學(xué)研究所依賴的重要數(shù)據(jù)，可以很好地支撐王偉濤進(jìn)行接下來的研究。 從外界看來計算過程非常順利，而剛才我們所感受的一切艱辛，都只發(fā)生在背后的代碼世界。

借用阿里云產(chǎn)品總監(jiān)李津的話： 當(dāng)計算結(jié)果輸出的時候，我們所有的技術(shù)人員都沉默了。

我們多么渴望這樣的數(shù)據(jù)早幾十年被計算出來，這樣我們就能為人類認(rèn)識地震這一自然災(zāi)害爭取寶貴的時間。

拋開商業(yè)的云霧，可以看到云計算真正的的鋒利所在。

王偉濤的研究并沒有停止，他說： 目前為止，我只做了2011年到2015年的一個向度上的數(shù)據(jù)分析，未來還會繼續(xù)把更多向度和頻率上的數(shù)據(jù)進(jìn)行計算?？茖W(xué)研究的精確度是可以一直提高的。越來越精確的地底數(shù)據(jù)，會為礦產(chǎn)勘探、防震減災(zāi)和地震科學(xué)研究提供非常強(qiáng)的支持。

科學(xué)的有趣之處，正是在于不斷地嘗試。有可能一覺醒來想到新的方法，就要重新改寫公式和代碼，通過計算進(jìn)行驗證。

也許有一天，屬于王偉濤的那只蘋果會悄然落下。那一刻，是王偉濤的勝利，也同樣是人類計算力的勝利。 我們傾盡全力提高算力，把數(shù)據(jù)的涓涓細(xì)流匯聚成洪荒之力，只是因為我們不愿對腳下的大地懵然無知。