自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

每天50TB 淘寶海量數(shù)據(jù)輕松漫游記

數(shù)據(jù)庫
隨著網(wǎng)絡(luò)的普遍化,淘寶成了人們生活中不可缺少的一部分,淘寶實現(xiàn)了足不出戶就可以買到所有需要的東西的狀態(tài),那么淘寶是如何實現(xiàn)這些的吶?淘寶是如何在oracle數(shù)據(jù)庫和Oracle RAC產(chǎn)品基礎(chǔ)上構(gòu)建自己的數(shù)據(jù)倉庫奇跡的?本篇文章將為你解決這些問題。

  導(dǎo)語:隨著網(wǎng)絡(luò)的普遍化,淘寶成了人們生活中不可缺少的一部分,淘寶實現(xiàn)了足不出戶就可以買到所有需要的東西的狀態(tài),在電子商務(wù)領(lǐng)域,淘寶可謂是一支奇葩。它創(chuàng)造了中國***的電子商務(wù)網(wǎng)站,形成了一個包括買家、買家、物流、金融、廣告、搜索在內(nèi)的商業(yè)生態(tài)系統(tǒng)。據(jù)了解,淘寶目前每天的活躍數(shù)據(jù)量已經(jīng)超過50TB,共有4億條產(chǎn)品訊息和2億多名注冊用戶在上面活動,每天超過4000萬人次訪問。如此巨大的數(shù)據(jù)訪問量,使得淘寶數(shù)據(jù)倉庫成為國內(nèi)最忙碌的數(shù)據(jù)倉庫之一。每天大約要處理幾億次的用戶行為。那么,淘寶是如何建立和管理自己的數(shù)據(jù)倉庫,保證其高效、安全地運行和管理的呢?在北京oracle全球大會上,記者訪問了淘寶網(wǎng)技術(shù)開發(fā)部高級數(shù)據(jù)庫專家江楓,詳細了解了在oracle數(shù)據(jù)庫和Oracle RAC產(chǎn)品基礎(chǔ)上,淘寶是如何構(gòu)建自己的數(shù)據(jù)倉庫奇跡的過程。

  據(jù)江楓介紹,淘寶所有的商業(yè)數(shù)據(jù)基本上都是匯集到數(shù)據(jù)倉庫來集中,然后進行運算,最終會根據(jù)不同的BI模型,得出不同的結(jié)果。通過對各種訪問、交易、商鋪信息以及客服信息等的綜合處理,形成反映各種瀏覽、交易和用戶行為、行業(yè)銷售趨勢方面的統(tǒng)計數(shù)據(jù),可以給整個公司的決策提供數(shù)據(jù)方面的支持。因此,淘寶的數(shù)據(jù)庫系統(tǒng)對整個公司來說,是至關(guān)重要的。同時,江楓也表示,淘寶的數(shù)據(jù)除了給公司內(nèi)部用以外,也有提供給外部用戶的。比如說淘寶2010年做的數(shù)據(jù)魔方產(chǎn)品,就是給淘寶的賣家提供商品的銷售情況,行業(yè)的銷售的趨勢,給淘寶賣家?guī)砀蟮臄?shù)據(jù)營銷方面的數(shù)據(jù)方面的支持;另外還有一個比較大的數(shù)據(jù)產(chǎn)品是電子統(tǒng)計,即提供給淘寶賣家的一些電子統(tǒng)計,包括賣家的訪客來源,訪客喜歡什么時間段來,定了哪些商品等非常詳細的訂貨的統(tǒng)計,這些信息也有助于淘寶的產(chǎn)品商戶和賣家了解、分析用戶行為,設(shè)計增值服務(wù)。這不僅需要數(shù)據(jù)倉庫對海量數(shù)據(jù)進行更新、集中處理,也需要它能提供每天動態(tài)、實時的分析,無疑對于數(shù)據(jù)庫系統(tǒng)是個巨大的挑戰(zhàn)。

  淘寶網(wǎng)利用Oracle產(chǎn)品構(gòu)建淘寶數(shù)據(jù)庫的技術(shù)已經(jīng)有4年的時間。并于2007年、2008年和2009年三次利用Oracle RAC 10g和Oracle RAC 11g對數(shù)據(jù)倉庫系統(tǒng)進行了升級和擴充,將數(shù)據(jù)倉庫部署在RAC系統(tǒng)之上。4年來,淘寶的業(yè)務(wù)每年是保持100%以上的增長速度,淘寶的數(shù)據(jù)庫也在不斷增長。2006年,淘寶的RAC系統(tǒng)還是4個節(jié)點,2008年,淘寶將之升級到12個節(jié)點,2009年的時候又把它升到20個節(jié)點,使淘寶在數(shù)據(jù)倉庫規(guī)模每年成倍擴大的情況下,實現(xiàn)了數(shù)據(jù)處理和分析時效性的不斷提升,應(yīng)對不斷增長的數(shù)據(jù)處理需求。

  同時,江楓強調(diào),該數(shù)據(jù)庫系統(tǒng)的實時更新已經(jīng)可以做到每小時,或者是每15分鐘,甚至可以做到秒級的水平——淘寶現(xiàn)在今年新開發(fā)的基于日期的復(fù)制已經(jīng)可以做到秒級的實時更新數(shù)據(jù)到這個數(shù)據(jù)倉庫里面來。

  對于淘寶來說,數(shù)據(jù)的安全性更加重要。江楓說,淘寶就是所有的數(shù)據(jù)庫肯定都是在集成網(wǎng)絡(luò)之后的,在外面任何地方都是沒有辦法訪問到淘寶上數(shù)據(jù)庫上的數(shù)據(jù)的。在監(jiān)控上,淘寶有自己一整套監(jiān)控系統(tǒng)在支持,包括我們防欺詐、防惡意的數(shù)據(jù)。在淘寶內(nèi)部,專門設(shè)置了一個非常大的部門在做這個事情。

  目前,Oracle 11g產(chǎn)品也在淘寶的數(shù)據(jù)倉庫系統(tǒng)內(nèi)進行著測試,并將在不久的將來,在淘寶網(wǎng)的數(shù)據(jù)庫系統(tǒng)建設(shè)中,發(fā)揮更大的作用。淘寶也會經(jīng)過一次次的改進發(fā)展,更好的為網(wǎng)民們服務(wù),當然收益***的還是網(wǎng)民們,讓我們共同期待Oracle 11g產(chǎn)品在淘寶的數(shù)據(jù)倉庫系統(tǒng)通過測試,早日上市。

【編輯推薦】

  1. 淘寶數(shù)據(jù)庫專家深入解析數(shù)據(jù)倉庫架構(gòu)實施
  2. 淘寶專家:開始試用低功耗服務(wù)器
  3. 解析淘寶網(wǎng)二重釣魚欺詐
  4. Oracle數(shù)據(jù)庫系統(tǒng)使用經(jīng)驗
  5. 新推出Oracle數(shù)據(jù)庫防火墻

 

責(zé)任編輯:迎迎 來源: csdn網(wǎng)
相關(guān)推薦

2017-02-10 09:51:23

2014-06-05 11:15:21

eBay大數(shù)據(jù)

2016-11-04 23:12:49

2013-06-14 17:09:48

容量寶德PR2414RS

2011-09-01 10:54:28

OceanBase數(shù)據(jù)庫海量

2014-06-10 09:16:53

數(shù)據(jù)包

2021-12-12 09:26:59

網(wǎng)絡(luò)攻擊黑客網(wǎng)絡(luò)安全

2011-09-01 10:10:56

OceanBase海量淘寶

2011-06-01 10:41:09

海量數(shù)據(jù)庫IO難題

2017-05-23 17:58:22

存儲

2023-06-14 07:25:48

HAMR硬盤存儲

2017-08-17 09:33:02

大數(shù)據(jù)數(shù)據(jù)平臺諸葛io

2012-02-08 09:14:50

亞馬遜云存儲云計算

2016-01-14 15:30:17

希捷

2016-02-25 10:46:33

數(shù)據(jù)排序數(shù)據(jù)處理谷歌

2017-11-03 14:44:20

對象存儲

2016-03-21 14:14:18

戴爾

2012-02-16 09:39:56

Windows Ser

2018-11-19 15:06:57

華為云

2024-03-27 07:55:58

SpringRedis海量
點贊
收藏

51CTO技術(shù)棧公眾號