毋庸置疑，迪士尼是一個(gè)巨大的娛樂公司，但是當(dāng)它涉及到大數(shù)據(jù)平臺(tái)，這位娛樂巨頭看起來(lái)更像是一個(gè)初創(chuàng)公司。很多小公司，依靠堅(jiān)強(qiáng)的意志和不凡的智慧，憑借一個(gè)小小的團(tuán)隊(duì)，使用Hadoop、NoSQL數(shù)據(jù)庫(kù)和其他開源技術(shù)，完全能夠創(chuàng)造出一個(gè)特有的大數(shù)據(jù)平臺(tái)。無(wú)論結(jié)果是更好或者更壞，這樣的大公司在進(jìn)軍大數(shù)據(jù)領(lǐng)域，意味著這是一種完全不同規(guī)則的“玩法”。

迪斯尼大數(shù)據(jù)技術(shù)和服務(wù)解決方案團(tuán)隊(duì)的負(fù)責(zé)人Arun Jacob，在上周四的波士頓的IE集團(tuán)大數(shù)據(jù)創(chuàng)新峰會(huì)上，介紹了迪斯尼的大數(shù)據(jù)平臺(tái)。不像其他的公司，迪斯尼選擇打造大數(shù)據(jù)平臺(tái)是從零開始，絕對(duì)不是從一個(gè)軟件供應(yīng)商那里購(gòu)買軟件。雖然高昂的成本是一個(gè)很重要的因素，但是最關(guān)鍵的還是靈活性的問(wèn)題，這是作出最終決定的根本原因。

減量化，重復(fù)利用，再循環(huán)

為了保證給公司帶來(lái)***的價(jià)值，迪士尼大數(shù)據(jù)平臺(tái)，凝結(jié)了每個(gè)員工的心血，它是每個(gè)人的一切，這是一項(xiàng)艱巨的任務(wù)。最初的時(shí)候，Jacob表示，“我們把我們自己當(dāng)做是一個(gè)小型的咨詢機(jī)構(gòu)，僅僅是我們有東西要賣。”不過(guò)當(dāng)一個(gè)部門想要使用該平臺(tái)開發(fā)一個(gè)特定功能的時(shí)候，Jacob立刻行動(dòng)了起來(lái)。

從架構(gòu)上來(lái)說(shuō)，通過(guò)這個(gè)平臺(tái)和具有特定目的的組件，它能夠?qū)β窂綌?shù)據(jù)進(jìn)行重構(gòu)，或者說(shuō)能夠非常容易地替換組件，如果有更好的話。迪士尼大數(shù)據(jù)平臺(tái)是基于Hadoop，Cassandra和MongoDB進(jìn)行開發(fā)的。運(yùn)營(yíng)團(tuán)隊(duì)可以使用該平臺(tái)來(lái)進(jìn)行查看、分析和索引的錯(cuò)誤消息，應(yīng)用程序開發(fā)人員可以得到他們需要的高吞吐量，低延遲的數(shù)據(jù)訪問(wèn)，而分析團(tuán)隊(duì)有他們需要的高延遲數(shù)據(jù)的訪問(wèn)。

然而，盡管Jacob也想使用一套開源軟件來(lái)降低成本，他確實(shí)有資本可以奢侈一下，這是大多數(shù)創(chuàng)業(yè)公司玩不起的——外包和不定期的新產(chǎn)品的預(yù)算。當(dāng)他需要Hadoop集群的支持，他完全可以打電話給Cloudera。當(dāng)需要部署Solandra(基于Solr和Cassandra的一個(gè)開放的源代碼搜索引擎)，他完全可以購(gòu)買的企業(yè)版的DataStax基于Cassandra的產(chǎn)品，但是他沒有這么做。

靈活性是不是免費(fèi)的

Solandra的事件，實(shí)際上是為了權(quán)衡是不是需要使用免費(fèi)的開源軟件。“你可以為開源項(xiàng)目工作到深夜，你可以通過(guò)學(xué)習(xí)來(lái)運(yùn)行它們，但是這沒有任何任何意義。”Jacob表示，如果你愿意投入時(shí)間和精力，這些東西是完全可以克服的。

然而迪士尼這種規(guī)模的公司，有更多的問(wèn)題必須要被克服。Jacob表示，在部署的過(guò)程中，雖然可以按自己的方式來(lái)解決容錯(cuò)、高可用性和安全性的問(wèn)題，但是最終還是需要找出一種方式來(lái)實(shí)現(xiàn)這些東西。

適合大眾的才是***的

雖然可以把系統(tǒng)建立在所有的人都能夠使用的開源軟件上，不過(guò)這也意味著沒有一個(gè)足夠的框架來(lái)構(gòu)建一個(gè)可擴(kuò)展的和穩(wěn)定的系統(tǒng)，而且該系統(tǒng)還必須滿足成千上萬(wàn)的各種類型和各種水平的內(nèi)部開發(fā)人員的需求。Jacob表示，對(duì)一個(gè)擁有六個(gè)人的創(chuàng)業(yè)公司來(lái)說(shuō)，大家學(xué)習(xí)Hadoop的一個(gè)月，然后開始使用它進(jìn)行部署大數(shù)據(jù)平臺(tái)，這是非常容易實(shí)現(xiàn)的。但是對(duì)于一個(gè)大企業(yè)來(lái)說(shuō)，這絕對(duì)是不可行的。

他的團(tuán)隊(duì)讓部署變得容易

為了消除企業(yè)用戶不能加載他們的數(shù)據(jù)到系統(tǒng)中的借口，他們只需要把文件以指向用戶定制的界面。Jacob表示，迪士尼的數(shù)據(jù)平臺(tái)，雖然以每天5TB的數(shù)據(jù)劇增，但是仍然有很多其他類型的數(shù)據(jù)需要存儲(chǔ)。因?yàn)樗麄円呀?jīng)對(duì)技術(shù)進(jìn)行了封裝，Jacob的團(tuán)隊(duì)并沒有談及過(guò)多關(guān)于Hadoop和MongoDB的問(wèn)題，僅僅是提及了分析和查詢的部分。數(shù)據(jù)平臺(tái)使用很多種的編程語(yǔ)言來(lái)構(gòu)建客戶端的框架結(jié)構(gòu)，所以開發(fā)者可以跟平臺(tái)進(jìn)行交互，就無(wú)需編寫REST風(fēng)格的API調(diào)用。

不過(guò)，在做足了所有的準(zhǔn)備工作之后，Jacob開始把精力投入在迪士尼的大數(shù)據(jù)平臺(tái)之上，Jacob不希望這是一個(gè)其他數(shù)據(jù)平臺(tái)過(guò)程的重復(fù)。隨著大數(shù)據(jù)管理的工具也越來(lái)越好，Jacob表示，他現(xiàn)在依然在分析，是構(gòu)建一個(gè)新的工具還購(gòu)買一個(gè)工具，目前還有時(shí)間來(lái)做出改變。當(dāng)沒有選擇余地的時(shí)候，構(gòu)建一個(gè)自定義工具固然是一個(gè)不錯(cuò)的選擇，但它并不總是明智的做法，而購(gòu)買現(xiàn)成的東西可以節(jié)約無(wú)數(shù)的時(shí)間和精力。#p#

如果你想更多有關(guān)迪士尼的大數(shù)據(jù)平臺(tái)的技術(shù)細(xì)節(jié)，你可以點(diǎn)擊下載最近Jacob在Cassandra峰會(huì)上演示的一個(gè)PDF文檔，不過(guò)令人遺憾的是目前鏈接已經(jīng)刪除，因考慮到資料的保密性，下文僅僅是節(jié)選了PDF中的部分內(nèi)容，希望對(duì)大家有所幫助：

大數(shù)據(jù)在迪斯尼扮演的角色:

數(shù)據(jù)管理平臺(tái)：

數(shù)據(jù)管理平臺(tái)目標(biāo)：

收集，搜索，分析應(yīng)用數(shù)據(jù)：

使用案例的演化：

推薦引擎：

后記：迪士尼全稱為The Walt Disney Company，取名自其創(chuàng)始人華特·迪士尼，是總部設(shè)在美國(guó)伯班克的大型跨國(guó)公司，主要業(yè)務(wù)包括娛樂節(jié)目制作，主題公園，玩具，圖書，電子游戲和傳媒網(wǎng)絡(luò)。皮克斯動(dòng)畫工作室(PIXAR Animation Studio)，驚奇漫畫公司(Marvel Entertainment Inc)，試金石電影公司(Touchstone Pictures)，米拉麥克斯(Miramax)電影公司，博偉影視公司(Buena Vista Home Entertainment)，好萊塢電影公司(Hollywood Pictures)，ESPN體育，美國(guó)廣播公司(ABC)都是其旗下的公司(品牌)。

今天由于文章需要，動(dòng)手查詢了一下迪士尼的資料，內(nèi)心也是無(wú)比的震撼，大多數(shù)人想到迪士尼，也許就是一個(gè)拍動(dòng)畫片的公司，多想一點(diǎn)的話，可能就是香港的迪士尼樂園，相信大家看到好萊塢電影公司的時(shí)候，內(nèi)心就會(huì)強(qiáng)烈的震動(dòng)一下。隨著云計(jì)算的大潮到來(lái)，大數(shù)據(jù)也變得炙手可熱，作為云計(jì)算領(lǐng)域最重要的組成部分之一，大數(shù)據(jù)越來(lái)越受到關(guān)注，今天迪士尼也玩起了“跨界”，開始進(jìn)軍大數(shù)據(jù)領(lǐng)域。不過(guò)云計(jì)算和電影業(yè)其實(shí)早早的就聯(lián)系在一起，曾獲奧斯卡提名的皮克斯電影公司出品的3D電影《玩具總動(dòng)員3》，畫質(zhì)真實(shí)細(xì)膩，歸功于云計(jì)算。而中國(guó)觀眾所熟悉的《功夫熊貓2》的擁有者——夢(mèng)工廠，2003年就已經(jīng)開始邁向云計(jì)算。云計(jì)算為很多影視作品提供了制作、存儲(chǔ)和處理平臺(tái)，對(duì)于提供制作這些影片所需要的計(jì)算資源起到了關(guān)鍵性的作用。我們也期待迪士尼在新的平臺(tái)上能夠大放異彩。