FreeWheel業(yè)務(wù)創(chuàng)新的秘訣
原創(chuàng)【51CTO.com原創(chuàng)稿件】FreeWheel創(chuàng)建于2007年,總部位于美國(guó)硅谷,是一家專門提供電視及互聯(lián)網(wǎng)視頻廣告投放、預(yù)測(cè)和增值服務(wù)等關(guān)鍵解決方案的技術(shù)公司,主要以互聯(lián)網(wǎng)技術(shù)進(jìn)行廣告投放,目標(biāo)行業(yè)以電視為主。截至目前,90%美國(guó)頂級(jí)電視媒體運(yùn)營(yíng)商使用FreeWheel平臺(tái),每年通過FreeWheel平臺(tái)產(chǎn)生500億美元的廣告支出,占全美的視頻廣告領(lǐng)域的25%。
FreeWheel這家公司有很多出乎意料:公司的業(yè)務(wù)、銷售、市場(chǎng)皆在歐美,技術(shù)研發(fā)團(tuán)隊(duì)卻以中國(guó)為主;僅用十年就布局全球廣告行業(yè),成為業(yè)界知名的高端視頻廣告管理技術(shù)和服務(wù)提供商。FreeWheel的業(yè)務(wù)創(chuàng)新有哪些秘訣呢?
技術(shù)挑戰(zhàn)
作為廣告投放的平臺(tái)方,F(xiàn)reeWheel提供跨平臺(tái)的廣告精準(zhǔn)投放,結(jié)合數(shù)據(jù)賦能和身份管理等功能,以及自動(dòng)化交易方式連接廣告主及其代理以及視頻媒體運(yùn)營(yíng)商。為了給上下游企業(yè)提供更好的服務(wù),F(xiàn)reeWheel也面臨著一些技術(shù)上的挑戰(zhàn)。
FreeWheel CTO 馬玉羚介紹,首先,F(xiàn)reeWheel需要持續(xù)地應(yīng)用創(chuàng)新和迭代,例如近兩年FreeWheel開發(fā)的平臺(tái)功能需要快速迭代,來支持業(yè)務(wù)交易的變化,售賣方式的變化。
第二,快速、寬幅的彈性伸縮。FreeWheel會(huì)支持一些國(guó)際頂級(jí)賽事的直播,用戶的觀看需求也是激增的。過去,F(xiàn)reeWheel是有20多個(gè)本地的數(shù)據(jù)中心,但當(dāng)大流量進(jìn)入后,本地?cái)U(kuò)展實(shí)屬困難,同時(shí)又不能采購(gòu)大量機(jī)器在多數(shù)時(shí)屬于閑置狀態(tài)。因此,F(xiàn)reeWheel急需彈性的伸縮能力,以應(yīng)對(duì)激增流量場(chǎng)景下的需求。
第三是海量數(shù)據(jù)的存儲(chǔ)和處理。據(jù)了解,F(xiàn)reeWheel每天的日志數(shù)量會(huì)達(dá)到80T,處理數(shù)據(jù)后會(huì)產(chǎn)生復(fù)雜的邏輯,產(chǎn)生落盤數(shù)據(jù)10T。在落盤之后,F(xiàn)reeWheel的技術(shù)人員還要根據(jù)不同的應(yīng)用進(jìn)行監(jiān)測(cè)。
第四,嚴(yán)格的安全和合規(guī)要求。由于FreeWheel的平臺(tái)是企業(yè)級(jí)平臺(tái),并且服務(wù)著頂級(jí)媒體和眾多廣告主,對(duì)安全合規(guī)也有著極高的要求。
上云步驟
在兩三年前,F(xiàn)reeWheel開始決定進(jìn)行遷移上云,上云的步驟也是遵循了亞馬遜云科技的現(xiàn)代化應(yīng)用轉(zhuǎn)型策略。首先是應(yīng)用的平移,將應(yīng)用容器化后遷移到亞馬遜云科技,數(shù)據(jù)庫依舊采用傳統(tǒng)的MySQL數(shù)據(jù)庫。
在上云后,F(xiàn)reeWheel開始進(jìn)行基于云的優(yōu)化。由于業(yè)務(wù)數(shù)據(jù)相對(duì)復(fù)雜,需要一邊運(yùn)行一邊重構(gòu),最終FreeWheel利用Amazon Aurora和Amazon DynamoDB來替換原有的MySQL集群。數(shù)據(jù)也從原來本地存儲(chǔ)遷移到Amazon S3中。而后,F(xiàn)reeWheel基于云開發(fā)了相關(guān)工具 ,例如運(yùn)維平臺(tái)、監(jiān)控平臺(tái)等等。
目前,F(xiàn)reeWheel主要業(yè)務(wù)都已經(jīng)部署在亞馬遜云科技上,在上云后進(jìn)行拆分成微服務(wù),形成微服務(wù)加serverless的混合架構(gòu)體系。據(jù)介紹,基于Amazon KES共有超過50個(gè)集群,超過5000個(gè)Pod,每天Amazon lambda的請(qǐng)求量達(dá)到了100萬,Amazon SageMaker累計(jì)處理數(shù)據(jù)達(dá)到100TB。
雖然核心業(yè)務(wù)系統(tǒng)已經(jīng)全部上云,但是FreeWheel還有一些業(yè)務(wù)是運(yùn)行在本地的,因此,目前FreeWheel的架構(gòu)是混合的,那不同技術(shù)架構(gòu)下如何進(jìn)行交互呢?FreeWheel技術(shù)人員介紹說,在系統(tǒng)內(nèi)部進(jìn)行交互時(shí),例如微服務(wù)之間進(jìn)行交互會(huì)采用經(jīng)典的gRPC這樣的方式,效率也更高;若是跨系統(tǒng)間的交互,如果系統(tǒng)之間有可以兼容的協(xié)議,例如FRPC等方式會(huì)優(yōu)先使用,如果沒有則會(huì)采用傳統(tǒng)的Restful方式進(jìn)行交互。同時(shí),F(xiàn)reeWheel還引入了很多服務(wù)治理,例如Service Mesh,對(duì)微服務(wù)進(jìn)行相應(yīng)的質(zhì)量安全、通訊各方面的一些保障。
遷移上云后,F(xiàn)reeWheel成功支持了奧運(yùn)會(huì)、超級(jí)碗、世界杯等10多個(gè)全球收視率最高的賽事活動(dòng),亞馬遜云科技幫助FreeWheel應(yīng)對(duì)了在2秒內(nèi)流量激增100倍的業(yè)務(wù)場(chǎng)景。其次,F(xiàn)reeWheel的業(yè)務(wù)創(chuàng)新能力顯著提升,成功上線了多個(gè)新項(xiàng)目。第三,利用Amazon RDS和Amazon EBS的安全特性,F(xiàn)reeWheel可以輕松滿足數(shù)據(jù)存儲(chǔ)、加密等審計(jì)方面的需求。在廣告預(yù)測(cè)業(yè)務(wù)方面,依托于Amazon SageMaker的分布式訓(xùn)練集群,模型的迭代周期大幅縮短,效果提升近1倍,同時(shí),Spot Instance的使用也讓團(tuán)隊(duì)節(jié)省了超過50%的資源使用成本,并提升了團(tuán)隊(duì)的運(yùn)維效率。
提高安全性
由于FreeWheel的業(yè)務(wù)是全球化的,每個(gè)國(guó)家和地區(qū)都有著不同要求的數(shù)據(jù)安全標(biāo)準(zhǔn)和規(guī)定,因此FreeWheel需要在自身系統(tǒng)中滿足各個(gè)地區(qū)的標(biāo)準(zhǔn),才能在業(yè)界更好地開展業(yè)務(wù)。
FreeWheel服務(wù)的是全球頂級(jí)媒體,大家自然對(duì)數(shù)據(jù)安全的關(guān)注度頗高。因此FreeWheel在自身平臺(tái)的數(shù)據(jù)方面做了相應(yīng)的加密處理,無論是流動(dòng)的數(shù)據(jù)還是落盤數(shù)據(jù)都會(huì)進(jìn)行加密。由于MySQL在開源方面優(yōu)秀,但是加密會(huì)相對(duì)較難,損失訪問效率,因此,F(xiàn)reewheel采用了Amazon Aurora,亞馬遜云科技會(huì)在存儲(chǔ)層進(jìn)行技術(shù)創(chuàng)新和優(yōu)化,設(shè)置相關(guān)選項(xiàng)后底層數(shù)據(jù)加密就會(huì)形成,數(shù)據(jù)安全得到了相應(yīng)的保障,同時(shí)不損失性能。
此外,F(xiàn)reeWheel技術(shù)人員介紹稱,亞馬遜云科技對(duì)于安全的考量非常多,F(xiàn)reeWheel與亞馬遜云科技合作,通過洋蔥法一層層進(jìn)行安全方面的改進(jìn),定時(shí)掃描,在源頭進(jìn)行管控,第一時(shí)間杜絕安全隱患。
未來計(jì)劃
對(duì)于未來的展望,馬玉羚認(rèn)為,系統(tǒng)的穩(wěn)定性永遠(yuǎn)是FreeWheel的第一要素。如果FreeWheel系統(tǒng)宕機(jī)一秒鐘,這一秒FreeWheel支持的全球電視和視頻平臺(tái)就沒有廣告進(jìn)行播放了,損失是重大的。因此,F(xiàn)reeWheel的技術(shù)團(tuán)隊(duì)承擔(dān)的壓力也是非常大,系統(tǒng)的穩(wěn)定性是關(guān)鍵,自動(dòng)伸縮和跨區(qū)域的災(zāi)備也是FreeWheel必須要考慮的問題。
第二是生產(chǎn)效率,借助先進(jìn)技術(shù)提高生產(chǎn)效率,使團(tuán)隊(duì)更加具有敏捷性,快速推出新產(chǎn)品和功能。
第三是數(shù)據(jù)驅(qū)動(dòng)。FreeWheel需要使用數(shù)據(jù)來決定給誰投廣告,決定自身的系統(tǒng)如何運(yùn)營(yíng)。因此,F(xiàn)reeWheel會(huì)處理更多的數(shù)據(jù),利用AI和機(jī)器學(xué)習(xí)的方式,更好地預(yù)測(cè)、動(dòng)態(tài)定價(jià)、系統(tǒng)監(jiān)測(cè)等工作。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】