自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

處理960億張照片需要怎樣的技術(shù)架構(gòu)支撐?

原創(chuàng)
云計(jì)算
截止到2015年第一季度,Camera360的全球用戶數(shù)量突破了4億,單日產(chǎn)生的照片數(shù)量也達(dá)到了2億張,在如此大量存儲(chǔ)需求以及運(yùn)算能力的背后,是亞馬遜AWS云服務(wù)保障了這4億用戶流暢的使用體驗(yàn)。

在成都天府軟件園中,聚集了一大批國(guó)內(nèi)外知名企業(yè)入駐,同時(shí),隨著成都創(chuàng)新創(chuàng)業(yè)風(fēng)起云涌,一時(shí)間也成為了風(fēng)險(xiǎn)投資和創(chuàng)業(yè)團(tuán)隊(duì)集結(jié)的高地。在天府軟件園中,成都品果科技有限公司(以下簡(jiǎn)稱品果科技)可謂是無(wú)人不知,品果科技是一家以打造“手機(jī)攝影生態(tài)圈”為宗旨的公司,旨在為全世界的手機(jī)用戶提供最實(shí)用的手機(jī)拍照軟件,而Camera360就是大家最為熟悉的品果科技的產(chǎn)品。

據(jù)統(tǒng)計(jì),截止到2015年***季度,Camera360的全球用戶數(shù)量突破了4億,單日產(chǎn)生的照片數(shù)量也達(dá)到了2億張,也許就在你看這篇文章的同時(shí),就已經(jīng)產(chǎn)生了幾十萬(wàn)張照片。每天產(chǎn)生如此多的照片,需要存儲(chǔ)的不僅是照片,還有用戶信息、照片元信息、用戶與照片之間的信息,以及在照片合成視頻時(shí)需要用到的GPU運(yùn)算等等。在如此大量存儲(chǔ)需求以及運(yùn)算能力的背后,是亞馬遜AWS云服務(wù)保障了這4億用戶流暢的使用體驗(yàn)。

持續(xù)增長(zhǎng)的業(yè)務(wù)帶來(lái)的壓力

2010年,品果科技正式成立,同時(shí)在當(dāng)年發(fā)布了Camera v1.0的Android版本,緊接著在第二年,Camera360的iOS版本發(fā)布后,一舉超過(guò)Instagram,成為了蘋果APP Store中美國(guó)區(qū)排名***的攝影應(yīng)用。

經(jīng)過(guò)了融資后,Camera360的產(chǎn)品家族不斷擴(kuò)大,已經(jīng)形成了產(chǎn)品矩陣,即整個(gè)產(chǎn)品生態(tài)圈以Camera360為主,第二層主要是MIX濾鏡大師、寶貝相冊(cè)以及其他一些產(chǎn)品,最外層是以社交為主的照片圈。而Camera360經(jīng)過(guò)了5年不斷的更新和積累,用戶數(shù)量已經(jīng)超過(guò)了4億,覆蓋全球超過(guò)223個(gè)國(guó)家和地區(qū),累計(jì)產(chǎn)生的照片數(shù)量已經(jīng)超過(guò)了960億張。 

面對(duì)日益增長(zhǎng)的用戶數(shù)、每日倍增的照片數(shù)量,以及不斷的功能上線、版本更新,Camera360的技術(shù)團(tuán)隊(duì)感到了***的壓力。

對(duì)云服務(wù)的渴求

面對(duì)全球4億的用戶,每秒鐘就能產(chǎn)生上千張照片,這對(duì)Camera360的存儲(chǔ)能力提出了新的挑戰(zhàn)。然而,照片的存儲(chǔ)只是一小部分,每周新功能的上線,每天的版本更新,都對(duì)服務(wù)器、數(shù)據(jù)庫(kù)等IT架構(gòu)帶來(lái)不小的挑戰(zhàn)。

過(guò)去,當(dāng)遇到用戶大規(guī)模增加、照片數(shù)量增加,或是新功能上線這些需求時(shí),Camera360需要購(gòu)買一些新的服務(wù)器和存儲(chǔ)機(jī)器,然后進(jìn)行部署。但從機(jī)器的選購(gòu)到最終上線,至少也需要一個(gè)多月的時(shí)間。業(yè)務(wù)的快速發(fā)展,讓Camera360的技術(shù)團(tuán)隊(duì)不斷反思自己的技術(shù)架構(gòu)能否應(yīng)對(duì)產(chǎn)品的高速增長(zhǎng),隨著云計(jì)算的逐步落地,Camera 360想借助云計(jì)算的能力,來(lái)實(shí)現(xiàn)持續(xù)增長(zhǎng)的業(yè)務(wù)需求。

不同于有些客戶,為了云而使用云,Camera360對(duì)云計(jì)算有著深入的理解,在選擇云服務(wù)時(shí),也是有著嚴(yán)苛的要求。以下是Camera 360對(duì)云服務(wù)的期望:

• 快速搭建環(huán)境、部署業(yè)務(wù)

• 能快速擴(kuò)容,***能自動(dòng)擴(kuò)容

• 解決存儲(chǔ)問(wèn)題(IO、容量)

• 隔離性好(CPU、內(nèi)存、IO隔離)

• 網(wǎng)絡(luò)質(zhì)量好(內(nèi)網(wǎng)、出口)

• 節(jié)點(diǎn)多(國(guó)內(nèi)、海外)

• 安全(網(wǎng)絡(luò)、數(shù)據(jù)安全)

• ***有一整套解決方案

• 出了問(wèn)題能快速響應(yīng)

• 成本可控

從這么多的要求來(lái)看,Camera360從自己的實(shí)際業(yè)務(wù)出發(fā),確定自己需要的技術(shù)和服務(wù)能力,從而開(kāi)始了云服務(wù)的選擇之路。

選型的標(biāo)準(zhǔn):注重軟實(shí)力

目前,國(guó)內(nèi)乃至全球,有眾多云計(jì)算服務(wù)提供商,而各家提供的服務(wù)以及服務(wù)水平也參差不齊。在選擇時(shí),Camera360副總裁劉宏偉比較看重成本、安全性和穩(wěn)定性以及海外的拓展能力等方面。在經(jīng)過(guò)了多方對(duì)比考量后,Camera360最終選擇了亞馬遜AWS。在談到其中的理由,劉宏偉總結(jié)了四點(diǎn)。

 

[[131403]]

Camera360副總裁劉宏偉

首先是AWS的全球節(jié)點(diǎn)分布很契合Camera360的全球業(yè)務(wù)以及用戶分布。AWS在全球11個(gè)區(qū)域以及28個(gè)可用區(qū)向用客戶提供服務(wù),而Camera360的用戶中有60%-70%來(lái)自海外,因此,Camera360選擇了AWS的中國(guó)、新加坡、日本、美國(guó)俄勒岡四個(gè)節(jié)點(diǎn),來(lái)為自己的全球用戶提供服務(wù)。

其次,AWS擁有成熟的解決方案。AWS服務(wù)于2006年推出,提供超過(guò)40種不同的計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)、分析、應(yīng)用程序和部署服務(wù),幫助客戶快速的完成遷移、降低成本和擴(kuò)展應(yīng)用程序。AWS經(jīng)過(guò)了多年的實(shí)踐驗(yàn)證,用戶無(wú)需再進(jìn)行探索,而是可以直接使用。

第三,技術(shù)領(lǐng)先。Camera360在2011年開(kāi)發(fā)了云相冊(cè),而云相冊(cè)業(yè)務(wù)的可用性非常高,并且要求磁盤有高性能的IO水平。然而,國(guó)內(nèi)眾多云計(jì)算服務(wù)商提供的磁盤IOPS不能滿足Camera360的需求,而AWS的***的EBS(磁盤存儲(chǔ))可以滿足Camera360上萬(wàn)次的讀寫請(qǐng)求,達(dá)到每秒20000次。其次,AWS的彈性計(jì)算可以快速解決Camera360的需求,GPU運(yùn)算減少云視頻合成時(shí)間等。

第四是技術(shù)團(tuán)隊(duì)的支撐,這也是劉宏偉最注重的軟實(shí)力。AWS提供了7*24小時(shí)的技術(shù)支持,幫助Camera360進(jìn)行平滑的遷移、快速的擴(kuò)容以及一些技術(shù)上的幫助。劉宏偉表示,“正是因?yàn)橐揽恐鳤WS的技術(shù)支持,我們現(xiàn)在才有膽量和魄力馬上將業(yè)務(wù)整體遷移到AWS上。技術(shù)支持不像是機(jī)器,這些都是看不見(jiàn)摸不著的東西,但是實(shí)際上對(duì)我來(lái)說(shuō)是最重要的東西。”

在選擇了AWS后,Camera360將環(huán)境做成系統(tǒng)鏡像,部署恢復(fù)只需幾分鐘即可完成;通過(guò)AWS Auto Scaling功能,自動(dòng)擴(kuò)容提升了服務(wù)的穩(wěn)定性;Snapshot備份讓Camera360每天都可以進(jìn)行備份,并且恢復(fù)時(shí)間在1、2個(gè)小時(shí)內(nèi)即可完成;AWS中的身份認(rèn)證管理(Identity and Access Management ,IAM)可以為每個(gè)研發(fā)人員分配賬號(hào),不會(huì)出現(xiàn)多人使用同一賬號(hào)的情況,并且權(quán)限控制粒度更加細(xì)致,每個(gè)資源都可以單獨(dú)控制。此外,Camera360還將GPU的運(yùn)算放在了AWS上,支撐了云特效、云視頻合成以及云作圖三個(gè)業(yè)務(wù)。Camera360的云特效在AWS上實(shí)現(xiàn)可以達(dá)到毫秒響應(yīng),而云視頻合成基本可以在一秒內(nèi)完成,這在過(guò)去都是需要二、三十秒才能完成。

平滑的向AWS遷移

每一個(gè)要使用云計(jì)算的客戶,都會(huì)擔(dān)心一個(gè)問(wèn)題,那就是遷移的平滑性、業(yè)務(wù)的穩(wěn)定性。畢竟,大規(guī)模的數(shù)據(jù)和業(yè)務(wù),從一個(gè)本地環(huán)境遷移到云上,不是簡(jiǎn)簡(jiǎn)單單的點(diǎn)幾個(gè)按鈕就可以完成的事情。保證用戶的持續(xù)使用,業(yè)務(wù)上不出現(xiàn)中斷,是非常有挑戰(zhàn)性的。對(duì)于Camera360這樣對(duì)個(gè)人用戶提供服務(wù)的客戶來(lái)說(shuō),可用性下降,用戶體驗(yàn)變差,將會(huì)直接影響公司的品牌以及業(yè)務(wù)。

對(duì)于向云遷移,劉宏偉認(rèn)為,首先企業(yè)要有勇氣和魄力,需要很高的意愿來(lái)完成遷移的工作,在得到公司領(lǐng)導(dǎo)的支持和同意后,先要進(jìn)行前期的調(diào)研,和云服務(wù)商的技術(shù)團(tuán)隊(duì)溝通,做出所有可能的風(fēng)險(xiǎn)點(diǎn)預(yù)估以及相應(yīng)的解決方案,然后建立測(cè)試集群,進(jìn)行探索性的測(cè)試,要將所有的問(wèn)題在測(cè)試環(huán)節(jié)中解決,包括風(fēng)險(xiǎn)點(diǎn)的排除,***再遷移到真實(shí)的環(huán)境中。

在Camera360的遷移過(guò)程中,AWS的技術(shù)專家寄予了很多的支持,不但將每一個(gè)遷移過(guò)程中可能出現(xiàn)的風(fēng)險(xiǎn)點(diǎn)列出,還逐一向Camera360的技術(shù)人員進(jìn)行講解,提供相關(guān)資料,并且每周進(jìn)行一次討論,當(dāng)所有的風(fēng)險(xiǎn)點(diǎn)達(dá)到可控之后,再啟動(dòng)遷移。

劉宏偉強(qiáng)調(diào),“Camera360此次遷移過(guò)程非常平滑,沒(méi)有出現(xiàn)任何的事故或問(wèn)題,是憑借AWS的技術(shù)支撐,這不光是硬件方面,畢竟產(chǎn)品都是現(xiàn)成的,遷移過(guò)程如此順滑,這與AWS多年積累的技術(shù)經(jīng)驗(yàn)是分不開(kāi)的。”

很多客戶遷移到公有云后,原有的IT基礎(chǔ)設(shè)施就閑置了,而Camera360的機(jī)器卻另有價(jià)值。Camera360技術(shù)副總監(jiān)劉朝輝表示,拍賣可能是一種好的辦法,但是可以利用舊機(jī)器搭建小的測(cè)試集群,讓公司的技術(shù)研發(fā)人員在其中進(jìn)行創(chuàng)新。 

[[131404]]

Camera360技術(shù)副總監(jiān)劉朝輝

過(guò)去,Camera360是自建私有云以及使用其他公有云廠商的服務(wù),但是未來(lái),新業(yè)務(wù)將會(huì)全部直接放在AWS上,而老業(yè)務(wù)也會(huì)逐步都遷移到AWS上。

未來(lái)

在業(yè)務(wù)的底層基礎(chǔ)架構(gòu)遷移到AWS后,劉宏偉還希望通過(guò)AWS挖掘更大的業(yè)務(wù)價(jià)值。

首先是利用AWS的DevOps提升工作效率,通過(guò)深入了解AWS上的各種操作以及工具集,讓開(kāi)發(fā)人員在AWS上更加便捷的工作,提升工作效率的同時(shí)也提升了公司的核心競(jìng)爭(zhēng)力;

其次,利用基于RedShift進(jìn)行大數(shù)據(jù)挖掘,目前Camera360使用的是開(kāi)源的集群架構(gòu),需要大量的人力維護(hù)并進(jìn)行二次開(kāi)發(fā),未來(lái)計(jì)劃將大數(shù)據(jù)業(yè)務(wù)移植到AWS中,節(jié)約成本,并且提高效率和能力;

第三是基于GPU進(jìn)行照片數(shù)據(jù)挖掘,Camera360每天產(chǎn)生兩億張照片,但是Camera360的運(yùn)算能力有限。劉宏偉表示,未來(lái)會(huì)通過(guò)AWS的資源進(jìn)行大數(shù)據(jù)挖掘,例如情景識(shí)別功能,幫助用戶更好的發(fā)現(xiàn)自己的照片。

 

責(zé)任編輯:鳶瑋 來(lái)源: 51CTO
相關(guān)推薦

2018-07-12 16:34:45

華為

2019-11-21 08:57:31

GPS信息定位

2014-10-11 11:35:49

2017-11-15 22:44:44

程序員阿里技術(shù)

2020-01-21 21:20:00

人臉識(shí)別人工智能數(shù)據(jù)

2023-12-05 13:49:00

AI模型

2022-01-27 07:40:27

iOS微信朋友圈

2020-01-14 10:39:00

網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全技術(shù)周刊

2016-12-13 12:38:57

SDNNFV中國(guó)移動(dòng)

2021-10-11 17:30:49

AI 人臉識(shí)別人工智能

2016-09-13 23:05:47

2019-06-23 17:30:07

AI 數(shù)據(jù)人工智能

2016-09-06 10:12:12

華為價(jià)值觀HUAWEI CONN

2020-02-27 15:50:06

人臉識(shí)別人工智能數(shù)據(jù)

2012-07-27 09:27:04

Instagram

2023-12-03 08:40:18

微軟模型

2022-01-27 09:34:29

微信iOS版朋友圈

2014-05-23 14:02:38

2011-04-29 14:12:28

照片打印機(jī)選購(gòu)

2021-04-07 13:50:34

人臉識(shí)別人工智能AI
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)