[[394186]]

【51CTO.com快譯】與在內(nèi)部部署設(shè)施進(jìn)行批處理分析的方法相比，將分析業(yè)務(wù)遷移到云平臺(tái)需要新的方法、技能和架構(gòu)。像許多其他IT功能一樣，數(shù)據(jù)分析工作也遷移到云中，這既帶來了機(jī)遇，也面臨著挑戰(zhàn)。

在調(diào)研機(jī)構(gòu)Gartner公司列舉的 2021年十大數(shù)據(jù)和分析技術(shù)趨勢(shì)中，使分析功能更易組合的開放的、容器化的分析架構(gòu)就是其中的一個(gè)趨勢(shì)。該公司表示，這使組織能夠快速創(chuàng)建靈活而智能的應(yīng)用程序，以幫助數(shù)據(jù)分析師將見解與決策聯(lián)系起來。

Gartner公司指出，“隨著組織將數(shù)據(jù)重心轉(zhuǎn)移到云中，可組合數(shù)據(jù)和分析將成為一種更靈活方式，以構(gòu)建由云計(jì)算市場(chǎng)以及低代碼和無代碼解決方案提供支持的分析應(yīng)用程序。”

云計(jì)算服務(wù)可以將數(shù)據(jù)分析提高到一個(gè)新的水平。創(chuàng)意服務(wù)提供商Loveurope and Partners(LEAP)公司系統(tǒng)和技術(shù)總監(jiān)Aidan Taub表示：“云計(jì)算可以為我們提供更高計(jì)算負(fù)載所需的可擴(kuò)展性。隨著各行業(yè)組織繼續(xù)實(shí)現(xiàn)數(shù)字化，需要以指數(shù)級(jí)的規(guī)模構(gòu)建文件數(shù)據(jù)。當(dāng)組織擁有大量的非結(jié)構(gòu)化數(shù)據(jù)(例如LEAP公司所處理的視頻、圖像和音頻)時(shí)，永遠(yuǎn)無法知道其工作量有多大，而傳統(tǒng)分析方法無法像云平臺(tái)一樣擴(kuò)展規(guī)模。”

然而，在云中進(jìn)行的分析需要不同的方法、技能、架構(gòu)和經(jīng)濟(jì)性。伴隨著這些變化，勢(shì)必需要克服一些障礙。

以下組織可能會(huì)面臨的一些挑戰(zhàn)以及當(dāng)向在云中執(zhí)行數(shù)據(jù)分析時(shí)能夠解決這些挑戰(zhàn)的方法：

由于未知而害怕失去控制

數(shù)據(jù)分析對(duì)于組織來說具有高度的戰(zhàn)略意義，對(duì)于習(xí)慣于完全控制數(shù)據(jù)資源的技術(shù)領(lǐng)導(dǎo)者而言，將分析過程遷移到云中的想法可能令人望而生畏。

德勤咨詢公司高級(jí)分析支持主管Anthony Abbattista說，“我們看到客戶面臨的主要挑戰(zhàn)之一是組織慣性或?qū)κタ刂频目謶帧?rdquo;Abbattist曾與眾多企業(yè)的IT高管合作，并致力于推廣基于云的分析。

Abbattista說：“IT主管和首席信息官的傳統(tǒng)角色是保護(hù)數(shù)據(jù)資產(chǎn)并成為數(shù)據(jù)資產(chǎn)的守護(hù)者。”他表示，在某些情況下，云計(jì)算技術(shù)對(duì)數(shù)據(jù)分析的現(xiàn)狀構(gòu)建了挑戰(zhàn)，因?yàn)樗梢愿斓赝葡蚴袌?chǎng)。例如產(chǎn)品選擇和評(píng)估，點(diǎn)擊配置的數(shù)量有限，無需大量增加資本支出等等。

Abbattista說：“首席數(shù)據(jù)官和首席信息官需要共同努力，以審核和熟悉云平臺(tái)，這樣他們可以幫助獲得商業(yè)價(jià)值和競爭優(yōu)勢(shì)，至少不落后于競爭對(duì)手。這可能需要采用市場(chǎng)上可接受的、經(jīng)過驗(yàn)證的新興模式，而不是從頭開始設(shè)計(jì)或重建分析環(huán)境。”

提供保險(xiǎn)服務(wù)的非營利機(jī)構(gòu)全球公共機(jī)構(gòu)雇員保險(xiǎn)公司(WAEPA)首席信息官Brandon Jones表示，由于現(xiàn)有的分析流程缺乏靈活性，許多組織在探索新的分析能力方面進(jìn)展緩慢。他說：“組織需要嘗試新功能，并推動(dòng)創(chuàng)新的激勵(lì)措施和計(jì)劃。”

為了克服這個(gè)問題，WAEPA公司的IT部門使用了一個(gè)支持云計(jì)算的沙盒環(huán)境來建立一個(gè)試錯(cuò)思維過程，使用關(guān)鍵利益相關(guān)者的關(guān)鍵性能指標(biāo)創(chuàng)建了一個(gè)原型優(yōu)先的分析環(huán)境。

進(jìn)行轉(zhuǎn)變

除了克服IT領(lǐng)導(dǎo)者認(rèn)為的失去控制之外，他們還需要應(yīng)對(duì)向云平臺(tái)的遷移，并確保服務(wù)不會(huì)中斷。

Taub說，“這對(duì)于許多IT領(lǐng)導(dǎo)者來說，他們最困難的決定就是向云平臺(tái)遷移。但是，如果他們選擇正確的解決方案，就不必這樣做。”

Taub說，將數(shù)據(jù)分析遷移到云端時(shí)，IT領(lǐng)導(dǎo)者在很多情況下都是從“提升和轉(zhuǎn)移”的方法開始，將現(xiàn)有的操作移植到云端。他補(bǔ)充道：“這通常意味著重新設(shè)計(jì)應(yīng)用程序和系統(tǒng)，而為了進(jìn)入云平臺(tái)需要重新構(gòu)建。”

作為2019年對(duì)其原有數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行全面改革的一部分，LEAP公司使用Qumulo公司的分析平臺(tái)將大量非結(jié)構(gòu)化文件數(shù)據(jù)遷移到云中。LEAP公司的文件和數(shù)據(jù)以前分布在各種不同的傳統(tǒng)存儲(chǔ)系統(tǒng)中，而數(shù)據(jù)在工作流的不同位置管理和定位則非常耗費(fèi)人力。

Taub說，“幸運(yùn)的是，Qumulo公司幫助我們轉(zhuǎn)移了所有數(shù)據(jù)，而無需為進(jìn)入云平臺(tái)重構(gòu)應(yīng)用程序，我建議組織找到一種工具，使在多個(gè)環(huán)境中復(fù)制和提取數(shù)據(jù)變得更加簡單。”

這一轉(zhuǎn)變使該公司能夠優(yōu)化其數(shù)據(jù)分析，并將其性能提高240倍以上。采用谷歌分析軟件，可以查看已連接的客戶端數(shù)量、使用帶寬最多的客戶端，以及數(shù)據(jù)在哪里快速增長。

Taub說：“創(chuàng)造性工作流程的成功很大程度上取決于我們?cè)谠浦性L問數(shù)據(jù)分析的能力。我們?cè)谌蚋鞯負(fù)碛杏蓴?shù)百名藝術(shù)家、設(shè)計(jì)師和動(dòng)態(tài)圖形編輯人員組成的團(tuán)隊(duì)，因此，我們需要利用云計(jì)算服務(wù)來有效安全地協(xié)作開發(fā)創(chuàng)意項(xiàng)目。如果沒有基于云計(jì)算的數(shù)據(jù)分析，我們的生產(chǎn)流程將陷入困境。”

掌握正確的技能

成功的IT工作似乎總是歸功于掌握必要的技能，而將數(shù)據(jù)分析遷移到云平臺(tái)也不例外。

Abbattista表示，德勤咨詢公司的調(diào)查表明，組織對(duì)技能的需求開始發(fā)生變化。他說：“云計(jì)算分析環(huán)境不需要專家來支持傳統(tǒng)分析/商業(yè)智能中技術(shù)堆棧的每個(gè)部分，而是需要更多的‘全棧式’思維。為應(yīng)對(duì)這一挑戰(zhàn)，支持這些新時(shí)代環(huán)境的技術(shù)團(tuán)隊(duì)需要了解云平臺(tái)上的產(chǎn)品，采用標(biāo)準(zhǔn)模式，然后隨著新技術(shù)、工具和產(chǎn)品的出現(xiàn)而不斷發(fā)展。”

美國零售商Dollar Tree公司前任首席信息官Josh Jewett表示，選擇在云計(jì)算環(huán)境中構(gòu)建自己的分析平臺(tái)或依靠云計(jì)算供應(yīng)商提供服務(wù)的組織將需要具有特定的專業(yè)知識(shí)和技能。

Jewett指出，這些技能包括創(chuàng)建、維護(hù)和從數(shù)據(jù)湖中獲得分析的技能，以及如何最好地利用云原生或第三方人工智能和機(jī)器學(xué)習(xí)能力，并從分析中獲得更多的見解。

在Dollar Tree公司任職期間，Jewett幫助該公司實(shí)現(xiàn)了許多系統(tǒng)的現(xiàn)代化，其中包括數(shù)據(jù)分析。他說，“和其他許多零售商一樣，Dollar Tree公司采用了混合策略，部署了軟件即服務(wù)平臺(tái)，為關(guān)鍵業(yè)務(wù)功能提供特定的分析功能。例如，這些工具包括用于庫存生產(chǎn)率、價(jià)格優(yōu)化、減輕損失預(yù)防，人才獲取，以及績效管理等。”

該公司還在云計(jì)算環(huán)境中開發(fā)了一些分析應(yīng)用程序，以利用云計(jì)算的靈活性、可擴(kuò)展性，并加快產(chǎn)品上市的優(yōu)勢(shì)。

保護(hù)數(shù)據(jù)安全

無論云計(jì)算服務(wù)提供商怎么強(qiáng)調(diào)其云計(jì)算基礎(chǔ)設(shè)施的安全性，其客戶都需要始終關(guān)注其數(shù)據(jù)在云中的實(shí)際安全性。

對(duì)于數(shù)據(jù)分析來說尤其如此，因?yàn)閺臄?shù)據(jù)分析中獲得的見解可以成為一種競爭優(yōu)勢(shì)，此外還要關(guān)注不能泄露諸如客戶信息之類的高度敏感的數(shù)據(jù)。

Taub說，“當(dāng)將組織的數(shù)據(jù)從其內(nèi)部部署數(shù)據(jù)中心遷移出去的時(shí)候，安全性成為頭等大事。LEAP公司利用了包括自由職業(yè)者在內(nèi)的全球員工網(wǎng)絡(luò)，這意味著我們必須確保數(shù)據(jù)將在內(nèi)部和外部用戶訪問的云平臺(tái)中得到保護(hù)。”

軟件提供商Precisely公司數(shù)據(jù)首席信息官Amy O’Connor表示，最大的安全問題之一是控制對(duì)云計(jì)算應(yīng)用程序和數(shù)據(jù)的訪問。他說：“人們使用云計(jì)算應(yīng)用程序在獲得便捷性的同時(shí)也帶來了挑戰(zhàn)，其中許多根源在于人們可能會(huì)無意間造成安全、隱私和經(jīng)濟(jì)方面的問題。在云計(jì)算帳戶之間進(jìn)行安全切換以及安全地存儲(chǔ)和交換密鑰是一個(gè)關(guān)鍵問題。需要圍繞適當(dāng)使用數(shù)據(jù)進(jìn)行強(qiáng)有力的治理。與內(nèi)部部署數(shù)據(jù)中心相比，云中的安全事項(xiàng)更緊急，因?yàn)槟軌蚝苋菀椎匾晕唇?jīng)授權(quán)的方式復(fù)制和使用數(shù)據(jù)。”

O’Connor說：“Precisely公司采用混合多云模式，可以利用多個(gè)云計(jì)算供應(yīng)商提供的服務(wù)來滿足其計(jì)算和存儲(chǔ)需求。我們基于云計(jì)算的數(shù)據(jù)湖是存儲(chǔ)大量數(shù)據(jù)的地方。如果數(shù)據(jù)起源于云平臺(tái)，我們將在云平臺(tái)中開始處理。如果具有本質(zhì)上突發(fā)性的分析需求，則可以利用云計(jì)算服務(wù)進(jìn)行處理。如果需要快速開始分析處理，則可以從云平臺(tái)開始。當(dāng)我們需要處理非結(jié)構(gòu)化數(shù)據(jù)以及使用包括機(jī)器學(xué)習(xí)在內(nèi)的高級(jí)分析處理時(shí)，我們可以利用基于云計(jì)算的數(shù)據(jù)湖。”

避免云計(jì)算成本陷阱

盡管使用云計(jì)算服務(wù)可以幫助組織避免諸如內(nèi)部部署存儲(chǔ)系統(tǒng)之類的成本，但其支出可能會(huì)很快失控或超出預(yù)期。

Taub說。“預(yù)算始終是一個(gè)問題。一刀切的數(shù)據(jù)架構(gòu)可能是IT支出的陷阱。因此在決定將分析遷移到云中時(shí)，組織通常會(huì)感到更多的壓力，需要支付高昂的前期成本，并受到無法滿足其當(dāng)前需求的長期合同的限制。”

Taub表示，關(guān)鍵是找到一個(gè)不會(huì)強(qiáng)制鎖定的云計(jì)算提供商。他說：“組織在評(píng)估云計(jì)算平臺(tái)時(shí)需要進(jìn)行評(píng)估和比較，選擇滿足組織當(dāng)前分析需求的靈活解決方案，并可以根據(jù)需要靈活地?cái)U(kuò)展以滿足組織的未來需求。”

O’Connor表示，雖然采用云服務(wù)很容易，但也很容易將錯(cuò)誤的作業(yè)類型轉(zhuǎn)移到云中，并在不再需要使用云計(jì)算應(yīng)用程序和資源之后繼續(xù)運(yùn)行。

他指出，控制云計(jì)算成本的兩種最有效方法是控制云帳戶的創(chuàng)建方式，并且對(duì)于誰在使用云資源完全透明。

O'Connor說：“為了解決第一個(gè)問題，我們將每個(gè)提供商的所有云帳戶都遷移到一個(gè)主帳戶中，我們還集中了新創(chuàng)建的云帳戶。需要新的云計(jì)算資源的個(gè)人和團(tuán)隊(duì)都要經(jīng)過正式的請(qǐng)求流程，該請(qǐng)求必須包括業(yè)務(wù)理由、部門預(yù)算信息和業(yè)務(wù)所有者等內(nèi)容。”

O'Connor說：“至于其透明性，只要批準(zhǔn)了請(qǐng)求，中央團(tuán)隊(duì)就會(huì)在主帳戶下創(chuàng)建任何新的云帳戶。這種治理政策使我們能夠透明地了解云計(jì)算提供商開具發(fā)票的費(fèi)用。每個(gè)帳戶都是用請(qǐng)求中提供的信息創(chuàng)建的，然后可以使用云計(jì)算提供商的門戶或控制臺(tái)來監(jiān)控與每個(gè)初始請(qǐng)求匹配的支出。”

O'Connor表示，將云計(jì)算成本應(yīng)用到請(qǐng)求者的預(yù)算中，從而精確地將這些支出信息用于內(nèi)部按存儲(chǔ)容量使用計(jì)費(fèi)模型。IT部門使用這些方法推動(dòng)云計(jì)算成本的問責(zé)制，并確保為正當(dāng)?shù)臉I(yè)務(wù)原因而提供適當(dāng)?shù)念A(yù)算。

原文標(biāo)題：Analytics in the cloud: Key challenges and how to overcome them，作者：Bob Violino

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】