從大數(shù)據(jù)中獲得有價(jià)值的洞察是每個(gè)企業(yè)的愿望，但是無(wú)奈理想很豐滿，現(xiàn)實(shí)很骨感，再加上大數(shù)據(jù)軟件開發(fā)人員和IT操作缺乏企業(yè)的協(xié)調(diào)，這也使得從大數(shù)據(jù)中獲得洞察變得更加困難。還有的企業(yè)在其支持的其它項(xiàng)目中可能采用了良好的DevOps策略，但是大數(shù)據(jù)項(xiàng)目往往因?yàn)楦鞣N原因沒(méi)有采用。

接下來(lái)，本文將來(lái)探討一下DevOps是什么、為什么大數(shù)據(jù)項(xiàng)目團(tuán)隊(duì)不使用DevOps方法、使用DevOps的好處以及將大數(shù)據(jù)遷移到DevOps模型時(shí)可能會(huì)面臨的挑戰(zhàn)。

圖片來(lái)源于informationweek

什么是DevOps?

首先我們先來(lái)了解一下DevOps是什么?為什么它會(huì)如此受歡迎?DevOps的主要目的是消除軟件開發(fā)人員和IT基礎(chǔ)架構(gòu)管理員之間的孤島，以確保每個(gè)人都可以專注于單一的目標(biāo)。中間有一些交叉的訓(xùn)練可以會(huì)包含所有人都能理解的使用過(guò)程很多術(shù)語(yǔ)，但是一旦訓(xùn)練完成，雙方又可以各自以清晰的方向繼續(xù)改進(jìn)。然后兩個(gè)團(tuán)隊(duì)一起測(cè)試環(huán)境、調(diào)整生產(chǎn)基礎(chǔ)架構(gòu)組件以滿足新的軟件需求，并最終更快速地為終端用戶提供軟件修復(fù)和功能。

為什么大數(shù)據(jù)項(xiàng)目不喜歡采用DevOps

IT***放棄DevOps的主要原因是大數(shù)據(jù)科學(xué)(特別是大數(shù)據(jù)的分析科學(xué)部分)的復(fù)雜性。數(shù)據(jù)科學(xué)是一個(gè)比較新的領(lǐng)域，大部分的專家都是外國(guó)人，國(guó)內(nèi)的數(shù)據(jù)專家很少，所以這也導(dǎo)致了分析師無(wú)法和大數(shù)據(jù)開發(fā)商協(xié)同合作。

為什么大數(shù)據(jù)需要DevOps

由于分析師和大數(shù)據(jù)開發(fā)商的分離，DevOps在解決其他效率低下的項(xiàng)目中遇到的瓶頸照樣會(huì)出現(xiàn)在大數(shù)據(jù)項(xiàng)目中。由于某些大數(shù)據(jù)項(xiàng)目會(huì)比預(yù)期的難度更大，所以IT***迫于壓力會(huì)越來(lái)越想要早點(diǎn)得到結(jié)果，同時(shí)這也迫使分析科學(xué)家不斷改進(jìn)他們的算法。而分析模型發(fā)生的變化往往會(huì)和最初的基礎(chǔ)設(shè)施和資源需求有很大的出入，在這個(gè)改變的過(guò)程中，運(yùn)營(yíng)團(tuán)隊(duì)一直被排除在外，所以當(dāng)基礎(chǔ)設(shè)施更改需求給到開發(fā)人員的時(shí)候，你就會(huì)發(fā)現(xiàn)通信和資源的分配滯后會(huì)減緩進(jìn)度，而且這種放緩會(huì)影響大數(shù)據(jù)分析的潛在競(jìng)爭(zhēng)優(yōu)勢(shì)。這也就是為什么大數(shù)據(jù)需要DevOps的原因。

集成大數(shù)據(jù)和DevOps時(shí)的挑戰(zhàn)

如果你決定把大數(shù)據(jù)項(xiàng)目遷移到DevOps模型，就一定要了解你將面臨的哪些挑戰(zhàn)。 例如，如何快速打造探索分析和深度分析的大數(shù)據(jù)平臺(tái)。

另外，大多數(shù)的專業(yè)分析人士都認(rèn)為自己是社會(huì)工程師，而不是數(shù)據(jù)工程師，所以會(huì)有自己要學(xué)習(xí)的事情。如果在你的DevOps計(jì)劃中速度是很關(guān)鍵的部分，那么資源協(xié)調(diào)是至關(guān)重要的。還有，大數(shù)據(jù)DevOps的高效運(yùn)行還需要額外的人力資源，因?yàn)镈evOps的價(jià)值并不是員工的減少，而是發(fā)掘應(yīng)用程序的潛能。

大數(shù)據(jù)和DevOps集成的收益遠(yuǎn)遠(yuǎn)超過(guò)任何其他集成。效率和利益的協(xié)調(diào)有助于簡(jiǎn)化流程，加快實(shí)時(shí)分析變更的能力，從而更有效地利用所挖掘的數(shù)據(jù)。