深度解析數(shù)據(jù)分析、大數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家的區(qū)別
數(shù)據(jù)越來越多的影響并塑造著那些我們每天都要交互的系統(tǒng)。不管是你使用Siri,google搜索,還是瀏覽facebook的好友動態(tài),你都在消費者數(shù)據(jù)分析的結(jié)果。我們賦予了數(shù)據(jù)如此大的轉(zhuǎn)變的能力,也難怪近幾年越來越多的數(shù)據(jù)相關(guān)的角色被創(chuàng)造出來。
這些角色的職責(zé)范圍,從預(yù)測未來,到發(fā)現(xiàn)你周圍世界的模式,到建設(shè)操作著數(shù)百萬記錄的系統(tǒng)。在這篇文章中。我們將討論不同的數(shù)據(jù)相關(guān)的角色,他們?nèi)绾谓M合在一起,并且?guī)湍阏页瞿切┙巧沁m合你自己的。
什么是數(shù)據(jù)分析師?
數(shù)據(jù)分析通過談?wù)摂?shù)據(jù)來像他們的公司傳遞價值,用數(shù)據(jù)來回答問題,交流結(jié)果來幫助做商業(yè)決策。數(shù)據(jù)分析師的一般工作包括數(shù)據(jù)清洗,執(zhí)行分析和數(shù)據(jù)可視化。
取決于行業(yè),數(shù)據(jù)分析師可能有不同的頭銜(比如:商業(yè)分析師,商業(yè)智能分析師,業(yè)務(wù)/運營分析師,數(shù)據(jù)分析師)不管頭銜是什么,數(shù)據(jù)分析師是一個能適應(yīng)不同角色和團隊的多面手以幫助別人做出更好的數(shù)據(jù)驅(qū)動的決策。
深度解析數(shù)據(jù)分析師
數(shù)據(jù)分析師擁有把傳統(tǒng)的商業(yè)方式轉(zhuǎn)換成數(shù)據(jù)驅(qū)動的商業(yè)方式的潛質(zhì)。雖然數(shù)據(jù)分析師是數(shù)據(jù)廣泛領(lǐng)域的入門水平,但不是說所有的分析師都是低水平的。數(shù)據(jù)分析師不僅僅精通技術(shù)工具,還是高效的交流者,他們對于那些把技術(shù)團隊和商業(yè)團隊隔離的公司是至關(guān)重要的。
他們的核心職責(zé)是幫助其他人追蹤進展,和優(yōu)化目標(biāo)。市場人員如何使用分析的數(shù)據(jù)取幫助他們安排下一次活動?銷售人員如何衡量哪種類型人群能更好的爭取?CEO如何更好的理解最最近公司發(fā)展背后潛在原因?這些問題就需要數(shù)據(jù)分析師通過數(shù)據(jù)分析和呈現(xiàn)結(jié)果來給答案。他們從事的這些和數(shù)據(jù)打交道的復(fù)雜工作能夠為他們所在的組織貢獻價值。
一個高效的數(shù)據(jù)分析師能夠在商業(yè)決策的時候摒棄臆想和猜測,并且?guī)椭麄€組織快速成長。數(shù)據(jù)分析師必須是一個橫跨在不同團隊中的有效橋梁。通過分析新的數(shù)據(jù),綜合不同的報告,翻譯整體的產(chǎn)出。反過來,這也能幫助組織對于自身的發(fā)展時刻保持警覺。
公司的不同需求決定了數(shù)據(jù)分析師的技能要求,但是下面這些應(yīng)該是通用的:
- 清洗和組織未加工的數(shù)據(jù)
- 使用描述性統(tǒng)計來得到數(shù)據(jù)的全局視圖
- 分析在數(shù)據(jù)中發(fā)現(xiàn)的有趣趨勢
- 創(chuàng)建數(shù)據(jù)可視化和儀表盤來幫助公司解讀說明和使用數(shù)據(jù)做決策
- 呈現(xiàn)針對商業(yè)客戶或者內(nèi)部團隊的科學(xué)分析的結(jié)果
數(shù)據(jù)分析師對公司科技和分科技的兩面都帶來了重大的價值。不管是進行探索性的分析還是解讀經(jīng)營狀況的儀表盤。分析師都促進了團隊之間更緊密的連接。
什么是數(shù)據(jù)科學(xué)家?
數(shù)據(jù)科學(xué)家是使用他們在統(tǒng)計學(xué)和建設(shè)機器學(xué)習(xí)模型方面的專業(yè)技術(shù)去進行關(guān)鍵商業(yè)問題預(yù)測的專家。
數(shù)據(jù)科學(xué)家也需要像數(shù)據(jù)分析師一樣去清洗、分析、可視化數(shù)據(jù)。然而一個數(shù)據(jù)科學(xué)家需要在這些技能上更深入也更專業(yè),他們還可以去訓(xùn)練和優(yōu)化機器學(xué)習(xí)的模型。
深度解析數(shù)據(jù)科學(xué)家
數(shù)據(jù)科學(xué)家能產(chǎn)生巨大的價值,他們處理更多開放式的問題并且利用他們專業(yè)的統(tǒng)計學(xué)和算法知識發(fā)揮更大杠桿的作用。如果說數(shù)據(jù)分析師專注于從過去和現(xiàn)在數(shù)據(jù)層面來理解數(shù)據(jù)的話,那么數(shù)據(jù)科學(xué)家就是專注于做出對未來更可信的預(yù)測。
數(shù)據(jù)科學(xué)家通過有監(jiān)督學(xué)習(xí)(分類、回歸)和無監(jiān)督學(xué)習(xí)(聚類,神經(jīng)網(wǎng)絡(luò),異常監(jiān)測?)機器學(xué)習(xí)模型來揭開隱藏著的規(guī)律。本質(zhì)上來說他們是訓(xùn)練那些能讓他們更好的識別模型和產(chǎn)出精確預(yù)測效果的數(shù)學(xué)模型的人。
下面是數(shù)據(jù)科學(xué)家完成的一些例子:
- 評估統(tǒng)計學(xué)模型來決定分析有效性
- 使用機器學(xué)習(xí)來建設(shè)更好的預(yù)測算法
- 測試和持續(xù)提升模型精確度
- 進行數(shù)據(jù)可視化來概括分析的結(jié)論
數(shù)據(jù)科學(xué)家為預(yù)測和理解數(shù)據(jù)帶來了一種完全嶄新的方式。雖然數(shù)據(jù)分析師可能也可以去描述趨勢和為商業(yè)團隊傳遞這些結(jié)果。但是數(shù)據(jù)科學(xué)家能剔除新的問題并且可以去建模來做出對新數(shù)據(jù)的預(yù)測。
什么是數(shù)據(jù)工程師?
數(shù)據(jù)工程師建設(shè)和優(yōu)化系統(tǒng)。這些系統(tǒng)幫助數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師開展他們的工作。每一個公司里面和數(shù)據(jù)打交道的人都需要依賴于這些數(shù)據(jù)是準(zhǔn)確的和可獲取的。數(shù)據(jù)工程師保證任何數(shù)據(jù)都是正??山邮盏?,可轉(zhuǎn)換的,可存儲的并且對于使用者來說是可獲取的。
深度解析數(shù)據(jù)工程師
數(shù)據(jù)工程師建立了數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家依賴的基礎(chǔ)。數(shù)據(jù)工程師對構(gòu)造數(shù)據(jù)管道并且經(jīng)常需要去使用復(fù)雜的工具和技術(shù)來管理數(shù)據(jù)負(fù)責(zé)。不想前面說的兩個事業(yè)的路徑,數(shù)據(jù)工程師更多的是朝著軟件開發(fā)能力上學(xué)習(xí)和提升。
在比較大的組織中,數(shù)據(jù)工程師需要關(guān)注不同的方面:比如使用數(shù)據(jù)的工具,維護數(shù)據(jù)庫,創(chuàng)建和管理數(shù)據(jù)管道。不管側(cè)重于什么,一個好的數(shù)據(jù)工程師能夠保證數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師專注于解決分析方面的問題,而不是一個數(shù)據(jù)源一個數(shù)據(jù)源的去移動、操作數(shù)據(jù)。
數(shù)據(jù)工程師往往更加注重建設(shè)和優(yōu)化。下面的任務(wù)的示例是數(shù)據(jù)工程師通常的工作:
- 為數(shù)據(jù)消費開發(fā)API
- 在現(xiàn)存的數(shù)據(jù)管道中整合數(shù)據(jù)集
- 在新數(shù)據(jù)上運用特征轉(zhuǎn)換提供給機器學(xué)習(xí)模型
- 持續(xù)不斷的監(jiān)控和測試系統(tǒng)保證性能優(yōu)化
你的數(shù)據(jù)驅(qū)動的事業(yè)路徑:
現(xiàn)在你已經(jīng)了解了這三種數(shù)據(jù)驅(qū)動的工作了,但是問題還在,你適合哪一種呢?雖然都是和數(shù)據(jù)相關(guān),但是這三種工作是截然不同的。
數(shù)據(jù)工程師主要工作在后端。持續(xù)的提升數(shù)據(jù)管道來保證數(shù)據(jù)的精確和可獲取。他們一般利用不同的工具來保證數(shù)據(jù)被正確的處理了,并且當(dāng)用戶要使用數(shù)據(jù)的時候保證數(shù)據(jù)是可用的。一個好的的數(shù)據(jù)工程師會為組織節(jié)省很多的時間和精力。
數(shù)據(jù)分析師一般用數(shù)據(jù)工程師提供的現(xiàn)成的接口來抽取新的數(shù)據(jù),然后取發(fā)現(xiàn)數(shù)據(jù)中的趨勢。同時也要分析異常情況。數(shù)據(jù)分析師以一種清晰的方式來概括和提出他們的結(jié)果來讓非技術(shù)的團隊更好的理解他們現(xiàn)在在做的東西。
***,數(shù)據(jù)科學(xué)家更傾向于基于分析的發(fā)現(xiàn)和在更多可能性上的調(diào)查來獲得方向。不管是訓(xùn)練模型還是進行統(tǒng)計分析,數(shù)據(jù)科學(xué)家試圖去對未來要發(fā)生的可能性提出一個更好的預(yù)測。
不管你的特殊的路徑是什么,好奇心都是這三個職業(yè)最本質(zhì)的要求。使用數(shù)據(jù)來更好的提問和進行精確的實驗是數(shù)據(jù)驅(qū)動事業(yè)的全部目標(biāo)。此外,數(shù)據(jù)科學(xué)家領(lǐng)域是不斷的進化的,你必須要有強大的能力去持續(xù)不斷的學(xué)習(xí)。
有一句話叫做三人行必有我?guī)?,其實做為一個開發(fā)者,有一個學(xué)習(xí)的氛圍跟一個交流圈子特別重要這是一個我的大數(shù)據(jù)交流學(xué)習(xí)群531629188不管你是小白還是大牛歡迎入駐,正在求職的也可以加入,大家一起交流學(xué)習(xí),話糙理不糙,互相學(xué)習(xí),共同進步,一起加油吧。