一份關(guān)于數(shù)據(jù)科學(xué)家應(yīng)該具備的技能清單
大數(shù)據(jù)時代,什么職業(yè)比較吃香?答案可以從今年的校招薪資列表上知道——算法工程師、人工智能研究員、數(shù)據(jù)分析等職位。其實這幾個職位有一定的交集,那就是需要處理大量的數(shù)據(jù),尤其是作為一名數(shù)據(jù)科學(xué)家,主要的工作在處理數(shù)據(jù)和分析數(shù)據(jù)上面,也有部分工作與算法工程師和人工智能研究員相重疊,其所占的優(yōu)勢在于對數(shù)據(jù)更加敏感。那么作為一名數(shù)據(jù)科學(xué)家,應(yīng)該具備的技能有哪些呢?本文將一窺究竟。

1.學(xué)歷
數(shù)據(jù)科學(xué)家一般都具有高學(xué)歷——88%的數(shù)據(jù)科學(xué)家至少是碩士學(xué)位,46%的數(shù)據(jù)科學(xué)家是博士學(xué)位,這表明想要成為一名數(shù)據(jù)科學(xué)家需要非常好的教育背景(知識了解深入)。常見的專業(yè)是計算機科學(xué)、社會科學(xué)、物理科學(xué)和統(tǒng)計學(xué)。最常見的研究領(lǐng)域是數(shù)學(xué)和統(tǒng)計(32%),其次是計算機科學(xué)(19%)和工程應(yīng)用(16%)。在攻讀上述學(xué)位中學(xué)習(xí)到的專業(yè)知識都將為您提供處理和分析大數(shù)據(jù)所需的技能。
在取得學(xué)位后就可以高枕無憂了嗎?答案是否定的,現(xiàn)在是終生學(xué)習(xí)的時代。事實上,大多數(shù)數(shù)據(jù)科學(xué)家在擁有碩士學(xué)位或博士學(xué)位后,還不斷通過在線訓(xùn)練以學(xué)習(xí)如何使用Hadoop或大數(shù)據(jù)查詢等特殊技能。
2.R編程語言
對于數(shù)據(jù)科學(xué)家而言,R語言通常是首選編程語言。R語言是專門為數(shù)據(jù)科學(xué)需求而設(shè)計的,可以使用R語言來解決在數(shù)據(jù)科學(xué)中遇到的任何問題。事實上,43%的數(shù)據(jù)科學(xué)家正在使用R語言來解決統(tǒng)計問題。
但是學(xué)習(xí)R語言時有一個障礙,那就是如果你已經(jīng)掌握了一門其它編程語言,那學(xué)起來是很痛苦的。盡管如此,互聯(lián)網(wǎng)上有很多R語言學(xué)習(xí)資源,例如Simplilearn的數(shù)據(jù)科學(xué)訓(xùn)練和R編程語言。
技術(shù)類技能:計算機科學(xué)
3.Python編程
Python語言近來很火,隨著人工智能以及深度學(xué)習(xí)的發(fā)展,Python已經(jīng)超越Java語言成為編程中最常用的語言。Python也是在數(shù)據(jù)科學(xué)中常見的編碼語言,據(jù)調(diào)查,40%的受訪者使用Python作為其主要編程語言。
由于Python的多功能性,可以將其用于所有涉及數(shù)據(jù)科學(xué)過程的步驟。比如,Python可以采用各種格式的數(shù)據(jù),并且可以輕松地將SQL表導(dǎo)入到代碼中。此外,還允許創(chuàng)建數(shù)據(jù)集。
4.Hadoop平臺
CrowdFlower對3490 名領(lǐng)英上注冊的數(shù)據(jù)科學(xué)家進行了一次調(diào)查,發(fā)現(xiàn)49%的數(shù)據(jù)科學(xué)家將Apache Hadoop列為第二項重要技能。
作為一名數(shù)據(jù)科學(xué)家,可能會遇到擁有的數(shù)據(jù)量超出了系統(tǒng)的內(nèi)存,或者需要將數(shù)據(jù)發(fā)送到不同的服務(wù)器的問題,這些問題都可以通過Hadoop解決——使用Hadoop對數(shù)據(jù)進行分布式處理。此外,還可以使用Hadoop進行數(shù)據(jù)挖掘、數(shù)據(jù)過濾、數(shù)據(jù)采樣和匯總。
5.SQL數(shù)據(jù)庫/編程
盡管NoSQL和Hadoop已經(jīng)成為數(shù)據(jù)科學(xué)的一個重要組成部分,但有些人仍然可以在SQL中編寫和執(zhí)行復(fù)雜的查詢。SQL(結(jié)構(gòu)化查詢語言)是一種編程語言,可以執(zhí)行諸如添加、刪除和從數(shù)據(jù)庫提取數(shù)據(jù)等操作,還可以執(zhí)行分析功能并轉(zhuǎn)換數(shù)據(jù)庫結(jié)構(gòu)。
作為一名數(shù)據(jù)科學(xué)家,需要精通SQL。這是因為SQL專門設(shè)計用于訪問、通信和處理數(shù)據(jù)。當(dāng)使用它來查詢數(shù)據(jù)庫時,它會提供見解。此外,由于其簡潔的命令,可以節(jié)省時間并減少執(zhí)行困難查詢時所需的編程量。
6.Apache Spark
Apache Spark正成為全球最受歡迎的大數(shù)據(jù)技術(shù)。它類似于Hadoop,是一個大數(shù)據(jù)計算框架。唯一的區(qū)別是Spark比Hadoop更快。這是因為Hadoop需要讀取和寫入磁盤,而Spark將其計算緩存在內(nèi)存中,這類似于機械硬盤與SSD的區(qū)別。
Apache Spark專為數(shù)據(jù)科學(xué)而設(shè)計,能更快地運行復(fù)雜的算法。當(dāng)處理大量數(shù)據(jù)時,它有助于傳播數(shù)據(jù)處理,從而節(jié)省時間。此外,還能處理復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)集。
Apache Spark的優(yōu)勢在于其速度,利用該平臺使得開展數(shù)據(jù)科學(xué)項目變得非常容易。借助Apache Spark,可以執(zhí)行從數(shù)據(jù)采集到分布式計算的分析。
7.機器學(xué)習(xí)和人工智能
許多數(shù)據(jù)科學(xué)家并沒有精通機器學(xué)習(xí)領(lǐng)域相關(guān)知識和技術(shù),比如神經(jīng)網(wǎng)絡(luò)、強化學(xué)習(xí)、對抗學(xué)習(xí)等。如果想從數(shù)據(jù)科學(xué)家中脫穎而出的話,需要了解機器學(xué)習(xí)技術(shù),如監(jiān)督學(xué)習(xí)、決策樹、邏輯回歸等,這些技術(shù)將幫助你解決基于已有的數(shù)據(jù)和結(jié)果來預(yù)測不同數(shù)據(jù)科學(xué)問題。
數(shù)據(jù)科學(xué)需要在機器學(xué)習(xí)的不同領(lǐng)域應(yīng)用技能,Kaggle在其調(diào)查中發(fā)現(xiàn),一小部分?jǐn)?shù)據(jù)專業(yè)人員掌握了高級機器學(xué)習(xí)技能,如監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、時間序列、自然語言處理、異常檢測、計算機視覺、推薦引擎、生存分析、強化學(xué)習(xí)和對抗學(xué)習(xí)等。
8.數(shù)據(jù)可視化
大數(shù)據(jù)時代,數(shù)據(jù)很多很亂,有些原始數(shù)據(jù)需要翻譯成易于理解的格式。人們自然而然地以圖表的形式展示數(shù)據(jù)所要表達的意思,“一張圖片勝過千言萬語”。
作為一名數(shù)據(jù)科學(xué)家,必須能夠借助數(shù)據(jù)可視化工具(如ggplot、d3.js和Matplottlib以及Tableau)來可視化數(shù)據(jù),這些工具能將項目的復(fù)雜結(jié)果轉(zhuǎn)換為易于理解的格式。
數(shù)據(jù)可視化為組織提供了直接處理數(shù)據(jù)的機會,可以迅速掌握見解,幫助他們抓住新的商業(yè)機會并保持領(lǐng)先地位。
9.非結(jié)構(gòu)化數(shù)據(jù)
數(shù)據(jù)科學(xué)家能夠處理非結(jié)構(gòu)化數(shù)據(jù)至關(guān)重要,非結(jié)構(gòu)化數(shù)據(jù)是不適合定義為數(shù)據(jù)庫的形式,比如視頻、博客文章、客戶評論、社交媒體文章、視頻文件、音頻等,對這些類型的數(shù)據(jù)進行排序很困難。
由于非結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜性,大多數(shù)人將非結(jié)構(gòu)化數(shù)據(jù)稱為“黑暗分析(dark analytics)”。使用非結(jié)構(gòu)化數(shù)據(jù)有助于揭示對決策制定有用的見解。作為數(shù)據(jù)科學(xué)家,必須有能力理解和操縱非結(jié)構(gòu)化數(shù)據(jù)。
非技術(shù)類技能
10.好奇心
我沒有特殊的才能,我只是充滿了好奇心——愛因斯坦。
好奇心可以被定義為渴望獲得更多的知識,作為一名數(shù)據(jù)科學(xué)家,需要能夠提出有關(guān)數(shù)據(jù)的問題,因為數(shù)據(jù)科學(xué)家將大約80%的時間用于發(fā)現(xiàn)和準(zhǔn)備數(shù)據(jù)。由于數(shù)據(jù)科學(xué)領(lǐng)域是一個發(fā)展非常迅速的領(lǐng)域,必須學(xué)習(xí)更多知識以保持不落伍。
通過在線閱讀內(nèi)容并閱讀關(guān)于數(shù)據(jù)科學(xué)趨勢的相關(guān)書籍來定期更新知識,不要被互聯(lián)網(wǎng)上的大量數(shù)據(jù)所淹沒,必須能夠知道如何理解這一切。好奇心是作為數(shù)據(jù)科學(xué)家取得成功所需的技能之一。例如,第一次看到收集到的數(shù)據(jù)時,不知道這些數(shù)據(jù)有什么意義。但好奇心將幫助你篩選數(shù)據(jù)以找到答案和更多見解。這就像兩個人相親一樣,只有當(dāng)你對另一方感到好奇時,才會深入的了解下去。
11.商業(yè)頭腦
要成為一名數(shù)據(jù)科學(xué)家,需要對所從事的行業(yè)有深入的了解,并了解公司正在努力解決的業(yè)務(wù)問題。在數(shù)據(jù)科學(xué)方面,除了找出業(yè)務(wù)應(yīng)該利用其數(shù)據(jù)的新方式之外,能夠辨別哪些問題對于解決業(yè)務(wù)問題至關(guān)重要。
為了做到這一點,必須了解要解決的問題會如何影響業(yè)務(wù),這就是為什么需要了解企業(yè)的運作方式,以便能夠朝正確的方向努力。
12.溝通能力
一些公司正在尋找具有很好溝通能力的數(shù)據(jù)科學(xué)家,他們能夠清晰流利地將技術(shù)發(fā)現(xiàn)傳遞給非技術(shù)團隊的人員,比如市場營銷部門或銷售部門。數(shù)據(jù)科學(xué)家除了理解非技術(shù)同事的需求以便適當(dāng)?shù)卣{(diào)整數(shù)據(jù)外,還必須做出相關(guān)的決定。
除了說同一種語言外,還需要使用數(shù)據(jù)以講故事的方式交流。作為一名數(shù)據(jù)科學(xué)家,必須知道如何創(chuàng)建一個圍繞數(shù)據(jù)的故事情節(jié),以方便任何人都能理解。例如,呈現(xiàn)數(shù)據(jù)表格不如以故事形式分享這些數(shù)據(jù)的見解。講故事可以幫助你將你的發(fā)現(xiàn)與雇主正確溝通。
溝通時,請注意分析數(shù)據(jù)的結(jié)果,大多數(shù)企業(yè)主并不想知道你分析的具體內(nèi)容,而是對如何積極影響其業(yè)務(wù)感興趣。學(xué)會專注于提供價值并通過溝通建立持久的關(guān)系。
13.團隊合作
數(shù)據(jù)科學(xué)家不可能單打獨斗,而是不得不與公司高管合作制定策略、與產(chǎn)品經(jīng)理和設(shè)計師合作創(chuàng)造更好的產(chǎn)品、與營銷人員一起推出更好的轉(zhuǎn)換活動、與客戶端和服務(wù)器軟件開發(fā)人員共同創(chuàng)建數(shù)據(jù)管道并改善工作流程。數(shù)據(jù)科學(xué)家必須與組織中的每個人一起工作,包括客戶。
從本質(zhì)上講,數(shù)據(jù)科學(xué)家將與團隊成員合作開發(fā)用例,以了解解決問題所需的業(yè)務(wù)目標(biāo)和數(shù)據(jù)。需要知道解決用例的正確方法、解決問題所需的數(shù)據(jù)以及如何將結(jié)果呈現(xiàn)為所涉及的每個人都可以輕松理解的內(nèi)容。