過(guò)年期間，小芯努力學(xué)習(xí)了一些數(shù)據(jù)科學(xué)技能，作為數(shù)據(jù)領(lǐng)域的人，最終總會(huì)閱讀并了解很多很多東西。

數(shù)據(jù)科學(xué)對(duì)小芯來(lái)說(shuō)，是一種力量，能使企業(yè)和利益相關(guān)者做出明智的決策，并用數(shù)據(jù)解決問(wèn)題。

如今，不是每個(gè)技術(shù)專(zhuān)家都對(duì)其他技能充滿熱情，但都會(huì)對(duì)自己工作領(lǐng)域的技能充滿熱情。數(shù)據(jù)科學(xué)家也是如此。新的一年，隨著新技術(shù)趨勢(shì)和更重大挑戰(zhàn)出現(xiàn)，技術(shù)基礎(chǔ)必須夯實(shí)。

下面是小芯整理出來(lái)的最新鮮的2020年數(shù)據(jù)科學(xué)家所需的10大技能，排序不分先后!

[[314731]]

1. 數(shù)據(jù)庫(kù)管理

對(duì)筆者來(lái)說(shuō)，數(shù)據(jù)科學(xué)家是不一樣的存在，他們需要掌握所有知識(shí)，包括數(shù)學(xué)、統(tǒng)計(jì)、編程、數(shù)據(jù)管理、可視化，以及定義非“完整堆棧”。

正如筆者前面提到的，80%的工作在于準(zhǔn)備數(shù)據(jù)，以便能在項(xiàng)目環(huán)境中對(duì)數(shù)據(jù)進(jìn)行處理。需要處理大量數(shù)據(jù)時(shí)，數(shù)據(jù)科學(xué)家要知道管理這些數(shù)據(jù)是非常重要的。

數(shù)據(jù)庫(kù)管理本質(zhì)上由一組可以編輯、索引和操作數(shù)據(jù)庫(kù)的程序組成。數(shù)據(jù)庫(kù)管理系統(tǒng)接受來(lái)自應(yīng)用程序的數(shù)據(jù)請(qǐng)求，并指示操作系統(tǒng)提供所需的特定數(shù)據(jù)。在大型系統(tǒng)中，數(shù)據(jù)庫(kù)管理系統(tǒng)幫助用戶在任何給定的時(shí)間點(diǎn)存儲(chǔ)和檢索數(shù)據(jù)。

數(shù)據(jù)庫(kù)管理能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 定義、檢索和管理數(shù)據(jù)庫(kù)中的數(shù)據(jù)
• 操縱數(shù)據(jù)本身、數(shù)據(jù)格式、字段名、記錄結(jié)構(gòu)和文件結(jié)構(gòu)
• 定義寫(xiě)入、驗(yàn)證和測(cè)試數(shù)據(jù)的規(guī)則
• 在數(shù)據(jù)庫(kù)的記錄層操作
• 支持多用戶環(huán)境并行訪問(wèn)及操作數(shù)據(jù)

一些流行的數(shù)據(jù)庫(kù)管理系統(tǒng)包括：MySQL、SQL服務(wù)器、Oracle、IBM DB2、PostgreSQL和NoSQL數(shù)據(jù)庫(kù)(Mongo數(shù)據(jù)庫(kù)、Couch數(shù)據(jù)庫(kù)、Dynamo數(shù)據(jù)庫(kù)、H庫(kù)、Neo4j、Cassandra、Redis)

2. 機(jī)器學(xué)習(xí)/深度學(xué)習(xí)

如果你工作的公司管理并操作大量數(shù)據(jù)，并且決策過(guò)程是以數(shù)據(jù)為中心的，那么你可能需要掌握機(jī)器學(xué)習(xí)這一技能。機(jī)器學(xué)習(xí)是數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)的一個(gè)子集，就像統(tǒng)計(jì)學(xué)或概率一樣，它有助于數(shù)據(jù)建模和獲得結(jié)果。

面向數(shù)據(jù)科學(xué)的機(jī)器學(xué)習(xí)包括對(duì)機(jī)器學(xué)習(xí)至關(guān)重要的算法;KNN最近鄰算法，隨機(jī)森林，樸素貝葉斯，回歸模型，PyTorch、TensorFlow和Keras在數(shù)據(jù)科學(xué)機(jī)器學(xué)習(xí)中的也都很有用。

機(jī)器學(xué)習(xí)能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 欺詐監(jiān)測(cè)和風(fēng)險(xiǎn)管理
• 醫(yī)療保健(蓬勃發(fā)展的數(shù)據(jù)科學(xué)領(lǐng)域之一!遺傳學(xué)、基因組學(xué)、圖像分析)
• 航線規(guī)劃
• 垃圾郵件自動(dòng)過(guò)濾
• 面部和語(yǔ)音識(shí)別系統(tǒng)
• 改進(jìn)的交互式語(yǔ)音響應(yīng)(IVR)
• 全面的語(yǔ)言和文檔識(shí)別和翻譯

3. 數(shù)據(jù)可視化

數(shù)據(jù)可視化實(shí)際上意味著什么?對(duì)筆者來(lái)說(shuō)，它是數(shù)據(jù)中發(fā)現(xiàn)的圖形表示。可視化可以有效地溝通，并引導(dǎo)用戶探索得出結(jié)論。

筆者是數(shù)據(jù)可視化的核心人物。可視化使筆者可以從數(shù)據(jù)中構(gòu)思出故事，并創(chuàng)建全面的展示。數(shù)據(jù)可視化是更重要的技能之一，因?yàn)樗粌H僅反映最終的結(jié)果，還能理解并學(xué)習(xí)數(shù)據(jù)及數(shù)據(jù)的脆弱性。

把事物形象地描繪出來(lái)總是好的;真正的價(jià)值已經(jīng)確立和理解了。創(chuàng)建可視化時(shí)，肯定會(huì)得到有意義的信息，令人驚訝的是，這些信息竟然可以影響系統(tǒng)。

直方圖、條形圖、餅圖、散點(diǎn)圖、折線圖、時(shí)間序列圖、關(guān)系圖、熱圖、地理圖、三維圖以及一長(zhǎng)串可用于數(shù)據(jù)的可視化列表。如需更詳細(xì)的列表，請(qǐng)?jiān)L問(wèn)此處。

數(shù)據(jù)可視化能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 為強(qiáng)大的觀點(diǎn)繪制數(shù)據(jù)
• 確定未知變量之間的關(guān)系
• 可視化需要關(guān)注或需要改進(jìn)的領(lǐng)域
• 確定影響客戶行為的因素
• 了解將哪些產(chǎn)品放在哪里
• 顯示來(lái)自新聞、關(guān)系、網(wǎng)站、社交媒體的趨勢(shì)
• 可視化信息量
• 客戶報(bào)告、員工績(jī)效、季度銷(xiāo)售映射
• 針對(duì)用戶群體設(shè)計(jì)營(yíng)銷(xiāo)策略

一些流行的數(shù)據(jù)可視化工具包括：Tableau、PowerBI、QlikView、谷歌分析(用于網(wǎng)絡(luò))、微軟Excel、Plotly、融合圖表、SAS

4. 多元微積分&線性代數(shù)

大多數(shù)機(jī)器學(xué)習(xí)，無(wú)一例外都是數(shù)據(jù)科學(xué)模型，都是由幾個(gè)預(yù)測(cè)因子或未知變量構(gòu)成的。多元微積分知識(shí)對(duì)建立機(jī)器學(xué)習(xí)模型有重要意義。以下是一些在數(shù)據(jù)科學(xué)工作中常見(jiàn)的數(shù)學(xué)話題：

• 導(dǎo)數(shù)和梯度
• 階躍函數(shù)、S型函數(shù)、邏輯函數(shù)、ReLU函數(shù)
• 成本函數(shù)(最重要)
• 函數(shù)繪制
• 函數(shù)的最小值和最大值
• 標(biāo)量、向量、矩陣和張量函數(shù)

5. 微軟Excel表

眾所周知，微軟的電子表格可能是處理數(shù)據(jù)最好用并且最流行的工具之一。還可能會(huì)聽(tīng)到，“嘿，你收到老板發(fā)來(lái)的Excel表了嗎?”等一下，本文不是在討論數(shù)據(jù)科學(xué)的技能嗎?Excel?筆者總認(rèn)為一定有什么簡(jiǎn)單的方法來(lái)管理數(shù)據(jù)。隨著用Excel進(jìn)行數(shù)據(jù)管理的經(jīng)驗(yàn)積累，筆者意識(shí)到，Excel是:

• 2D數(shù)據(jù)的最佳編輯
• 對(duì)高級(jí)數(shù)據(jù)進(jìn)行分析的基礎(chǔ)平臺(tái)
• 在Python中實(shí)現(xiàn)與運(yùn)行中Excel表的實(shí)時(shí)連接
• 讓你可以在任何時(shí)候做任何你想做的事，并保存你喜歡的版本
• 使數(shù)據(jù)操作相對(duì)簡(jiǎn)單

如今，大多數(shù)非技術(shù)人員經(jīng)常使用Excel表替代數(shù)據(jù)庫(kù)。這可能是一個(gè)錯(cuò)誤的用法，因?yàn)镋xcel表在某種程度上缺乏版本控制、準(zhǔn)確性、可再現(xiàn)性或可維護(hù)性。然而，Excel所能做的也令人驚訝!

Excel能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 命名并創(chuàng)建范圍
• 過(guò)濾、排序、合并、修剪數(shù)據(jù)
• 創(chuàng)建透視表和圖表
• Visual Basic for Applications (VBA)[如果你還不知道這是什么的話，谷歌一下。這是微軟的超能力，在這里三言兩語(yǔ)說(shuō)不清楚。VBA是Excel的編程語(yǔ)言，使你可以運(yùn)行循環(huán)、宏，if..else語(yǔ)句]
• 清除數(shù)據(jù)：刪除重復(fù)值，在絕對(duì)、混合和相對(duì)之間更改引用
• 在數(shù)千條記錄中查找所需數(shù)據(jù)

6. DevOps

頂級(jí)數(shù)據(jù)公司" src="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" _fcksavedurl="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" width="640" height="314">

筆者一直聽(tīng)說(shuō)并相信數(shù)據(jù)科學(xué)是為懂?dāng)?shù)學(xué)、統(tǒng)計(jì)學(xué)、算法和數(shù)據(jù)管理的人而設(shè)的。不久前，筆者遇到了一個(gè)在核心開(kāi)發(fā)方面有超過(guò)6年經(jīng)驗(yàn)的人，他正在探索數(shù)據(jù)科學(xué)領(lǐng)域的職業(yè)轉(zhuǎn)變。筆者出于好奇心研究了DevOps是否以及如何成為數(shù)據(jù)科學(xué)的一部分。雖然筆者對(duì)DevOps知之甚少(實(shí)際上，是什么都不知道)，但有一點(diǎn)是肯定的：DevOps對(duì)數(shù)據(jù)科學(xué)越來(lái)越重要。

DevOps是一套將軟件開(kāi)發(fā)和信息技術(shù)操作相結(jié)合的方法，旨在縮短開(kāi)發(fā)生命周期并提供高質(zhì)量軟件的不間斷交付。

DevOps團(tuán)隊(duì)與開(kāi)發(fā)團(tuán)隊(duì)密切合作，有效地管理應(yīng)用程序的生命周期。數(shù)據(jù)轉(zhuǎn)換要求數(shù)據(jù)科學(xué)團(tuán)隊(duì)與DevOps密切合作。DevOps團(tuán)隊(duì)預(yù)計(jì)將使用高可用性的Apache Hadoop、Apache Kafka、Apache Spark和Apache Airflow集群來(lái)處理數(shù)據(jù)提取和轉(zhuǎn)換。

DevOps 會(huì)為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 提供、配置、擴(kuò)展和管理數(shù)據(jù)集群
• 通過(guò)持續(xù)集成、部署和監(jiān)控?cái)?shù)據(jù)來(lái)管理信息基礎(chǔ)架構(gòu)
• 創(chuàng)建腳本，自動(dòng)為各種環(huán)境調(diào)配和配置基礎(chǔ)。

7. 概率&統(tǒng)計(jì)

數(shù)據(jù)科學(xué)是關(guān)于如何使用資本過(guò)程、算法或系統(tǒng)從數(shù)據(jù)中提取信息、見(jiàn)解等，以做出明智的決策。在這種情況下，做出推論、估計(jì)或預(yù)測(cè)就構(gòu)成了數(shù)據(jù)科學(xué)的重要部分。

在統(tǒng)計(jì)方法的幫助下，概率有助于為進(jìn)一步分析作出預(yù)估。統(tǒng)計(jì)學(xué)主要依賴于概率論。簡(jiǎn)而言之，概率與統(tǒng)計(jì)兩者相互交織。

概率和統(tǒng)計(jì)能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 探索并了解更多的數(shù)據(jù)信息
• 確定兩個(gè)變量之間可能存在的潛在關(guān)系或依賴關(guān)系
• 預(yù)測(cè)未來(lái)趨勢(shì)或基于之前的數(shù)據(jù)趨勢(shì)來(lái)預(yù)測(cè)趨勢(shì)
• 確定數(shù)據(jù)的模式或動(dòng)機(jī)
• 發(fā)現(xiàn)數(shù)據(jù)中的異常

尤其是對(duì)于數(shù)據(jù)驅(qū)動(dòng)型公司來(lái)說(shuō)，利益相關(guān)者依賴數(shù)據(jù)進(jìn)行決策和設(shè)計(jì)/評(píng)估數(shù)據(jù)模型，概率和統(tǒng)計(jì)是數(shù)據(jù)科學(xué)不可或缺的部分。

8. 編程、軟件包和軟件

當(dāng)然!數(shù)據(jù)科學(xué)本質(zhì)上是關(guān)于編程的。數(shù)據(jù)科學(xué)領(lǐng)域的編程技能匯集了能夠?qū)⒃紨?shù)據(jù)轉(zhuǎn)化為可操作見(jiàn)解的所有基本技能。雖然對(duì)編程的語(yǔ)言選擇沒(méi)有具體規(guī)則，但Python和R是最受歡迎的。

對(duì)于編程語(yǔ)言的偏好或平臺(tái)選擇，筆者并不執(zhí)著。數(shù)據(jù)科學(xué)家只是選擇一種編程語(yǔ)言來(lái)解決手頭的問(wèn)題。然而，Python似乎已經(jīng)成了數(shù)據(jù)科學(xué)的通用語(yǔ)言。

這里有一個(gè)編程語(yǔ)言列表和一些可供數(shù)據(jù)科學(xué)選擇的軟件包，順序不分先后：

• Python
• R
• SQL
• Java
• Julia
• Scala
• MATLAB
• TensorFlow (非常適合Python中的數(shù)據(jù)科學(xué))

并且，本文不是在寫(xiě)能用數(shù)據(jù)科學(xué)的編程技能做什么

下文全都是關(guān)于編碼的。如果沒(méi)有編碼經(jīng)驗(yàn)或不熟悉編碼知識(shí)，數(shù)據(jù)科學(xué)將會(huì)很困難。因此，筆者總喜歡先溫習(xí)Python技能，閱讀項(xiàng)目相關(guān)文獻(xiàn)，然后才開(kāi)始構(gòu)建代碼。

9. 數(shù)據(jù)爭(zhēng)論

通常，企業(yè)需要或接收的數(shù)據(jù)還并不適合用于建模。因此，非常有必要理解并掌握如何處理不完美的數(shù)據(jù)。

數(shù)據(jù)爭(zhēng)論是為做進(jìn)一步分析準(zhǔn)備數(shù)據(jù)的過(guò)程;將原始數(shù)據(jù)從一種形式轉(zhuǎn)換和映射到另一種形式，為深入了解數(shù)據(jù)做準(zhǔn)備。對(duì)于數(shù)據(jù)爭(zhēng)論，基本上就是獲取數(shù)據(jù)，合并相關(guān)字段，然后清理數(shù)據(jù)。

數(shù)據(jù)爭(zhēng)論能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 通過(guò)從多個(gè)渠道收集數(shù)據(jù)，揭示數(shù)據(jù)中的深層智能
• 及時(shí)、準(zhǔn)確地描述企業(yè)和數(shù)據(jù)分析師手中可操作數(shù)據(jù)
• 減少處理時(shí)間、響應(yīng)時(shí)間以及收集、組織不規(guī)則數(shù)據(jù)所花費(fèi)的時(shí)間
• 使數(shù)據(jù)科學(xué)家能夠更加關(guān)注數(shù)據(jù)分析，而不是數(shù)據(jù)清理部分
• 領(lǐng)導(dǎo)數(shù)據(jù)驅(qū)動(dòng)的決策過(guò)程，朝著準(zhǔn)確數(shù)據(jù)支持的方向發(fā)展

10. 云計(jì)算

數(shù)據(jù)科學(xué)的實(shí)踐通常包括使用云計(jì)算產(chǎn)品和服務(wù)來(lái)幫助數(shù)據(jù)專(zhuān)業(yè)人員訪問(wèn)管理和處理數(shù)據(jù)所需的資源。[customerthink.com]數(shù)據(jù)科學(xué)家的日常通常包括分析和可視化存儲(chǔ)在云中的數(shù)據(jù)。

你可能已經(jīng)了解到數(shù)據(jù)科學(xué)和云計(jì)算是相輔相成的，這通常是因?yàn)樵朴?jì)算幫助數(shù)據(jù)科學(xué)家使用諸如AWS、Azure、谷歌云等平臺(tái)，通過(guò)這些平臺(tái)能夠訪問(wèn)數(shù)據(jù)庫(kù)、框架、編程語(yǔ)言和操作工具。

熟悉數(shù)據(jù)科學(xué)包括與大量數(shù)據(jù)的交互這一事實(shí)，鑒于工具和平臺(tái)的規(guī)模和可用性，理解云計(jì)算的概念對(duì)數(shù)據(jù)科學(xué)家來(lái)說(shuō)不僅是一項(xiàng)相關(guān)技能，也是一項(xiàng)關(guān)鍵技能。

云計(jì)算能為數(shù)據(jù)科學(xué)帶來(lái)什么?

• 數(shù)據(jù)采集
• 解析、管理、爭(zhēng)論、轉(zhuǎn)換、分析和數(shù)據(jù)殺毒
• 數(shù)據(jù)挖掘[探索性數(shù)據(jù)分析(EDA)，匯總統(tǒng)計(jì)，…
• 驗(yàn)證和測(cè)試預(yù)測(cè)模型、推薦系統(tǒng)和諸如此類(lèi)的模型
• 調(diào)整數(shù)據(jù)變量并優(yōu)化模型性能

一些流行的數(shù)據(jù)科學(xué)云平臺(tái)包括亞馬遜網(wǎng)絡(luò)服務(wù)、WindowsAzure、谷歌云或IBM云。筆者有時(shí)還讀到，有人在嘗試阿里巴巴云，這聽(tīng)起來(lái)很有趣。

你具備以上技能嗎?