一、Python 生態(tài)的重要性

Why Python

Python has grown to become the dominant language both in data analytics, and general programming。

根據(jù)技術(shù)問答網(wǎng)站stack overflow統(tǒng)計(jì)，Python、C#、Javascript、java、php、C++、SQL、R、statistics這些編程語言從2009年至2021年的趨勢圖如下圖所示?？梢钥闯鯬ython的趨勢是呈現(xiàn)上漲趨勢，特別是在數(shù)據(jù)分析和數(shù)據(jù)科學(xué)領(lǐng)域，幾乎是top one的編程語言。這是Python生態(tài)的發(fā)展趨勢。當(dāng)然，在數(shù)據(jù)分析數(shù)據(jù)科學(xué)機(jī)器學(xué)習(xí)這個領(lǐng)域，不只是有編程語言這一個因素。

統(tǒng)計(jì)來自 https://insights.stackoverflow.com/trends

數(shù)據(jù)科學(xué)技術(shù)棧

在數(shù)據(jù)科學(xué)領(lǐng)域編程語言只是一個方面，語言不止包含Python，也有數(shù)據(jù)分析人員用SQL，或者傳統(tǒng)分析語言R，或者是函數(shù)式編程語言Scala。第二個方面需要有數(shù)據(jù)分析對應(yīng)的庫，比如NumPy、pandas等，或者是基于可視化的庫會在里面。Python運(yùn)行的集群還會有一些運(yùn)維的技術(shù)棧在里面，比如可以運(yùn)行在docker或者是kubernetes上。如果要做數(shù)據(jù)分析數(shù)據(jù)科學(xué)，前期需要對數(shù)據(jù)進(jìn)行清洗，有一些ETL的過程。有一些清洗不只是一兩步能完成的，需要用工作流去完成整體的ETL的過程。里面涉及到最流行的組件比如Spark，整個工作流調(diào)度Airflow，最終結(jié)果做一個呈現(xiàn)，就需要存儲，一般用PostgreSQL數(shù)據(jù)庫或者內(nèi)存數(shù)據(jù)庫redis，對外再連接一個BI工具，做最終結(jié)果的展示。還有比如機(jī)器學(xué)習(xí)的一些組件或者平臺，TensorFlow、PyTorch等。如果是設(shè)計(jì)到Web開發(fā)，快速搭建起一個前端平臺，還會用的比如Flask等。最后包括一個商業(yè)智能的軟件，比如有BI工具tableau、Power BI，或者是數(shù)據(jù)科學(xué)領(lǐng)域經(jīng)常用到的軟件SaaS。

這就是整個數(shù)據(jù)科學(xué)技術(shù)棧比較完整的一個視圖。我們從編程語言切入，發(fā)現(xiàn)如果要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的數(shù)據(jù)科學(xué)是需要方方面面的考量。

二、MaxCompute 分布式 Python 能力介紹

MaxCompute 分布式 Python 技術(shù) - PyODPS

MaxCompute是一款SaaS模式的云數(shù)據(jù)倉庫，基于MaxCompute是有兼容Python的能力。

PyODPS 是 MaxCompute 的 Python 版本的 SDK， 它提供了對 MaxCompute 對象的基本操作；并提供了 DataFrame 框架(二維表結(jié)構(gòu)，可以進(jìn)行增刪改查操作），能在 MaxCompute 上進(jìn)行數(shù)據(jù)分析。

PyODPS 提交的 SQL 以及 DataFrame作業(yè)都會轉(zhuǎn)換成 MaxCompute SQL 分布式運(yùn)行；如果第三方庫，能以 UDF+SQL 的形式運(yùn)行，也可以分布式運(yùn)行。

如果需要 Python 把作業(yè)拆成子任務(wù)分布式來運(yùn)行，比如大規(guī)模的向量計(jì)算原生 Python 沒有分布式能力，這時候推薦用 MaxCompute Mars。是可以把Python任務(wù)拆分成子任務(wù)進(jìn)行運(yùn)行的框架。

自定義函數(shù)中使用三方包

假如不是單純運(yùn)行Python，需要借助一些Python第三方包，這個MaxCompute也是支持的。

流程如下：

Step1

確定使用到的第三方包

sklearn,scipy

Step2

找到對應(yīng)報(bào)的所有依賴

sklearn,scipy,pytz,pandas,six,python-dateutil

Step3

下載對應(yīng)的三方包（pypi）

python-dateutil-2.6.0.zip,

pytz-2017.2.zip, six-1.11.0.tar.gz,

pandas-0.20.2-cp27-cp27m-manylinux1_x86_64.zip,

scipy-0.19.0-cp27-cp27m-manylinux1_x86_64.zip,

scikit_learn-0.18.1-cp27-cp27m-manylinux1_x86_64.zip

Step4

上傳資源變成MaxCompute的一個Resource對象。

這樣我們?nèi)?chuàng)建函數(shù)，再引用自定義函數(shù)，就能夠使用到第三方包。

自定義函數(shù)代碼

def test(x):    from sklearn import datasets, svm    from scipy import misc    import numpy as np        iris = datasets.load_iris()    clf = svm.LinearSVC()    clf.fit(iris.data, iris.target)    pred = clf.predict([[5.0, 3.6, 1.3, 0.25]])    assert pred[0] == 0    assert misc.face().shape is not None    return x 

MaxCompute 分布式 Python 技術(shù) - Mars

項(xiàng)目名字 Mars

最早是 MatrixandArray；登陸火星

為什么要做 Mars

為大規(guī)?？茖W(xué)計(jì)算設(shè)計(jì)的：大數(shù)據(jù)引擎編程接口對科學(xué)計(jì)算不太友好，框架設(shè)計(jì)不是為科學(xué)計(jì)算模型考慮的
傳統(tǒng)科學(xué)計(jì)算基于單機(jī)，大規(guī)模科學(xué)計(jì)算需要用到超算
Tips科學(xué)計(jì)算：計(jì)算機(jī)梳理數(shù)據(jù)： Excel-> 數(shù)據(jù)庫 (MySQL)-> Hadoop, Spark, MaxCompute 數(shù)據(jù)量有 了很大變化，計(jì)算模型沒有變化，二維表，投影、切片、聚合、篩選和排序，基于關(guān)系代數(shù)，集合論；科學(xué)計(jì)算基礎(chǔ)結(jié)構(gòu)不是二維表：例如圖片2維度，每個像素點(diǎn)不是一個數(shù)字（RGB+α 透明通道）

傳統(tǒng) SQL 模型處理能力不足：線性代數(shù)，行列式的相乘，現(xiàn)有數(shù)據(jù)庫效率低
現(xiàn)狀 R，Numpy 單機(jī)基于單機(jī)； Python 生態(tài)的 Dask 大數(shù)據(jù)到科學(xué)計(jì)算的橋梁

案例

客戶A MaxCompute 現(xiàn)有數(shù)據(jù)，需要針對這些 百億數(shù)據(jù) TB 級別的數(shù)據(jù)相乘；現(xiàn)有 MapReduce 模式性能低；用 Mars 就可以高效的解決；目前是唯一一個大規(guī)模科學(xué)計(jì)算引擎

加速數(shù)據(jù)科學(xué)的新方式

加速數(shù)據(jù)科學(xué)的方式如下圖所示。

基于DASK或者是 MaxCompute Mars其實(shí)是 Scale up 和 Scale out 兼容的方式。在下圖左下代表單機(jī)運(yùn)行Python 的庫做數(shù)據(jù)科學(xué)的一個方式。大規(guī)模超算的思路是Scale up，也就是線上垂直擴(kuò)散，增加硬件能力，比如可以利用多核，當(dāng)前每臺電腦或服務(wù)器上不止一核，包括GPU、TPU、NPU等做深度學(xué)習(xí)的硬件?？梢园裀ython移植到這些硬件上做一些加速。這里的技術(shù)包含比如Modin是做多核加速pandas。在右下，也有一些框架在做分布式Python，比如RAY是螞蟻的一款框架服務(wù)，本質(zhì)上Mars是可以運(yùn)行在RAY上，相當(dāng)于Python生態(tài)的一個調(diào)度，一個kubernetes。DASK也是在做分布式Python，包括Mars。當(dāng)然，最佳的模式是 Scale up 和 Scale out 兩種做一個組合。這樣的好處是，可以做分布式，在單節(jié)點(diǎn)上也可以利用硬件能力。Mars當(dāng)前只能在大規(guī)模集群上，單機(jī)配置在GPU集群。

分布 Python 的設(shè)計(jì)邏輯

Mars本質(zhì)上設(shè)計(jì)思路是把數(shù)據(jù)科學(xué)庫分布式化掉，比如Python，可以把Dataframe做一個拆分，包括Numpy，Scikit-Learn。

把大規(guī)模作業(yè)拆分成小作業(yè)來做分布式計(jì)算。本身框架就是拆成作業(yè)用的，首先客戶端提交一個作業(yè)，Mars框架把作業(yè)拆分，做一個DAG圖，最后匯總收集計(jì)算結(jié)果。

Mars 場景1 CPU和GPU混合計(jì)算

1、安全和金融領(lǐng)域，傳統(tǒng)大數(shù)據(jù)平臺挖掘周期長，資源緊張，等待周期長。

2、Mars DataFrame加速數(shù)據(jù)處理：大規(guī)模排序；統(tǒng)計(jì)；聚合分析。

3、Mars learn 加速無監(jiān)督學(xué)習(xí)；Mars拉起分布式深度學(xué)習(xí)計(jì)算。

4、 使用 GPU 加速特定計(jì)算。

Mars 場景2 可解釋性計(jì)算

1、廣告歸因&洞察特征的解釋算法，本身計(jì)算量巨大，耗時長。

2、使用 Mars Remote 將計(jì)算用數(shù)十臺服務(wù)器進(jìn)行加速，提升百倍性能。

Mars場景3 大規(guī)模k-最鄰近算法

1、Embedding 的流行使得用向量表述實(shí)體非常常見。

2、Mars 的NearestNeighbors算法兼容 scikit-learn。暴力算法在300萬向量和300萬向量計(jì)算top10相似計(jì)算（9萬億次向量比對）中，用20個worker兩個小時計(jì)算完成，大數(shù)據(jù)平臺基于SQL+UDF的方式無法完成計(jì)算。更小規(guī)模 Mars 相比大數(shù)據(jù)平臺性能提升百倍。

3、Mars 支持分布式的方式加速Faiss、Proxima（阿里達(dá)摩院向量檢索庫），達(dá)到千萬和億級別規(guī)模。

三、最佳實(shí)踐

Mars本身會集成一些Python第三方包，基本主流機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的庫都包含在里面。下方Demo講一個使用Mars做智能推薦，用lightgbm做一個分類算法，比如有一些優(yōu)惠判斷是不是給某些用戶做推送。

Mars 包括的第三方包：

https://pyodps.readthedocs.io/zh_CN/latest/mars-third-parties.html

第一張圖上主要步驟是通過 AK、project 名字、Endpoint 信息連接到 MaxCompute。接下來創(chuàng)建一個4節(jié)點(diǎn)，每個節(jié)點(diǎn)8 core，32G 的集群，應(yīng)用 extended 擴(kuò)展包，并生成 100w 用戶 64維度描述信息的訓(xùn)練數(shù)據(jù)。

利用 Lightgbm 2分類算法的模型訓(xùn)練：

將模型以 Create resource 方式傳到 MaxCompute 作為 resource 對象，準(zhǔn)備測試集數(shù)據(jù)

使用測試測試集數(shù)據(jù)驗(yàn)證模型，得出分類：