在數(shù)據(jù)采集器中用TensorFlow進(jìn)行實(shí)時(shí)機(jī)器學(xué)習(xí)
DataOps平臺(tái)的真正價(jià)值，只有在業(yè)務(wù)用戶和應(yīng)用程序能夠從各種數(shù)據(jù)源來(lái)訪問(wèn)原始數(shù)據(jù)和聚合數(shù)據(jù)，并且及時(shí)地產(chǎn)生數(shù)據(jù)驅(qū)動(dòng)的認(rèn)識(shí)時(shí)，才能夠?qū)崿F(xiàn)。利用機(jī)器學(xué)習(xí)（Machine Learning），分析師和數(shù)據(jù)科學(xué)家可以利用歷史數(shù)據(jù)，以及實(shí)時(shí)地使用類似TensorFlow(TF)這樣的技術(shù)，以做出更好的數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的線下決策。
在本文中，你將學(xué)習(xí)如何利用TensorFlow模型在StreamSets Data Collector3.5.0和StreamSets Data Collector Edge中發(fā)布的TensorFlow Evaluator*進(jìn)行預(yù)測(cè)和分類。
在深入討論細(xì)節(jié)之前，我們來(lái)看一些基本概念。
機(jī)器學(xué)習(xí)（Machine Learning）
亞瑟·塞繆爾把它描述為：“不需要明確地編寫程序而使計(jì)算機(jī)有能力學(xué)習(xí)的研究領(lǐng)域。”隨著機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，計(jì)算機(jī)現(xiàn)在有能力做出預(yù)測(cè)，甚至比人類做的還要好，并且感覺(jué)可以解決任何問(wèn)題。讓我們先回顧一下機(jī)器學(xué)習(xí)都解決了什么樣的問(wèn)題吧。
通常來(lái)說(shuō)，機(jī)器學(xué)習(xí)被分為兩大類：
監(jiān)督學(xué)習(xí)（Supervised Learning）
“監(jiān)督學(xué)習(xí)是學(xué)習(xí)一個(gè)函數(shù)的機(jī)器學(xué)習(xí)任務(wù)，該函數(shù)基于輸入-輸出的實(shí)例，將輸入映射到輸出。”—維基百科（Wikipedia）。
它涉及到構(gòu)建一個(gè)精準(zhǔn)的模型，當(dāng)歷史數(shù)據(jù)被標(biāo)記為一些結(jié)果的時(shí)候，模型就可以預(yù)測(cè)出結(jié)果了。
用監(jiān)督學(xué)習(xí)解決的常見(jiàn)業(yè)務(wù)問(wèn)題：
- 二元分類（學(xué)習(xí)預(yù)測(cè)一個(gè)分類值）
- - 顧客會(huì)購(gòu)買一個(gè)特定產(chǎn)品嗎？
- - 癌癥是惡性的還是良性的？
- 多級(jí)分類（學(xué)習(xí)預(yù)測(cè)一個(gè)分類值)
- - 給定的一段文本是否帶有病毒、恐嚇或淫穢內(nèi)容？
- - 這是山鳶尾、藍(lán)旗鳶尾還是北美鳶尾的物種？
- 回歸（學(xué)習(xí)預(yù)測(cè)一個(gè)連續(xù)值)
- - 一個(gè)代售房子的預(yù)測(cè)價(jià)格是多少？
- - 明天舊金山的氣溫是多少？
無(wú)監(jiān)督學(xué)習(xí)
無(wú)監(jiān)督學(xué)習(xí)允許我們?cè)谥篮苌?，或是完全不知道輸出?yīng)該是什么樣子的情況下處理問(wèn)題。它涉及在之前數(shù)據(jù)上的標(biāo)簽是不可用的情況下創(chuàng)建模型。在這類的問(wèn)題中，通過(guò)對(duì)基于數(shù)據(jù)中變量之間的關(guān)系進(jìn)行數(shù)據(jù)聚類來(lái)導(dǎo)出結(jié)構(gòu)。
無(wú)監(jiān)督學(xué)習(xí)的兩種常見(jiàn)方法是K-均值聚類（K-means clustering）和DBSCAN。
注意：Data Collector和Data Collector Edge中的TensorFlow Evaluator目前僅支持監(jiān)督學(xué)習(xí)模型。
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)
神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)算法的一種，可以學(xué)習(xí)和使用受人腦結(jié)構(gòu)啟發(fā)而來(lái)的計(jì)算模型。與其它機(jī)器學(xué)習(xí)算法，如決策樹、邏輯回歸等相比，神經(jīng)網(wǎng)絡(luò)具有較高的準(zhǔn)確性。
Andrew Ng在傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的背景下對(duì)深度學(xué)習(xí)進(jìn)行了描述。在題為“深度學(xué)習(xí)、自我學(xué)習(xí)與無(wú)監(jiān)督特征學(xué)習(xí)”的演講中，他把深度學(xué)習(xí)的思想描述為：
“利用了大腦結(jié)構(gòu)的模仿, 希望：
- 讓學(xué)習(xí)算法更好地、更容易地使用；
- 在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域取得革命性的進(jìn)展；
我相信這是我們朝著真正的人工智能前進(jìn)的辦法。”
常見(jiàn)的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用包括：
- 計(jì)算機(jī)視覺(jué)/圖像識(shí)別/目標(biāo)檢測(cè)
- 語(yǔ)言識(shí)別/自然語(yǔ)言處理（NLP）
- 推薦系統(tǒng)（產(chǎn)品、婚介等）
- 異常檢測(cè)（網(wǎng)絡(luò)安全等）
TensorFlow
TensorFlow是為深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的開源機(jī)器學(xué)習(xí)框架，由Google Brain Team開發(fā)的。TensorFlow支持在Windows和Mac操作系統(tǒng)上的可伸縮和便攜式的訓(xùn)練，包括CPU、GPU和TPU。迄今為止，它是GitHub上流行的和最活躍的機(jī)器學(xué)習(xí)項(xiàng)目。
Data Collector中的TensorFlow
隨著TensorFlow Evaluator的引入，你現(xiàn)在能夠創(chuàng)建管道（pipelines），以獲取數(shù)據(jù)或特征，并在一個(gè)可控的環(huán)境中生成預(yù)測(cè)結(jié)果或分類，而不必發(fā)起對(duì)作為Web服務(wù)而提供和公布的機(jī)器學(xué)習(xí)模型的HTTP或REST API的調(diào)用。例如，Data Collector管道現(xiàn)在可以實(shí)時(shí)地檢測(cè)欺詐交易或在文本上執(zhí)行自然語(yǔ)言處理，因?yàn)閿?shù)據(jù)在被存儲(chǔ)到最終目的地之前，為了進(jìn)一步的處理或做決策，正在經(jīng)過(guò)各個(gè)階段。
另外，使用Data Collector Edge，你可以在Raspberry Pi和其它運(yùn)行在所支持的平臺(tái)上的設(shè)備上運(yùn)行已經(jīng)啟用了的TensorFlow機(jī)器學(xué)習(xí)管道。例如，在高風(fēng)險(xiǎn)地區(qū)檢測(cè)洪水等自然災(zāi)害發(fā)生的概率，以防止對(duì)人們財(cái)產(chǎn)的破壞。
乳腺癌分類
讓我們考慮將乳腺癌腫瘤分類成惡性還是良性的例子。乳腺癌是一個(gè)經(jīng)典的數(shù)據(jù)集，可以作為scikit-learn的一部分。要了解如何在Python中使用該數(shù)據(jù)集訓(xùn)練和導(dǎo)出一個(gè)簡(jiǎn)單的TensorFlow模型，請(qǐng)查看我在GitHub上的代碼。正如你將要看到的那樣，模型創(chuàng)建和訓(xùn)練被保持在最小范圍，并且非常簡(jiǎn)單，只有幾個(gè)隱藏層。最需要注意的重要方面是如何使用TensorFlow SavedModelBuilder*來(lái)導(dǎo)出和保存模型。
*注意：要在Data Collector或Data Collector Edge中使用TensorFlow模型，首先應(yīng)該在你選擇支持的開發(fā)語(yǔ)言里，如Python，和交互式環(huán)境中，如Jupiter Notebook，使用TensorFlow的SavedModelBuilder導(dǎo)出和保存模型。
一旦使用TensorFlow的SavedModelBuilder訓(xùn)練并導(dǎo)出了模型，那么在數(shù)據(jù)流管道中使用它進(jìn)行預(yù)測(cè)或分類就非常簡(jiǎn)單了 — 只要模型保存在Data Collector或Data Collector Edge可訪問(wèn)的位置上即可。
管道概述
在深入了解細(xì)節(jié)之前，可以看下管道是什么樣的：
管道細(xì)節(jié)
- 目錄源:
- - 這將從.csv文件中加載乳腺癌的記錄數(shù)據(jù)（注意：這個(gè)輸入數(shù)據(jù)源可以非常簡(jiǎn)單地替換為其它的來(lái)源，包括Kafka、AWS S3、MySQL等等）；
- 字段轉(zhuǎn)換器:
- - 這個(gè)處理器將轉(zhuǎn)換供模型所使用的所有輸入的乳腺癌記錄特征數(shù)據(jù)，從String類型轉(zhuǎn)換到Float類型
- (mean_radius,mean_texture,mean_perimeter,mean_area,mean_smoothness,mean_compactness,mean_concavity,mean_concave_points,mean_symmetry,mean_fractal_dimension,radius_error,texture_error,perimeter_error,area_error,smoothness_error,compactness_error,concavity_error,concave_points_error,symmetry_error,fractal_dimension_error,worst_radius,worst_texture,worst_perimeter,worst_area,worst_smoothness,worst_compactness,worst_concavity,worst_concave_points,worst_symmetry,worst_fractal_dimension) ；
*TensorFlow Evaluator配置
注意：一旦TensorFlow Evaluator產(chǎn)生了模型輸出結(jié)果，本實(shí)例中采用的管道階段是可選的，并且可以根據(jù)用例的需要與其它處理器和目標(biāo)進(jìn)行互換。
管道執(zhí)行
在預(yù)覽管道上，乳腺癌數(shù)據(jù)記錄的輸入通過(guò)了上面所述的數(shù)據(jù)流管道過(guò)程，包括服務(wù)于我們的TensorFlow模型。發(fā)送給Kafka生產(chǎn)者的最終輸出記錄數(shù)據(jù)（如上所示）包括用于分類的模型所使用的乳腺癌特征，在用戶定義的字段TF_Model_Classification中模型輸出值為0或1，以及由Expression Evaluator創(chuàng)建的Condition字段中表示相應(yīng)的癌癥狀況是良性或惡性。
總結(jié)
本文說(shuō)明了在Data Collector 3.5.0中使用新發(fā)布的TensorFlow Evaluator。一般來(lái)說(shuō)，這個(gè)評(píng)估器將允許你提供預(yù)訓(xùn)練的TensorFlow模型，用于生成預(yù)測(cè)結(jié)果和分類結(jié)果，而無(wú)需編寫任何自己的代碼。
