時培昕:工業(yè)物聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)助力企業(yè)實(shí)現(xiàn)智能制造|V課堂第83期
工業(yè)物聯(lián)網(wǎng)作為制造業(yè)智能化的核心部分被稱之為智能制造的神經(jīng)系統(tǒng)。而工業(yè)大數(shù)據(jù)又是智能化的來源,未來制造企業(yè)的運(yùn)營過程,或者說產(chǎn)品的全生命周期都將由大數(shù)據(jù)串聯(lián)起來。那么大數(shù)據(jù)和工業(yè)物聯(lián)網(wǎng)是如何共同助力企業(yè)實(shí)現(xiàn)智能智造呢?
第83期【智造+V課堂】分享嘉賓:北京寄云鼎城創(chuàng)始人兼CEO時培昕博士,作為互聯(lián)網(wǎng)專家,時博士就“工業(yè)大數(shù)據(jù)和工業(yè)物聯(lián)網(wǎng)如何助力企業(yè)實(shí)現(xiàn)智能制造”的主題帶來精彩分享!
分享嘉賓
北京寄云鼎城創(chuàng)始人兼CEO 時培昕
1. 個人簡介
- 北京寄云鼎城科技有限公司創(chuàng)始人兼CEO;
- 企業(yè)級云計算聯(lián)盟 副秘書長;
- 2003年畢業(yè)于北京郵電大學(xué),信號與信息處理專業(yè)博士;
- 2003年-2005年,北京萬林克通信技術(shù)有限公司任硬件經(jīng)理;
- 2005年-2013年,漢柏科技有限公司聯(lián)合創(chuàng)始人、歷任研發(fā)總監(jiān),研發(fā)中心總經(jīng)理,戰(zhàn)略產(chǎn)品中心總經(jīng)理,海外技術(shù)總監(jiān),漢柏研究院院長;
- 2012年,任《信息安全與與技術(shù)》雜志編審委員會成員 。
2. 行業(yè)成就
- 時培昕博士是國內(nèi)最早從事云計算和大數(shù)據(jù)相關(guān)領(lǐng)域研究的人員之一,擁有長達(dá)15年的管理和創(chuàng)業(yè)經(jīng)驗(yàn)。
- 目前帶領(lǐng)所在公司團(tuán)隊(duì)研發(fā)的寄云工業(yè)物聯(lián)網(wǎng)平臺的發(fā)布填補(bǔ)了國內(nèi)該領(lǐng)域的空白,是國內(nèi)******、擁有獨(dú)立自主產(chǎn)權(quán)的平臺。
- 在漢柏工作期間,組建研發(fā)團(tuán)隊(duì),開發(fā)包括防火墻、安全網(wǎng)關(guān)、防火墻、流控,此外負(fù)責(zé)新產(chǎn)品策劃和大項(xiàng)目支持,承接過多個大型云計算數(shù)據(jù)中心和大數(shù)據(jù)項(xiàng)目的設(shè)計和建設(shè),對計算機(jī)網(wǎng)絡(luò)、網(wǎng)絡(luò)安全、計算和存儲、虛擬化、云計算以及大數(shù)據(jù)有著多年豐富的項(xiàng)目咨詢和實(shí)施的經(jīng)驗(yàn)。
- 憑借多年企業(yè)市場的產(chǎn)品開發(fā)和服務(wù)經(jīng)驗(yàn),以及雄厚的技術(shù)積累,時培昕博士率領(lǐng)眾多技術(shù)專家和行業(yè)專家,發(fā)布了從設(shè)備端到服務(wù)器端的整體工業(yè)互聯(lián)網(wǎng)平臺解決方案,包括工業(yè)網(wǎng)關(guān)、工業(yè)物聯(lián)網(wǎng)平臺、工業(yè)大數(shù)據(jù)平臺和工業(yè)云平臺。
3. 榮獲獎項(xiàng)
- 2015年4月,榮獲商業(yè)伙伴頒發(fā)的方案商創(chuàng)新人物獎;
- 2015年12月,榮獲賽迪網(wǎng)頒發(fā)的2015 SaaS行業(yè)***影響力人物獎;
- 2016年4月,再次榮獲商業(yè)伙伴頒發(fā)的2016中國方案商***人物獎;
- 2016年9月,榮獲云鼎獎-中國***影響力人物獎;
- 2017年4月,入選2017未來人物100名;
- 2017年4月,連續(xù)第三次榮獲2017中國方案商精英人物獎;
分享主題
《工業(yè)物聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)助力企業(yè)實(shí)現(xiàn)智能制造》
原文實(shí)錄
原文實(shí)錄context:
先簡單介紹一下寄云科技,寄云科技還是一個比較年輕的公司,我們成立4年左右的時間,我們主要是在給大型的工業(yè)企業(yè)的客戶和一些不同行業(yè)的企業(yè)提供數(shù)字化轉(zhuǎn)型的解決方案,我們更關(guān)注怎么用先進(jìn)的IT技術(shù)去解決一些OT的問題。我們現(xiàn)在的業(yè)務(wù)單元主要是在北京、上海和西安三個地方,我們服務(wù)的行業(yè)也包括軌道交通、電力能源、航空航天,還有包括一些裝備制造。
現(xiàn)在各方面都有一些非常多的新技術(shù)出現(xiàn),會給整個工業(yè)帶來一些新的沖擊。這里面我們看得見的,跟工業(yè)緊密相關(guān)的是一些新的技術(shù),包括工業(yè)物聯(lián)網(wǎng)聯(lián)接不同的工業(yè)設(shè)備,采集工作設(shè)備傳感器的數(shù)據(jù)實(shí)現(xiàn)邊緣計算,也包括工業(yè)大數(shù)據(jù),通過存儲海量的歷史數(shù)據(jù),實(shí)時地分析海量的工業(yè)數(shù)據(jù)掌控設(shè)備當(dāng)前的狀況,洞悉設(shè)備歷史的趨勢。
同時,也會包括一部分人工智能的話題。比方說,怎么去找到問題的相關(guān)性,怎么從歷史數(shù)據(jù)里面去學(xué)習(xí)一些異常的模型來去實(shí)現(xiàn)對當(dāng)前狀態(tài)的一個判決。包括怎么對一些關(guān)鍵指標(biāo)實(shí)現(xiàn)人工智能的一些預(yù)測和判決。云計算主要是指能夠提供很多便利的一些手段和便利的一些資源,包括怎么在任何時間、任何地點(diǎn)來使用,以及怎么去彈性擴(kuò)展、按需使用的一個方式。
從大的角度來說,大家也都理解未來的制造一定是一個數(shù)據(jù)驅(qū)動的智能制造。左邊這張圖其實(shí)是一個大家比較耳熟能詳?shù)囊惶讛?shù)據(jù)流程,但是它是以控制為目的的,從傳感器的數(shù)據(jù)采集到PLC這種控制系統(tǒng),實(shí)現(xiàn)簡單地一些存儲和一些告警,然后再上到生產(chǎn)管理系統(tǒng),再上到企業(yè)的經(jīng)營管理系統(tǒng),一直到上面最上層的決策系統(tǒng),所以它實(shí)現(xiàn)的是從最原始的數(shù)據(jù)到到***層價值的一個體現(xiàn)。
其實(shí)我們看得見是從最原始的數(shù)據(jù)到最終展現(xiàn),它是需要一層一層往上傳遞的,但原有的系統(tǒng)由于它是以控制為目的的,所以它在以數(shù)據(jù)采集,包括數(shù)據(jù)分析都是以控制為目標(biāo)的,實(shí)現(xiàn)的數(shù)據(jù)采集的量,包括準(zhǔn)確度,包括范圍可能都有一些限制。
我們現(xiàn)在看得見更多還是希望通過這些原始的數(shù)據(jù)能夠發(fā)現(xiàn)更多的價值,這個價值包括一些設(shè)備的故障診斷,包括性能的優(yōu)化,包括能效的一些分析,這些價值的原始數(shù)據(jù)都是來自于最原始的控制系統(tǒng)和傳感器的這些數(shù)據(jù)。
關(guān)于工業(yè)企業(yè)的大數(shù)據(jù)平臺,我這里給了一些規(guī)劃的建議圖,大家可以做一些參考。其實(shí)左邊這一列是大家都比較熟悉的一些,從最基本的生產(chǎn)作業(yè)的管理MES、DCS、FCS這些控制系統(tǒng)里面做的一些控制邏輯提取來的數(shù)據(jù),再上升到企業(yè)的經(jīng)營管理、運(yùn)營管理的過程中,需要的供應(yīng)鏈管理,相應(yīng)的決策經(jīng)營管理,包括整個物料的管理。再上到最上層其實(shí)就是相當(dāng)于企業(yè)內(nèi)部流程的管理,包括財務(wù),包括人事,包括績效這些。但這些業(yè)務(wù)系統(tǒng)其實(shí)跟我們要做的工業(yè)大數(shù)據(jù)分析并不沖突。我們更多還是希望從左邊業(yè)務(wù)系統(tǒng)和控制系統(tǒng)中,從更多地維度來去提取有效的數(shù)據(jù),來形成右邊工業(yè)大數(shù)據(jù)的一個平臺,把它所有的數(shù)據(jù)注入到我們一個大的平臺里面,采用不同的模型,建立不同的指標(biāo),包括基于不同主題來去構(gòu)建相應(yīng)算法和模型來實(shí)現(xiàn)可視化。
通過這種數(shù)據(jù)分析能創(chuàng)造什么樣的價值?可以用在哪些應(yīng)用場景呢?我們看得見,主要還是在三段:設(shè)計、制造、運(yùn)維。
在設(shè)計端其實(shí)大家討論得比較少,主要還是針對一些提升設(shè)計質(zhì)量,包括一些模擬仿真,包括實(shí)驗(yàn)數(shù)據(jù)管理這些,我們接觸得也相對比較少一點(diǎn)。我們在做的更多一個范疇其實(shí)還是集中在后面兩塊,制造和運(yùn)維。在制造這一端,我們可以從很多的生產(chǎn)數(shù)據(jù)里面提取出來有效地數(shù)據(jù)來實(shí)現(xiàn)一些質(zhì)量的改進(jìn),產(chǎn)線地優(yōu)化,包括一些供應(yīng)鏈協(xié)同的,包括效能提升的一些事情。
在運(yùn)維端主要是針對一些大型地工業(yè)設(shè)備,其實(shí)我們現(xiàn)在在提的比較多PHM,也就是預(yù)測和健康管理。通過采集這種大型工業(yè)設(shè)備的運(yùn)行數(shù)據(jù)來實(shí)時地評估設(shè)備當(dāng)前的工作狀態(tài),以及提前的預(yù)警來保證這種大型裝備不要出故障,不要出現(xiàn)一些非計劃的停機(jī),最終實(shí)現(xiàn)效能的提升,這是運(yùn)維端要考慮的事情。我就拿幾個例子來簡單給大家展開分析一下。
***個例子,其實(shí)是我們在做的一個整車廠質(zhì)量追蹤的問題。這個整車廠其實(shí)是在生產(chǎn)的過程中發(fā)現(xiàn)有一些問題,它因?yàn)閺纳嫌蔚牧慵蟾胚^了三天之后才能到總裝的車間,但是到了總裝車間的時候會發(fā)現(xiàn)有一些部件縫隙過大的情況,但是因?yàn)樗谡麄€生產(chǎn)流程的過程中,上百個環(huán)節(jié)里面,都按照標(biāo)準(zhǔn)的SOP的方式來去操作,所以它非常想知道最終縫隙過大的情況到底是由什么造成的。我們找客戶搖了整個生產(chǎn)過程中產(chǎn)線采集下來的數(shù)據(jù),總共9個測量的參數(shù)和不同維度的一些數(shù)據(jù)。
這一塊其實(shí)有9個測點(diǎn),每個測點(diǎn)大概有X、Y、Z,三個不同方向的一些誤差測量。我們其實(shí)也是把這些數(shù)據(jù)采集下來,首先做了一個前后的對齊,因?yàn)樗胁煌?。之后我們又做了一個關(guān)聯(lián)矩陣的分析,找到最終的測量數(shù)據(jù)是和之前的哪一個測點(diǎn)的數(shù)據(jù)是相關(guān)的,最終得到了一個判決結(jié)果,也就是導(dǎo)致縫隙過大的質(zhì)量問題其實(shí)是由三個測點(diǎn)的數(shù)據(jù)造成的。對于客戶來說,你在整個三天的過程中,你只要能夠?qū)崟r地監(jiān)測這三個測點(diǎn),而不用監(jiān)測全部九個參數(shù),構(gòu)建一個異常模型,就可以監(jiān)控加工過程的質(zhì)量。一旦我們實(shí)時的數(shù)據(jù)跟這個模型出現(xiàn)一些偏差,我們就可以提前預(yù)知到這個設(shè)備已經(jīng)出現(xiàn)了縫隙過大這樣的情況,我們就可以提前把這個設(shè)備給停下來,而不用到***一步才采取措施。
第二個案例,風(fēng)力發(fā)電機(jī)葉根螺栓斷裂的分析。風(fēng)力發(fā)電機(jī)大家其實(shí)也都知道,一般都是在野外幾百公里之外,客戶每巡檢一次他都會發(fā)現(xiàn)風(fēng)力發(fā)電機(jī)的葉片有一些都已經(jīng)掉下來了,但什么時候掉的,其實(shí)他并不知道。
有些葉片都已經(jīng)掉下來了,但什么時候掉的其實(shí)他并不知道。掉的原因客戶也都知道,葉片根部會有一些螺栓,螺栓在旋轉(zhuǎn)的過程中都出現(xiàn)一些松動,當(dāng)?shù)?-6根的時候螺栓葉片還可以修,但是超過6根之后,螺栓基本上會出現(xiàn)一個加速損壞的過程,直到葉片斷下來。每次維修葉片的費(fèi)用基本上是在幾十萬到幾百萬不等。
我們自然會想能不能給螺栓加一個傳感器來監(jiān)測這個螺栓什么開始斷的,其實(shí)這個比較比較難。因?yàn)槁菟▽?shí)在是太多了,每個風(fēng)機(jī)上大概有150個螺栓,加傳感器的成本是實(shí)在太高。我們就給客戶建議,是不是能夠通過傳感器本身的風(fēng)機(jī)上帶來各種各樣的數(shù)據(jù)來推測螺栓斷裂的情況呢?正好風(fēng)機(jī)現(xiàn)在有很多的傳感器,包括機(jī)艙角度、輪轂的轉(zhuǎn)速、風(fēng)速、變槳角度,這些大概總共有幾十個指標(biāo),我們就拿過來做分析。
我們在這上面做的事情其實(shí)就是包括下面幾步了,首先我們從歷史的數(shù)據(jù)里面提取一些特征,然后構(gòu)建一個正常和一個異常的模型,把其他故障風(fēng)機(jī)的數(shù)據(jù)輸入到模型里面,來去根據(jù)模型去做判決,來去確定故障發(fā)生的時間,在這個上面去預(yù)測故障發(fā)生的未來趨勢。
這張圖其實(shí)是一個原始的數(shù)據(jù)。大家可以從圖上可以看到,從2016年5月16日到6月15日,如果從單一變量或者組合變量這個邏輯上來說,其實(shí)你是看不出來有太大的規(guī)律,每個信號在這段時間內(nèi)表現(xiàn)的現(xiàn)象前后沒有什么差別。
但是我們把這個變量全部送到模型之后,我們得到的判決結(jié)果是非常驚人的。這個判決結(jié)果在我的紅框這一段范圍之前,大家也都看得見,這是一個1的判決,就是說明它是一個正常的狀態(tài)。在紅框的范圍之后,是一個0判決,零判決是一個故障的狀態(tài)。這個判決其實(shí)非常明顯,我們做的過程其實(shí)就是拿歷史數(shù)據(jù)訓(xùn)練出來一個故障模型,基于這個模型去對設(shè)備實(shí)時的數(shù)據(jù)進(jìn)行判決,根據(jù)這個模型的判決結(jié)果和歷史之間的偏差,它相應(yīng)的分布來去決定這個設(shè)備當(dāng)前狀態(tài)是一個正常狀態(tài),還是一個故障狀態(tài)。
第三個案例,我們叫做故障關(guān)聯(lián)性的分析。這個案例是整車的一些維修記錄的分析,我們的目標(biāo)是從長達(dá)十多年的故障維修記錄里面找到故障的關(guān)聯(lián)關(guān)系。大家可以看左邊的這個圖,所有的結(jié)點(diǎn)代表了一種不同類型的故障,故障和故障之間會有一定的關(guān)聯(lián)關(guān)系。通過調(diào)整每一個結(jié)點(diǎn),你把鼠標(biāo)移到這些結(jié)點(diǎn)之上呢,你都可以看見這個故障是和什么樣的故障相關(guān)。比方說,雨刷只和玻璃相關(guān),但是玻璃又和非常多的部件相關(guān)。在這個過程中,我們可以調(diào)整過濾的關(guān)聯(lián)門限值,我們發(fā)現(xiàn)了最Top的兩個故障是一個通訊設(shè)備的故障和一個探照頂燈的故障,也就是照明系統(tǒng)的故障。在原廠的設(shè)計過程中,不可能預(yù)測到照明系統(tǒng)和通信系統(tǒng)之間有很強(qiáng)的故障關(guān)聯(lián)性。我們用這種大數(shù)據(jù)的方式幫他去找出關(guān)聯(lián)關(guān)系,客戶自己去找的原因,***發(fā)現(xiàn)其實(shí)是在組裝的過程中,把不同的線捆在了一起,這就造成了它兩種不同的故障之間伴隨高頻次發(fā)生的概率。
還有一個案例,其實(shí)也是故障分析的方式。我們其實(shí)是把大量的故障,根據(jù)他的時間軸上做了一些切片。切片然后之后,找出來每一個故障的前序和后續(xù)發(fā)生的一些事件,相當(dāng)于來做故障的溯源,分析這個故障產(chǎn)生的路徑。你可以看這張圖,其實(shí)是風(fēng)機(jī)故障的圖,我們叫Spath。你根據(jù)最右邊出現(xiàn)的一個故障,你可以往前去推這個故障,比方說,產(chǎn)生1000種這樣的故障有多少個?有500個是由故障造成的?這500個故障又是由一個什么樣故障造成的?你可以按照這種方式時間軸來去推測這個故障發(fā)生的路徑,這其實(shí)是幫助維修和分析人員能快速來找到故障產(chǎn)生的原因。
前面提到的各個不同的案例,其實(shí)還是主要還是數(shù)據(jù)分析,我也是想讓大家看得見,通過數(shù)據(jù)分析能夠解決很多質(zhì)量包括運(yùn)維層面,很多我們以前解決不了的一些問題。但是這個問題怎么從數(shù)據(jù)來發(fā)現(xiàn)價值呢?其實(shí)它要有很長的鏈條,我們把它分成了幾段,一個是數(shù)據(jù)采集,一個是數(shù)據(jù)存儲,一個是數(shù)據(jù)分析還有性能的預(yù)測,包括應(yīng)用開發(fā)出來一個可視化的應(yīng)用。
我們說這幾個環(huán)節(jié)大家都理解,但是是大家都會面對很多的難題。首先說數(shù)據(jù)采集,工業(yè)數(shù)據(jù)采集的時候都會涉及到不同的設(shè)備,不同的封閉的協(xié)議,不同的接口,海量的測點(diǎn)你怎么去采集,包括很多的惡劣的工況,你的數(shù)據(jù)怎么去傳回來。
同樣在工業(yè)這種傳感器的數(shù)據(jù)、工業(yè)設(shè)備的數(shù)據(jù)的存儲上面也存在很多問題。
***,它的測點(diǎn)非常多,采集的點(diǎn)也非常多。無論是采集的方式還是存儲的介質(zhì)都非常多樣,同時量也非常大。對存和查的性能壓力也非常大。因?yàn)楹A康臄?shù)據(jù),特別是大型的設(shè)備都希望有一個長達(dá)數(shù)年的存儲周期,但原有的控制系統(tǒng)并不是以分析為目標(biāo)的,他更多是以控制為目標(biāo)的,所以他采集的時間跨度都不大,這也是一個巨大的挑戰(zhàn)。
數(shù)據(jù)分析同樣面臨著一些問題,不用說數(shù)據(jù)量大了,因?yàn)樵瓉泶蠹矣玫母鞣N各樣的分析,包括Matlab等,我們都把這類的分析叫截面分析,或者說對短時間離線數(shù)據(jù)的一個分析。它處理幾十M到幾十G這樣小的、短時的數(shù)據(jù)沒問題,但是如果要讓他處理一個TB級別、數(shù)據(jù)維度比較多的,而且還是實(shí)時的這種數(shù)據(jù)時,基本上這類工具都沒有特別好的一個辦法。因此也沒辦法從這里面去得到一些定量的分析結(jié)果,因此這些工具都并不是為我們現(xiàn)在的、實(shí)時的、海量的工業(yè)數(shù)據(jù)的分析而設(shè)計的。
正是由于這些數(shù)據(jù)采集的維度比較少,歷史跨度比較短,所以沒有辦法積累起來長期的故障模型和歷史的學(xué)習(xí)曲線。因此在這上面去做預(yù)測基本上會非常難,而且很多新的算法,如今天神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的一些方法,都沒辦法在這些原有的分析工具上得到體現(xiàn)。
***是應(yīng)用開發(fā),把這些我們可以看得見的分析結(jié)果,以可視化、可交互的一個應(yīng)用的方式展示出來,還需要很多的應(yīng)用開發(fā)工作。但是大家也都知道,工業(yè)應(yīng)用本身開發(fā)的過程就是非常漫長的過程,也包括特性的迭代相對比較慢,包括架構(gòu)都很落后,很多工業(yè)應(yīng)用還在采用單塊化的應(yīng)用架構(gòu),它并不是可以支持海量數(shù)據(jù)、分布式、可拓展的這種架構(gòu),后期運(yùn)維的壓力也都會比較大。
前面五個環(huán)節(jié)提到了很多的挑戰(zhàn),我們?yōu)榱私鉀Q這些問題,花了三年多的時間,開發(fā)了我們自己的NeuSeer工業(yè)互聯(lián)網(wǎng)平臺,也非常歡迎大家登錄到我們這個平臺上去做測試。它有非常多的算法、模型,包括開發(fā)應(yīng)用的一些工具和服務(wù)。
平臺也是分成三段的一個架構(gòu),在邊緣端我們會有相應(yīng)的工業(yè)網(wǎng)關(guān),能夠讀取得不同的協(xié)議,然后把它的數(shù)據(jù)傳到我們云端。平臺可以私有化部署,也可以基于我們公有云的平臺來提供服務(wù)。云端的平臺會提供一些基礎(chǔ)的數(shù)據(jù)存儲能力。基于這些存儲的歷史數(shù)據(jù),我們可以在上面利用我們的工業(yè)大數(shù)據(jù)分析平臺和應(yīng)用開發(fā)平臺來構(gòu)建相應(yīng)的遠(yuǎn)程監(jiān)控、故障診斷、故障預(yù)測的應(yīng)用,***能夠以不同的行業(yè)解決方案的方式給到最終的客戶。
這是我們一款工業(yè)網(wǎng)關(guān),它***的特點(diǎn)能夠?qū)崿F(xiàn)不同的工業(yè)協(xié)議的解析,我們也在不斷豐富我們能夠支持的協(xié)議類型。它能夠提供相應(yīng)的數(shù)據(jù)的采集,能夠把數(shù)直接從工業(yè)協(xié)議的接口里面直接讀出來,并且把它變成一個可以傳輸?shù)轿覀兊钠脚_上來實(shí)現(xiàn)解析規(guī)劃的協(xié)議。
這是一個架構(gòu)我就不多說了,支持不同的協(xié)議,我們通過讀取PLC、DCS、SCADA這樣不同的業(yè)務(wù)系統(tǒng),實(shí)現(xiàn)歸一化,然后把它通過MQTT的格式傳回到我們的NeuSeer平臺。
在平臺的數(shù)據(jù)存儲上我們提供很多不同的方式,因?yàn)楦鶕?jù)客戶的不同類型可能會有不同的需求,包括文件存儲,包括HDFS的文件存儲,包括一些結(jié)構(gòu)化數(shù)據(jù)庫,還有包括我們自己開發(fā)的時序數(shù)據(jù)庫。
時序數(shù)據(jù)庫是我們針對海量的工業(yè)設(shè)備的數(shù)據(jù)提取、查詢和展示的產(chǎn)品套件。這個架構(gòu)大家也都可以看它本身就是一個分布式的架構(gòu),我們可以支持文件和實(shí)時的流的導(dǎo)入,實(shí)現(xiàn)數(shù)據(jù)的海量歷史數(shù)據(jù)的存儲,我們也可以在上面構(gòu)建一些分析和定制化的儀表盤,可以做一些簡單的統(tǒng)計分析。比方說平均值、***值、最小值,包括一些簡單關(guān)聯(lián)分析。針對海量工業(yè)數(shù)據(jù),特別是帶有時間標(biāo)簽的工業(yè)數(shù)據(jù),時序數(shù)據(jù)庫能夠提供***的測點(diǎn),實(shí)現(xiàn)讀取和分析,提供很好的擴(kuò)展性。
除了提供海量的存儲和讀取的能力我們還在上面構(gòu)建了一些可以自己定義的可視化面板,用戶可以根據(jù)我們大概提供的幾十種的不同的模板,基于時序數(shù)據(jù)來做一些比較好的分析圖表,并且嵌入到用戶自己的應(yīng)用里面。
關(guān)于大數(shù)據(jù)分析的平臺,我們也是針對這種海量的、實(shí)時的、多維的數(shù)據(jù)來提供一個相對比較高性能、分布式的、專門的工業(yè)大數(shù)據(jù)分析平臺。它是基于Spark這樣架構(gòu)構(gòu)建起來的,并且我們增強(qiáng)了很多Spark本身沒有的算法和模型庫。
這是我們提供的一些基礎(chǔ)的算法,工業(yè)分析里面用了非常多的一些信號處理的算法,包括去噪、差值、取樣、填充,很多這類型的基礎(chǔ)數(shù)據(jù)預(yù)處理。針對振動信號這類的分析,還要做傅立葉變化、小波變換等。我們提供了非常多的基礎(chǔ)的數(shù)據(jù)處理的方式,并且是基于Spark架構(gòu)來開發(fā)的,算法能夠在可以拓展的分布式的架構(gòu)上面跑,這是傳統(tǒng)像Matlab這樣的分析工具沒辦法實(shí)現(xiàn)的。同時我們也提供了很多的針對海量數(shù)據(jù)、特別是時序數(shù)據(jù)的轉(zhuǎn)換工具。比方說橫豎變化、平均、差值等,還有大量的自回歸、神經(jīng)萬絡(luò)算法,都是針對海量的、帶有時間標(biāo)簽的傳感器數(shù)據(jù)的算法和工具。
我們也提供一些可視化的模塊,可視化開發(fā)的模塊用戶可以構(gòu)建類似剛才我提到的相關(guān)的關(guān)聯(lián)分析、故障路徑的分析這樣的可視化結(jié)果。其實(shí)跟以前需要自己畫圖這種方式不太一樣,用戶可能只需要調(diào)用一個平臺的API,把數(shù)據(jù)送給平臺,平臺就可以直接能畫好的結(jié)果,以一個鏈接地址的方式嵌入到用戶的應(yīng)用里面就可以了。
除了算法之外,我們還提供了一些模型,我們分為三類模型:
***類是指追溯過去,洞悉過去。這包括我們剛才提到的故障診斷。故障診斷其實(shí)就是從海量歷史數(shù)據(jù)里面找到故障產(chǎn)生的原因,找到故障產(chǎn)生的路徑,我們可以提供關(guān)聯(lián)分析、故障路徑的分析這類的模型。
第二類模型叫掌控當(dāng)前、性能評估的模型,客戶可以利用歷史數(shù)據(jù)來去選擇相應(yīng)的變量,去訓(xùn)練出來一些模型??蛻魰⑴c到這個模型訓(xùn)練,指定哪一段時間是一個正常狀態(tài),我們就把所有相關(guān)的變量扔到模型里面來訓(xùn)練出一個正常狀態(tài)。后期的所有的數(shù)據(jù)都針對于訓(xùn)練出來的模型來去做相應(yīng)的判決,一旦出現(xiàn)了超出歷史數(shù)據(jù)分布范圍之外的一些數(shù)據(jù),我們就認(rèn)為是異常的情況。結(jié)合很多維度的分析,我們就可以實(shí)現(xiàn)異常檢測。
基于歷史數(shù)據(jù),我們還可以實(shí)現(xiàn)對未來的預(yù)測,我們基于神經(jīng)網(wǎng)絡(luò)來構(gòu)建這種預(yù)測模型,其實(shí)大家可以從這個圖去看見,它可以很好根據(jù)你之前的數(shù)據(jù)來去預(yù)測未來信號的走向和變量發(fā)展的趨勢。
我們也提供了很好的模型開發(fā)與應(yīng)用的過程,客戶可以在我們基于他的歷史數(shù)據(jù),來去訓(xùn)練出來一個模型,然后經(jīng)過一些測試把這個模型發(fā)布到我們模型目錄里面,算法目錄里面。根據(jù)這個算法目錄再把實(shí)時的數(shù)據(jù)去調(diào)取,通過API的方式扔到這個模型上做實(shí)時的判決,來實(shí)現(xiàn)對未來的預(yù)測。未來預(yù)測的結(jié)果還可以經(jīng)過一個反饋,來去修正原有的模型,***以一個工業(yè)應(yīng)用的方式實(shí)現(xiàn)人機(jī)交互。
***說到一些工業(yè)應(yīng)用的應(yīng)用開發(fā)。我給了一張框圖,大家可以看見,我們把整個工業(yè)應(yīng)用分成了非常多的模塊。我們提供了一個框架,這個框架左邊是一些工業(yè)采集的設(shè)備,這些設(shè)備包括我們自己的工業(yè)網(wǎng)關(guān)和合作伙伴的一些網(wǎng)關(guān),只要滿足我們的SDK,就可以接入。把它發(fā)到我們平臺提供的MQTT的Broker上面。
MQTT的消息直接可以被應(yīng)用訂閱,實(shí)現(xiàn)實(shí)時監(jiān)控。同時,MQTT的數(shù)據(jù)可以通過KAFKA再到HDFS成為一個歷史數(shù)據(jù),再變成TSDB里面的可以存的這種被檢索出來的歷史數(shù)據(jù),可以再提供到我們大數(shù)據(jù)分析平臺上面來去構(gòu)建相應(yīng)的歷史模型。這些歷史模型構(gòu)建完之后,可以發(fā)布到我們的目錄里面,然后再通過API的方式對這個應(yīng)用來去調(diào)用,同時我們還提供了很多外圍Service,包括賬戶管理,包括權(quán)限,包括數(shù)據(jù)庫,包括可視化結(jié)果的呈現(xiàn),這些所有外圍的功能,我們都把它做成一個微服務(wù)的方式,可以極大降低的應(yīng)用開發(fā)的工作量。
開發(fā)的過程中我們提供了很好的DevOps的過程,從整個應(yīng)用的代碼源,把代碼抓下來,編譯、打包生成一個部署環(huán)境。再把他扔到云端平臺上來,實(shí)現(xiàn)一個可以拓展的架構(gòu),這都是一個自動化的過程,并且我們也提供很好的重新自動構(gòu)建的過程,用戶只要把代碼做一些改動,它會自動來去抓起這個代碼,完成整個自動編譯打包、生成部署環(huán)境的完整的自動化的過程。
這個是剛才我們提到的微服務(wù)的架構(gòu)。一些新的應(yīng)用,我們建議盡量采用微服務(wù)的方式去構(gòu)建,每個應(yīng)用有自己相應(yīng)的邏輯,后臺每個功能模塊我們都建議設(shè)計成微服務(wù)的架構(gòu),并且可以調(diào)用我們平臺提供各種各樣的服務(wù)接口。比方說HDFS、包括TSDB這些服務(wù),你根本不用考慮這個服務(wù)怎么去部署,怎么去運(yùn)維,你只需要訂閱我們的一個服務(wù),你就可以得到一個接入地址,你把數(shù)據(jù)扔到這個平臺上你就可以存,你把數(shù)據(jù)扔到模型里面你就可以算,這個是非常方便的。
***,希望通過我們的NeuSeer平臺幫助客戶來實(shí)現(xiàn)連接、洞察和優(yōu)化,通過連接來連接不同的IT和OT的系統(tǒng)采集數(shù)據(jù),把設(shè)備聯(lián)上來,建立一些數(shù)據(jù)標(biāo)準(zhǔn),存儲海量的工業(yè)數(shù)據(jù)。通過洞察能夠?qū)υO(shè)備的質(zhì)量,故障產(chǎn)生的原因進(jìn)行深度的分析,構(gòu)建可分析的指標(biāo),構(gòu)建一些可視化各應(yīng)用。通過優(yōu)化實(shí)現(xiàn)我們更智能的動作,包括計劃排產(chǎn),包括預(yù)測性維修,包括一些質(zhì)量改進(jìn),供應(yīng)鏈優(yōu)化這些。