一個窨井蓋壞了

多久能被工作人員發(fā)現(xiàn)？

在上海浦東

只需要幾分鐘

這離不開物聯(lián)網(wǎng)設備提供的

實時數(shù)據(jù)支持

[[412758]]

IDC預測到2025年

全球物聯(lián)網(wǎng)設備數(shù)量

將達到416億臺

如何存儲、利用這些

實時產(chǎn)生的流數(shù)據(jù)

成為一個亟待解決的問題

美劇《上載新生》大開“腦洞”，對未來數(shù)字化生活“狠狠”進行了一番暢想，人工智能提醒你買菠菜補鐵，虛擬交警借助無人機飛到違章車主面前罰款……如果將邁向新階段的數(shù)字化生活比作向目的地高速行駛的汽車，那么數(shù)據(jù)就是提供源動力的燃料。

如今，“燃料”的供應來源正在擴大。數(shù)據(jù)的創(chuàng)建、使用和存儲位置不再局限于傳統(tǒng)的數(shù)據(jù)中心，也不再僅限于云端。數(shù)據(jù)源源不斷地從各種來源和位置流式傳輸而來，包括通過無線和移動方式傳送的數(shù)據(jù)。

隨著邊緣的數(shù)據(jù)量呈指數(shù)級增長，如同水龍頭里的水，流數(shù)據(jù)嘩嘩地流出，5G網(wǎng)絡的興起，更是為流數(shù)據(jù)打開了流量“閥門”。容器云、高性能存儲硬件水平的不斷提高，讓實時流處理擁有越來越廣泛的市場前景。

流數(shù)據(jù)，簡言之，是指沒有明確定義開始或結(jié)束的連續(xù)數(shù)據(jù)流。比如，我們看的“下飯”綜藝屬于視頻流、上下班聽的音樂屬于音頻流。流數(shù)據(jù)的來源包括日常生活中的移動應用程序、安全攝像頭、無人機等邊緣設備。

[[412759]]

這些來源豐富的流數(shù)據(jù)呈現(xiàn)出以下特點：

1

數(shù)據(jù)實時到達；

2

數(shù)據(jù)規(guī)模宏大且不能預知其最大值；

3

數(shù)據(jù)到達次序獨立，不受應用系統(tǒng)所控制；

4

數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價昂貴。

流數(shù)據(jù)的這些特點，令企業(yè)開始重新審視應用程序以及基礎架構(gòu)的部署。加之，數(shù)字化時代，用戶需要沉浸式、實時的數(shù)字體驗和互動，流數(shù)據(jù)處理解決方案面臨著諸多需求。

一方面，傳統(tǒng)的批處理數(shù)據(jù)引擎已經(jīng)完全無法滿足現(xiàn)代企業(yè)對實時性的要求；另一方面，現(xiàn)有的流數(shù)據(jù)系統(tǒng)大都基于消息模型，例如Kafka、Spark等，這些系統(tǒng)從本質(zhì)上看，僅僅只是一些高速消息系統(tǒng)，因此很難適應當今物聯(lián)網(wǎng)趨勢下的各種復雜數(shù)據(jù)處理需求。

為了滿足層出不窮的實時應用場景，同時降低大數(shù)據(jù)應用平臺的投入，戴爾易安信流數(shù)據(jù)處理平臺（Streaming Data Platform,SDP）應運而生。作為一個可彈性擴展的平臺，SDP用于實時獲取、存儲和分析連續(xù)的流數(shù)據(jù)，可在同一個應用程序中同時處理實時和收集的歷史數(shù)據(jù)。

該平臺可以從各種來源捕獲和存儲流數(shù)據(jù)，這些來源包括物聯(lián)網(wǎng)設備、網(wǎng)絡日志、工業(yè)自動化、財務數(shù)據(jù)、實時視頻、社交媒體源、應用程序和事件流。SDP能夠處理來自多個來源的數(shù)百萬個數(shù)據(jù)流，并確保低延遲和高可用性。

在今年的戴爾科技集團全球峰會，升級后的戴爾易安信流數(shù)據(jù)平臺全新亮相。新的SDP能夠在邊緣提供強大的實時分析能力。同時占用空間較小，非常適合在邊緣實時捕獲、存儲和分析流數(shù)據(jù)。

目前，戴爾易安信流數(shù)據(jù)平臺已經(jīng)在工業(yè)制造、建筑等行業(yè)得到實際應用，為客戶業(yè)務提供預防性維護、檢測等服務，并參與到戴爾科技為中國賽艇隊、皮劃艇隊開發(fā)的綜合智能訓練輔助系統(tǒng)中，提供邊緣流數(shù)據(jù)處理解決方案。

而SDP的成功落地離不開其“得力干將”——流數(shù)據(jù)存儲引擎Pravega。

“Good Speed”是如何實現(xiàn)的

Pravega在梵語中意為“Good Speed”，其設計宗旨是成為流的實時存儲解決方案。作為平臺內(nèi)的自研開源組件，Pravega是戴爾易安信流數(shù)據(jù)平臺最基礎的組件，承擔著為所有其它組件提供流式數(shù)據(jù)存取服務的重任。

應用程序?qū)?shù)據(jù)持久化存儲到Pravega中，Pravega的Stream可以有無限制的數(shù)量并且持久化存儲任意長時間，使用同樣的Reader API提供尾讀(tail read)和追趕讀(catch-up read)功能，能夠有效滿足兩種處理方式的統(tǒng)一。

Kafka和Pulsar等消息中間件提供了非常適合當今數(shù)據(jù)密集型應用程序的現(xiàn)代Pub/Su基礎架構(gòu)。Pravega進一步增強了這種流行的編程模型，提供了云原生流媒體基礎設施，并解決了令Kafka和Pulsar束手無策的架構(gòu)問題，如分區(qū)的自動擴展、如何為大量分區(qū)保持高性能。

▲Pravega架構(gòu)圖

Pravega采取了存儲分層的設計：

Tier 1存儲

Tier1的存儲通常部署在Pravega集群內(nèi)部，主要是提供對低延遲，短期的熱數(shù)據(jù)的存儲。在每個Segment Store結(jié)點都有Cache以加快數(shù)據(jù)讀取速率，Pravega使用Apache Bookeeper來保證低延遲的日志存儲服務。

Long-term存儲

Long-term的存儲通常部署在Pravega集群外部，主要是提供對流數(shù)據(jù)的長期存儲，即冷數(shù)據(jù)的存儲。不僅支持HDFS、NFS，還會支持企業(yè)級的存儲如戴爾易安信Isilon、ECS等產(chǎn)品。

存儲分層使Pravega在延遲與吞吐量之間達到了一個最佳狀態(tài)。這使得Pravega成為向?qū)崟r和批處理（分析）應用程序提供數(shù)據(jù)的理想存儲基礎。并且，Pravega是以Kubernetes Operator來對集群各組件進行有狀態(tài)的應用部署，這可以使得應用的彈性伸縮更為靈活方便。

Pravega解決了使用傳統(tǒng)消息隊列數(shù)據(jù)丟失問題和自動伸縮難題，客戶可以借助其降低存儲和計算成本，減小運維壓力，提高代碼開發(fā)效率。此前，Pravega還聯(lián)合TiDB構(gòu)建了實時數(shù)據(jù)倉方案，提高了實時數(shù)倉系統(tǒng)的并行性，可用性與安全性。

豐富的應用場景，令Pravega擁有廣闊的空間大施拳腳。下面我們跟隨戴爾易安信流數(shù)據(jù)平臺產(chǎn)品營銷經(jīng)理Amy Tenanes的介紹，一起來了解下它是如何為企業(yè)降低運營成本、提供實時洞察力和流程優(yōu)化的。

 

Pravega的典型應用場景

游樂園設施的預防性維護

 

通過使用Pravega，客戶可以從游樂園過山車沿線的數(shù)千個傳感器中，獲取實時流數(shù)據(jù)。這些數(shù)據(jù)可用于識別關鍵點，比如過山車上軌道上有多少輛車，這些車在某一點經(jīng)過時傳感器每秒經(jīng)歷多少次振動。

[[412762]]

假設一個正常的振動讀數(shù)是每秒3000次，當振動讀數(shù)過高時，Pravega可以提醒維護技術(shù)人員某個特定的游樂設施需要維護。同樣的數(shù)據(jù)可以在以后使用完全相同的工具進行訪問，有助于客戶在更長的時間段內(nèi)進行比較，總結(jié)出趨勢，以預測故障或確定維修需求。

不僅是過山車，汽車行業(yè)同樣也可以用到Pravega。它能夠為油溫、輪胎壓力表等設置閾值，在輪胎漏氣、發(fā)動機狀況不佳等問題進一步惡化前，提醒客戶進行預防性維護。

工業(yè)物聯(lián)網(wǎng)中的異常檢測

在制造業(yè)環(huán)境中，異常檢測對節(jié)省時間、資源和開支極為重要。借助安置在生產(chǎn)線上的物聯(lián)網(wǎng)傳感器和攝像頭，Pravega可以捕獲圖像和數(shù)據(jù)，比如傳送帶的速度和溫度。

攝像機圖像可以自動發(fā)現(xiàn)不符合規(guī)格的零部件或產(chǎn)品，然后發(fā)出警報，提醒哪里存在異?，F(xiàn)象。利用來自傳感器的數(shù)據(jù)，客戶很容易發(fā)現(xiàn)機器的環(huán)境溫度是否太高、傳送帶的速度是否正常等。

[[412763]]

此外，異常檢測還可用于制造業(yè)之外的許多行業(yè)。比如它可以用于金融業(yè)，檢測移動支票存款中的異常情況；可以用于咖啡飲品行業(yè)，通過監(jiān)測數(shù)據(jù)對機器的預防性維護，并提供自動重新訂購用品；還可以用于發(fā)電站，以發(fā)現(xiàn)水力發(fā)電設施的不足之處，其實際應用非常廣闊。

建筑業(yè)中施工的準確性和資源跟蹤

在建筑環(huán)境中，無人機將實時視頻和遙測數(shù)據(jù)流傳送到Pravega。通過其提供的建筑項目實時進展情況，最新進展報告可以將項目的數(shù)字效果圖與實際進展情況進行比較，確保施工的準確性和規(guī)劃時間的適當性。

[[412764]]

同時，通過在地面建筑設備上安裝傳感器，Pravega可以實現(xiàn)物體檢測，并對設備、人員和材料進行跟蹤，確保在多個項目中對每一部分的資源進行最佳分配、利用。

“智能廚房”中的溫度控制

Pravega可與大型儲存冷柜中的數(shù)字溫度計一起使用，實時獲取流式溫度讀數(shù)，并在溫度超出范圍時發(fā)出警報。這可以防止冷藏食品在冷柜門沒關好的情況下變質(zhì)，從而讓食品獲得盡可能長的保質(zhì)期。

隨著自動駕駛、股票交易等更多流數(shù)據(jù)應用場景的興起，戴爾易安信流數(shù)據(jù)處理平臺將服務更多領域，Pravega的價值也會進一步放大，“飛入”各行各業(yè)，幫助客戶加速數(shù)字化轉(zhuǎn)型。

 

各位少俠、俠女且留步

We want you！

與小伙伴合力闖蕩

流世界的機會來了

[[412765]]

今天，實時流無處不在

而Pravega為流式計算

重新構(gòu)建了全新的存儲

想不想

全面了解Pravega的優(yōu)秀特性

與業(yè)界大牛來一場親密接觸

展示你和小伙伴

對于實時數(shù)據(jù)分析的奇思妙想

 

由戴爾科技集團舉辦的

Pravega創(chuàng)客大賽

火熱報名中！

為你們提供快速實現(xiàn)想法的機會

iPhone12等豐厚獎品已備好

讓更多志同道合的人

一起擁抱流的世界！

歡迎掃描下圖二維碼

或點擊文末報名參賽

 

除了Pravega創(chuàng)客大賽

2021戴爾科技峰會也將于

8月18日盛大開幕

為您呈現(xiàn)未來企業(yè)競爭力！

 

2021

戴爾科技峰會

“智匯·商業(yè)新磁場”

 

8月18日

上海跨國采購國展中心

誠邀您的蒞臨

 

相關內(nèi)容推薦：戴爾科技新一代邊緣服務器 | 最關鍵的五個要點

文章來自公眾號戴爾易安信解決方案