物聯(lián)網(wǎng)(IoT)是技術(shù)市場上增長比較快的市場之一。合并和分析設(shè)備數(shù)據(jù)的能力既是福也是禍。數(shù)據(jù)格式以迭代速度變化，并且數(shù)據(jù)量在不斷增長，而且看不到盡頭。

物聯(lián)網(wǎng)數(shù)據(jù)只有一個地方可以管理和控制：流。數(shù)據(jù)流通過將物聯(lián)網(wǎng)領(lǐng)域的高級中間件與高級機器學(xué)習(xí)和人工智能相結(jié)合來處理數(shù)據(jù)傳輸。

但是，并非所有的流技術(shù)都是一樣的。流從一開始就被設(shè)計用來實現(xiàn)快速有效的數(shù)據(jù)移動，支持從醫(yī)療警報到遠程維護和智能家居的各種用例。為了完成這些多樣化的用例，流必須支持多種數(shù)據(jù)類型，并準備支持現(xiàn)有和新興的行業(yè)標準。

如今，隨著這個市場的成熟并發(fā)現(xiàn)流數(shù)據(jù)的更廣泛的應(yīng)用和接受，業(yè)務(wù)和技術(shù)要求正在不斷擴大。數(shù)據(jù)流至少必須：

• 提供實時分析。
• 包括集成的數(shù)據(jù)管理，包括數(shù)據(jù)沿襲。
• 根據(jù)數(shù)據(jù)提供實時操作。
• 執(zhí)行實時異常檢測。
• 支持所有類型的數(shù)據(jù)，包括有序和無序數(shù)據(jù)集。
• 隨流數(shù)據(jù)一起攜帶重要的標記信息。
• 支持獨立的數(shù)據(jù)區(qū)域設(shè)置。
• 嵌入數(shù)據(jù)安全性。
• 提供附加功能。
• 需要速度和吞吐量。

上面的要求是流技術(shù)的基礎(chǔ)。除了這些明顯的要求之外，我還建議了三個技巧來幫助您采用流技術(shù)：

1. 為決策而構(gòu)建

傳統(tǒng)上，分析是一種后處理功能，但在流技術(shù)領(lǐng)域卻并非如此。流將分析范圍擴展到在關(guān)鍵時刻提供關(guān)鍵數(shù)據(jù)。相反，流的分析模型依賴于問題確定和行動。這意味著流分析可以觸發(fā)警報，協(xié)調(diào)呼叫并將實時數(shù)據(jù)提供給舊版應(yīng)用程序以立即改善業(yè)務(wù)。

為了使所有這些工作正常進行，流必須支持從GPU到CPU的最新計算模型，尤其是考慮到越來越需要在物理上更接近執(zhí)行工作的地方進行工作。最后，隨著計算和存儲變得更加專業(yè)化，將需要流技術(shù)來支持專注于查詢或推理的參考體系結(jié)構(gòu)，該體系結(jié)構(gòu)由用于高級分析的API和過程組成。

2. 了解您的業(yè)務(wù)案例

傳統(tǒng)上，我們將數(shù)據(jù)帶回中央數(shù)據(jù)倉庫或一系列數(shù)據(jù)湖，然后在其中進行分析。創(chuàng)建了許多技術(shù)來支持這種結(jié)構(gòu)，包括Hadoop，數(shù)據(jù)多維數(shù)據(jù)集解決方案和多維數(shù)據(jù)庫。物聯(lián)網(wǎng)和流媒體解決方案的出現(xiàn)徹底改變了這種范例。如今，邊緣應(yīng)用程序是圍繞推理模型構(gòu)建的，從而允許邏輯工作更靠近生成數(shù)據(jù)的位置進行。不再需要將數(shù)據(jù)回傳到中央存儲庫或云?？梢詫崟r掃描IoT數(shù)據(jù)以確定異常或提供數(shù)據(jù)趨勢。噪聲數(shù)據(jù)可以本地存儲，也可以在源頭刪除，這代表著網(wǎng)絡(luò)，計算和存儲量的大幅減少。

正確的流技術(shù)可以通過內(nèi)置邏輯，快速準確的問題確定和根本原因分析來識別數(shù)據(jù)中的異常。無需指責即可確定準確的問題區(qū)域，可幫助工程師在創(chuàng)紀錄的時間內(nèi)解決問題，降低成本并提高客戶滿意度。流解決方案還應(yīng)該具有靈活的能力來建立單獨的流，為機器學(xué)習(xí)或AI訓(xùn)練模型提供這些異常的預(yù)定格式以供攝取-自動分析高度復(fù)雜和具有挑戰(zhàn)性的問題區(qū)域。

3. 對現(xiàn)實世界的支持

流技術(shù)必須支持簡化編程的配置，并且必須高度適應(yīng)多種環(huán)境。如今，支持無序數(shù)據(jù)處理的能力已成為常態(tài)。但是，對支持流中的有序數(shù)據(jù)的要求日益嚴格。對于機器學(xué)習(xí)和AI模型，這至關(guān)重要。流平臺中必須有順序處理流。知道并支持有序流可以提高建模的準確性，并且可以大大改善問題確定性，并可以對可預(yù)測的數(shù)據(jù)排序進行有力的控制。

最重要的是，數(shù)據(jù)流代表了跨云、混合云和邊緣計算等復(fù)雜環(huán)境的數(shù)據(jù)融合中的下一個重大飛躍。數(shù)據(jù)流今天就在這里，隨著物聯(lián)網(wǎng)的出現(xiàn)，它們是未來的浪潮。