大數(shù)據(jù)和物聯(lián)網(wǎng)項目給IT基礎(chǔ)架構(gòu)帶來了***的壓力。

Internet of Things(IoT) 和大數(shù)據(jù)應(yīng)用已經(jīng)給網(wǎng)絡(luò)和存儲架構(gòu)帶來了壓力，更不用說這還需要IT專家使用不同的技能和工具來管理這些新的部署了。

[[164302]]

雖然執(zhí)行起來很有挑戰(zhàn)性，但是也有一些為IT團隊而設(shè)的指導(dǎo)方針來幫助他們托管IoT和大數(shù)據(jù)。這得從審查基礎(chǔ)架構(gòu)中大規(guī)模、數(shù)據(jù)密集型的項目需求開始。

更多的處理能力

一旦項目進入到具體的實施階段，IT組織連同它的硬件、軟件和服務(wù)供應(yīng)商很可能需要去定義合適的系統(tǒng)架構(gòu)和操作系統(tǒng)，每個系統(tǒng)處理器的數(shù)量以及系統(tǒng)的數(shù)量——不管是物理的、虛擬的還是基于云的——這需要一些主動性。

大數(shù)據(jù)項目大部分是基于Windows或者Linux操作系統(tǒng)，架構(gòu)在業(yè)界標準的x86平臺服務(wù)器上的。但在一些情況下，也有一些基于大型機或者單一廠商系統(tǒng)架構(gòu)和操作系統(tǒng)的實用的工具。大多數(shù)情況下，IT團隊會將業(yè)界標準的服務(wù)器使用scale-out架構(gòu)做成集群，以支持需要大量計算、內(nèi)存、網(wǎng)絡(luò)和存儲的負載。

IoT項目也趨向于包含基于單一廠家的后端系統(tǒng)以及大型機。

要***化可使用的處理能力，同時減少在硬件上的總體投資，需要很好地對系統(tǒng)、集群和其他組件進行配置。這需要很明白企業(yè)的目標以及深入了解所選的大數(shù)據(jù)工具和NoSQL數(shù)據(jù)庫。同樣的，對于選擇與繁雜的不同智能手機、平板、汽車和從未如此擴張的其他智能設(shè)備進行通信的工具，也需要有一定的了解。

錯誤配置的服務(wù)器集群或者其他基礎(chǔ)架構(gòu)的重大錯失(甚至選擇了錯誤的工具)都可能成為項目操作的阻礙并且導(dǎo)致項目失敗。

有一些后端數(shù)據(jù)分析和報告工具在一個大集群系統(tǒng)里面運行，有一些則通過其他小的集群來支持：一些小集群負責(zé)存儲分析需要用的原始數(shù)據(jù)，有一些小集群負責(zé)提供將原始數(shù)據(jù)處理成有用信息的工具，另一些小集群可能被用來支持將有用的信息轉(zhuǎn)換為適合的格式(表格、圖形或者其他形式)，提供給分析師或者數(shù)據(jù)科學(xué)家。

IoT項目還需要增加響應(yīng)客戶設(shè)備，提供需求的信息、指導(dǎo)或幫助的功能。企業(yè)需要熟悉這些工具的專家，以及對如何使用這些工具有很全面的了解。

為自己信任的顧問和供應(yīng)商投入時間，學(xué)習(xí)對選擇的這些工具和方法進行技術(shù)支持需要什么。

對于內(nèi)存、存儲和網(wǎng)絡(luò)的關(guān)注

僅僅增加更多的系統(tǒng)、內(nèi)存和存儲并不總能提高IoT和大數(shù)據(jù)環(huán)境的綜合性能。不同的方法和工具需要不一樣的系統(tǒng)內(nèi)存和處理能力。

每一種方法和所關(guān)聯(lián)的工具都有自己的限制。建設(shè)IoT和/或大數(shù)據(jù)平臺的IT規(guī)劃師需要對每一種考慮在內(nèi)的工具所需要的資源進行調(diào)研，同時需要知道在資源充足的情況下他們會使用哪一種工具。

如果企業(yè)安裝了比所選工具所需更多的內(nèi)存，那么這僅僅會增加能源消耗和熱量。非但不會給整體性能帶來任何幫助，反而會給數(shù)據(jù)中心能源和冷卻系統(tǒng)帶來不需要的壓力。

IoT和大數(shù)據(jù)平臺另一個參數(shù)是存儲的性能和容量。就像處理能力和內(nèi)存容量一樣，存儲設(shè)備的選擇、存儲的專用能力和存儲的聯(lián)網(wǎng)方式都能對大數(shù)據(jù)產(chǎn)品的優(yōu)化性能有幫助。在IoT技術(shù)的例子里，響應(yīng)速度的快慢將直接影響到客戶是否喜歡這個企業(yè)(產(chǎn)品)。

就和內(nèi)存和計算組件一樣，存儲的配置也必須滿足所選工具和方法的需求。不要指望簡單通過添加更多存儲，選擇更快的設(shè)備或者升級存儲網(wǎng)絡(luò)來得到效果。即使存儲性能增加了，但是也可能被網(wǎng)絡(luò)瓶頸帶來的影響抵消。

有一些大數(shù)據(jù)工具使用額外的內(nèi)存能力作為數(shù)據(jù)存儲的一部分，創(chuàng)造了內(nèi)存里的數(shù)據(jù)庫。這種方法能加速分析和報告的處理。但這是一種需要權(quán)衡的方法，因為如果系統(tǒng)沒有被可依賴的電力保護著，一旦失去電力則數(shù)據(jù)也會丟失。

不要被卷入任何一種存儲或者存儲網(wǎng)絡(luò)的炒作中。分析師會指出寄存于內(nèi)存的數(shù)據(jù)庫或者閃存存儲并不會對所有情況都適合。

有一些存儲虛擬化軟件廠家，例如DataCore Software注意到了底層操作系統(tǒng)每一次只能處理一個單一的I/O請求。它的方式是通過增加軟件來讓操作系統(tǒng)能同一時間同步處理多個請求。

顯而易見的是不充分提供(underprovisioned)或者設(shè)計失敗的存儲系統(tǒng)會給大數(shù)據(jù)或者IoT系統(tǒng)帶來效果的降低。

網(wǎng)絡(luò)架構(gòu)對于任何分布式或者集群計算工具來說都是至關(guān)重要的。它的容量、延遲和性能可以促進或阻礙這類技術(shù)。和處理器、內(nèi)存和存儲一樣，網(wǎng)絡(luò)架構(gòu)也需要細心選擇。

當大數(shù)據(jù)工具需要一些數(shù)據(jù)的時候，如果網(wǎng)絡(luò)沒有足夠的容量、響應(yīng)慢或者對于不同類型I/O請求有偏向，那么性能就會變得很差。同樣的事情對處理IoT系統(tǒng)里面智能設(shè)備發(fā)出的小型、突發(fā)式的請求處理上卻并非如此。因此要對兩種類型的請求進行平衡是一種挑戰(zhàn)。

對于其他的組件，需要對網(wǎng)絡(luò)媒介特性進行調(diào)研，例如Gigabit以太網(wǎng)或Fibre Channel，在購買網(wǎng)絡(luò)之前進行成本/效益分析。

我曾經(jīng)看到過一個項目，其目標是捕獲***別的小型移動設(shè)備信息，并且進行分析——這是一個早期的IoT項目。這個公司發(fā)現(xiàn)它的網(wǎng)絡(luò)處理在負載的時候不夠快，因為網(wǎng)絡(luò)設(shè)計之初是為了管理大型數(shù)據(jù)傳輸而非百萬個小型數(shù)據(jù)請求的。