自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

存儲(chǔ)
表存儲(chǔ)是支持多種數(shù)據(jù)模型的通用分布式NoSQL數(shù)據(jù)庫。 當(dāng)前可用的數(shù)據(jù)模型包括寬列(BigTable)和時(shí)間軸(消息數(shù)據(jù)模型)。

[[315374]]

背景

近年來,隨著物聯(lián)網(wǎng)的發(fā)展,時(shí)間序列數(shù)據(jù)呈爆炸式增長。 根據(jù)過去兩年在DB-Engines中收集的數(shù)據(jù)庫類型的增長趨勢,時(shí)間序列數(shù)據(jù)庫一直在快速增長。 這些大型開源時(shí)間序列數(shù)據(jù)庫的實(shí)現(xiàn)各不相同,但沒有一個(gè)是完美的。 但是,可以結(jié)合使用這些數(shù)據(jù)庫的優(yōu)勢來實(shí)現(xiàn)完美的時(shí)間序列數(shù)據(jù)庫。

表存儲(chǔ)是阿里云開發(fā)的分布式NoSQL數(shù)據(jù)庫。 它具有多模型設(shè)計(jì),其中包括與BigTable相同的寬列模型,以及消息數(shù)據(jù)的時(shí)間軸模型。 在存儲(chǔ)模型,數(shù)據(jù)大小以及寫入和查詢功能方面,它可以更好地滿足時(shí)間序列數(shù)據(jù)方案的要求。 但是,作為通用模型數(shù)據(jù)庫,如果時(shí)間序列數(shù)據(jù)存儲(chǔ)要充分利用基礎(chǔ)數(shù)據(jù)庫的功能,則表的模式設(shè)計(jì)和計(jì)算集成需要特殊的設(shè)計(jì),例如用于HBase和UID編碼的OpenTSDB的RowKey設(shè)計(jì)。 。

本文涉及該體系結(jié)構(gòu),重點(diǎn)關(guān)注時(shí)間序列數(shù)據(jù)的數(shù)據(jù)模型定義和核心處理流程,以及基于表存儲(chǔ)構(gòu)建時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)。 將來,將有一篇關(guān)于解決方案的文章,它將為時(shí)間序列數(shù)據(jù)和元數(shù)據(jù)存儲(chǔ)提供高效的架構(gòu)設(shè)計(jì)和索引設(shè)計(jì)。 最后,還將有一篇關(guān)于計(jì)算的文章,提供了一些用于時(shí)間序列數(shù)據(jù)流計(jì)算和時(shí)間序列分析的項(xiàng)目設(shè)計(jì)。

什么是時(shí)間序列數(shù)據(jù)?

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

時(shí)間序列數(shù)據(jù)分為兩種主要類型:"監(jiān)視"時(shí)間序列數(shù)據(jù)和"狀態(tài)"時(shí)間序列數(shù)據(jù)。 當(dāng)前的開源時(shí)間序列數(shù)據(jù)庫都集中在時(shí)間序列數(shù)據(jù)的監(jiān)視類型上,并且在這種情況下針對數(shù)據(jù)特征進(jìn)行了特定的優(yōu)化。 但是,根據(jù)時(shí)間序列數(shù)據(jù)的特征,還有另一種類型的時(shí)間序列數(shù)據(jù),即"狀態(tài)"時(shí)間序列數(shù)據(jù)。 這兩種時(shí)間序列數(shù)據(jù)對應(yīng)于不同的場景。 顧名思義,監(jiān)視類型對應(yīng)于監(jiān)視方案,而狀態(tài)類型則適用于其他方案,例如跟蹤和異常狀態(tài)記錄。 我們最常見的程序包跟蹤用于狀態(tài)時(shí)間序列數(shù)據(jù)。

兩種類型的數(shù)據(jù)都?xì)w為"時(shí)間序列"的原因是,它們在數(shù)據(jù)模型定義,數(shù)據(jù)收集以及數(shù)據(jù)存儲(chǔ)和計(jì)算方面都完全一致,并且可以抽象出相同的數(shù)據(jù)庫和相同的技術(shù)體系結(jié)構(gòu)。

時(shí)間序列數(shù)據(jù)模型

在定義時(shí)間序列數(shù)據(jù)模型之前,我們首先對時(shí)間序列數(shù)據(jù)進(jìn)行抽象表示。

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

· 個(gè)人或團(tuán)體(WHO):描述產(chǎn)生數(shù)據(jù)的主題。 該主題可以是人,監(jiān)視指標(biāo)或?qū)ο蟆?它通常描述一個(gè)人具有多維屬性,并且可以使用某個(gè)唯一ID來定位該人。 例如,使用一個(gè)人的ID來找到一個(gè)人,然后使用設(shè)備的ID來找到一個(gè)設(shè)備。 也可以通過多維屬性來定位個(gè)人。 例如,通過使用群集,計(jì)算機(jī)ID和進(jìn)程名稱來查找進(jìn)程。

· 時(shí)間(WHEN):時(shí)間是時(shí)間序列數(shù)據(jù)的最重要特征,并且是將其與其他數(shù)據(jù)區(qū)分開的關(guān)鍵屬性。

· 位置(WHERE):通常使用緯度和經(jīng)度的二維坐標(biāo)來定位位置; 并通過與緯度,經(jīng)度和海拔的三維坐標(biāo)來確定與科學(xué)計(jì)算有關(guān)的領(lǐng)域,例如氣象學(xué)。

· 狀態(tài)(WHAT):用于描述特定個(gè)人在特定時(shí)刻的狀態(tài)。 用于監(jiān)視的時(shí)間序列數(shù)據(jù)通常是數(shù)字描述狀態(tài),而跟蹤數(shù)據(jù)使用事件表示的狀態(tài),其中對于不同的場景有不同的表達(dá)式。

上面是時(shí)間序列數(shù)據(jù)的抽象表示。 每個(gè)開源時(shí)間序列數(shù)據(jù)庫都有自己的時(shí)間序列數(shù)據(jù)模型定義,該模型定義了要監(jiān)視的時(shí)間序列數(shù)據(jù)。 以O(shè)penTSDB數(shù)據(jù)模型為例:

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

監(jiān)視時(shí)間序列數(shù)據(jù)模型定義包括:

· 指標(biāo):用于描述監(jiān)視指標(biāo)。

· 標(biāo)簽:用于定位被監(jiān)視對象,使用一個(gè)或多個(gè)標(biāo)簽對其進(jìn)行描述。

· 時(shí)間戳記:收集監(jiān)視值的時(shí)間點(diǎn)。

· 值:收集的監(jiān)視值,通常是數(shù)字。

監(jiān)視時(shí)間序列數(shù)據(jù)是時(shí)間序列數(shù)據(jù)的最典型類型,并且具有特定的特征。 監(jiān)視時(shí)間序列數(shù)據(jù)的特征確定這些類型的時(shí)間序列數(shù)據(jù)庫具有特定的存儲(chǔ)和計(jì)算方法。 與狀態(tài)時(shí)間序列數(shù)據(jù)相比,它在計(jì)算和存儲(chǔ)方面有特定的優(yōu)化。 例如,聚合計(jì)算將具有幾個(gè)特定的數(shù)字聚合函數(shù),并且存儲(chǔ)上將有專門優(yōu)化的壓縮算法。 在數(shù)據(jù)模型中,監(jiān)視時(shí)間序列數(shù)據(jù)通常不需要表達(dá)位置,即時(shí)空信息。 但是,總體模型與我們對時(shí)間序列的統(tǒng)一抽象表示相關(guān)。

基于監(jiān)視時(shí)間序列數(shù)據(jù)模型,我們可以根據(jù)上述時(shí)間序列數(shù)據(jù)抽象模型定義以下時(shí)間序列數(shù)據(jù)的完整模型:

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

定義包括:

· 名稱:定義數(shù)據(jù)的類型。

· 標(biāo)簽:描述個(gè)人的元數(shù)據(jù)。

· 位置:數(shù)據(jù)的時(shí)空信息。

· 時(shí)間戳:生成數(shù)據(jù)的時(shí)間戳。

· 值:與數(shù)據(jù)相對應(yīng)的值或狀態(tài)。 可以提供多個(gè)值或狀態(tài),這些值或狀態(tài)不必一定是數(shù)字。

這是一個(gè)更完整的時(shí)間序列數(shù)據(jù)模型,與OpenTSDB的監(jiān)視時(shí)間序列數(shù)據(jù)的模型定義有兩個(gè)主要區(qū)別:首先,元數(shù)據(jù)中還有一個(gè)維度,位置。 其次,它可以表達(dá)更多的價(jià)值。

時(shí)間序列數(shù)據(jù)查詢,計(jì)算和分析

時(shí)間序列數(shù)據(jù)具有自己的特定查詢和計(jì)算方法,其中大致包括以下類型:

時(shí)間線檢索

根據(jù)數(shù)據(jù)模型定義,可以使用名稱標(biāo)簽位置來定位個(gè)人。 每個(gè)人都有自己的時(shí)間軸,時(shí)間軸上的點(diǎn)是時(shí)間戳和值。 對于時(shí)間序列數(shù)據(jù)查詢,需要首先定位時(shí)間軸,這是基于元數(shù)據(jù)的一個(gè)或多個(gè)值的組合進(jìn)行檢索的過程。 您還可以根據(jù)元數(shù)據(jù)的關(guān)聯(lián)進(jìn)行深化。

時(shí)間范圍查詢

通過檢索找到時(shí)間軸后,將查詢時(shí)間軸。 在時(shí)間軸上的單個(gè)時(shí)間點(diǎn)上的查詢很少,并且查詢通常在連續(xù)時(shí)間范圍內(nèi)的所有點(diǎn)上進(jìn)行。 通常在此連續(xù)時(shí)間范圍內(nèi)對缺失點(diǎn)進(jìn)行插值。

聚合

可以查詢單個(gè)時(shí)間軸或多個(gè)時(shí)間軸。 對于多個(gè)時(shí)間軸的范圍查詢,通常會(huì)匯總結(jié)果。 此匯總適用于不同時(shí)間軸上同一時(shí)間點(diǎn)的值,通常稱為"后匯總"。

"后聚合"的對立面是"預(yù)聚合",它是在時(shí)間序列數(shù)據(jù)存儲(chǔ)之前將多個(gè)時(shí)間線聚合為一個(gè)時(shí)間線的過程。 預(yù)聚合計(jì)算數(shù)據(jù)然后存儲(chǔ)它,而后聚合查詢存儲(chǔ)的數(shù)據(jù)然后計(jì)算它。

下采樣

下采樣的計(jì)算邏輯與聚合類似。 不同之處在于,下采樣是針對單個(gè)時(shí)間軸而不是多個(gè)時(shí)間軸。 它在單個(gè)時(shí)間軸上聚合時(shí)間范圍內(nèi)的數(shù)據(jù)點(diǎn)。 下采樣的主要目的之一是在很大的時(shí)間范圍內(nèi)顯示數(shù)據(jù)點(diǎn)。 另一個(gè)是降低存儲(chǔ)成本。

分析

進(jìn)行分析以從時(shí)間序列數(shù)據(jù)中提取更多價(jià)值。 有一個(gè)特殊的研究領(lǐng)域稱為"時(shí)間序列分析"。

時(shí)間序列數(shù)據(jù)處理程序

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

時(shí)間序列數(shù)據(jù)處理的核心過程如上所示,包括:

· 數(shù)據(jù)模型:對于時(shí)間序列數(shù)據(jù)的標(biāo)準(zhǔn)定義,收集的時(shí)間序列數(shù)據(jù)必須符合模型的定義,包括時(shí)間序列數(shù)據(jù)的所有特征屬性。

· 流計(jì)算:時(shí)間序列數(shù)據(jù)的預(yù)聚合,下采樣和后聚合。

· 數(shù)據(jù)存儲(chǔ):該存儲(chǔ)系統(tǒng)可提供高吞吐量,大容量和低成本的存儲(chǔ),并支持冷/熱數(shù)據(jù)的分離以及有效的范圍查詢。

· 元數(shù)據(jù)檢索:提供時(shí)間軸元數(shù)據(jù)的存儲(chǔ)和檢索,順序?yàn)閿?shù)千萬至數(shù)億,并支持不同的檢索方法(多維過濾和位置查詢)。

· 數(shù)據(jù)分析:提供時(shí)間序列數(shù)據(jù)的時(shí)間序列分析和計(jì)算功能。

現(xiàn)在讓我們看一下可以在這些核心流程中使用的產(chǎn)品的選擇。

數(shù)據(jù)存儲(chǔ)

時(shí)間序列數(shù)據(jù)是典型的非關(guān)系數(shù)據(jù)。 它的特點(diǎn)是高并發(fā),高吞吐量,大數(shù)據(jù)量以及高寫入和低讀取。 查詢模式通常是范圍查詢。 這些數(shù)據(jù)特征非常適合與NoSQL類型的數(shù)據(jù)庫一起使用。 一些流行的開源時(shí)間序列數(shù)據(jù)庫使用NoSQL數(shù)據(jù)庫作為數(shù)據(jù)存儲(chǔ)層,例如基于HBase的OpenTSDB和基于Cassandra的KairosDB。 因此,就"數(shù)據(jù)存儲(chǔ)"的產(chǎn)品選擇而言,我們可以選擇開源分布式NoSQL數(shù)據(jù)庫(例如HBase或Cassandra)或云服務(wù)(例如阿里云的Table Store)。

流計(jì)算

對于流計(jì)算,我們可以使用JStrom,Spark Streaming和Flink等開源產(chǎn)品,或者使用阿里巴巴的Blink和云產(chǎn)品StreamCompute。

元數(shù)據(jù)搜索

時(shí)間軸的元數(shù)據(jù)也將很大,因此我們將首先考慮使用分布式數(shù)據(jù)庫。 另外,由于查詢模式需要支持檢索,因此數(shù)據(jù)庫需要支持倒排索引和位置索引,因此可以使用開源的Elasticsearch或Solr。

數(shù)據(jù)分析

數(shù)據(jù)分析需要強(qiáng)大的分布式計(jì)算引擎。 我們可以選擇開源軟件Spark,云產(chǎn)品MaxCompute或無服務(wù)器SQL引擎,例如Presto或云產(chǎn)品Data Lake Analytic。

開源時(shí)間序列數(shù)據(jù)庫

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

根據(jù)DB-Engines上數(shù)據(jù)庫的發(fā)展趨勢,我們看到時(shí)間序列數(shù)據(jù)庫在過去兩年中發(fā)展迅速,并且出現(xiàn)了許多出色的開源時(shí)間序列數(shù)據(jù)庫。 主要時(shí)間序列數(shù)據(jù)庫的每種實(shí)現(xiàn)都有其自身的優(yōu)點(diǎn)。 以下是從多個(gè)維度對這些數(shù)據(jù)庫進(jìn)行的全面比較:

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

· 數(shù)據(jù)存儲(chǔ):所有數(shù)據(jù)庫都使用分布式NoSQL(LSM引擎)存儲(chǔ),包括開源分布式數(shù)據(jù)庫(例如HBase和Cassandra)以及云平臺(例如BigTable)以及自行開發(fā)的存儲(chǔ)引擎。

· 聚合:預(yù)聚合完全依賴于外部流計(jì)算引擎,例如Storm或Spark Streaming。 在聚合后級別上,查詢聚合后是一個(gè)交互式過程,因此通常不依賴于流計(jì)算引擎。 不同的時(shí)間序列數(shù)據(jù)庫提供了單線程簡單方法或并發(fā)計(jì)算方法。 自動(dòng)下采樣也是后聚合過程,但是它是流過程而不是交互過程。 此計(jì)算適用于流計(jì)算引擎,但不能以這種方式實(shí)現(xiàn)。

· 元數(shù)據(jù)存儲(chǔ)和檢索:傳統(tǒng)的OpenTSDB沒有專用的元數(shù)據(jù)存儲(chǔ),并且不支持元數(shù)據(jù)的檢索。 通過掃描數(shù)據(jù)表的行鍵來獲取和查詢元數(shù)據(jù)。 KairosDB使用表在Cassandra中存儲(chǔ)元數(shù)據(jù),但由于需要掃描該表,因此檢索效率非常低。 Heroic的二次開發(fā)基于KairosDB。 它使用Elasticsearch進(jìn)行元數(shù)據(jù)存儲(chǔ)和索引,并支持更好的元數(shù)據(jù)檢索。 InfluxDB和Prometheus獨(dú)立地實(shí)現(xiàn)索引編制,但是索引編制并不容易,并且需要數(shù)以千萬計(jì)至數(shù)億美元的時(shí)間軸元數(shù)據(jù)。 在較早的版本中,InfluxDB實(shí)現(xiàn)了一個(gè)內(nèi)存中的元數(shù)據(jù)索引,它的限制更為嚴(yán)格。 例如,時(shí)間軸的規(guī)模受到內(nèi)存大小的限制,并且內(nèi)存索引結(jié)構(gòu)必須掃描所有時(shí)間軸元數(shù)據(jù),從而導(dǎo)致更長的節(jié)點(diǎn)故障轉(zhuǎn)移時(shí)間。

· 數(shù)據(jù)分析:除了Elasticsearch之外,大多數(shù)TSDB均不具備分析功能,除了具有用于后聚合的查詢和分析功能外。 這是一個(gè)重要的優(yōu)勢,它使Elasticsearch可以在時(shí)間序列分析領(lǐng)域立足。

表存儲(chǔ)時(shí)間序列數(shù)據(jù)存儲(chǔ)

作為阿里云開發(fā)的分布式NoSQL數(shù)據(jù)庫,表存儲(chǔ)使用與Bigtable相同的"寬列"數(shù)據(jù)模型。 就存儲(chǔ)模型,數(shù)據(jù)大小以及寫入和查詢功能而言,該產(chǎn)品非常適合時(shí)間序列數(shù)據(jù)方案。 我們還支持監(jiān)視時(shí)間序列產(chǎn)品(例如CloudMonitor),狀態(tài)時(shí)間序列產(chǎn)品(例如AliHealth的藥物跟蹤)以及核心服務(wù)(例如郵政包裹跟蹤)。 還有一個(gè)完整的計(jì)算生態(tài)系統(tǒng)來支持時(shí)間序列數(shù)據(jù)的計(jì)算和分析。 在我們的未來計(jì)劃中,我們對時(shí)間序列方案進(jìn)行了特定的優(yōu)化,例如元數(shù)據(jù)檢索,時(shí)間序列數(shù)據(jù)存儲(chǔ),計(jì)算和分析以及降低成本。

時(shí)間序列數(shù)據(jù)存儲(chǔ)的體系結(jié)構(gòu)

 

以上是基于表存儲(chǔ)的時(shí)間序列數(shù)據(jù)存儲(chǔ),計(jì)算和分析的完整架構(gòu)。 這是一種無服務(wù)器架構(gòu),可以通過組合云產(chǎn)品來提供完整時(shí)間序列方案所需的所有功能。 每個(gè)模塊都有分布式架構(gòu),提供強(qiáng)大的存儲(chǔ)和計(jì)算功能,并且資源可以動(dòng)態(tài)擴(kuò)展。 每個(gè)組件也可以用其他類似的云產(chǎn)品替換。 與開放源時(shí)間序列數(shù)據(jù)庫相比,該體系結(jié)構(gòu)具有靈活性并具有巨大優(yōu)勢。 下面分析了此體系結(jié)構(gòu)的核心優(yōu)勢:

存儲(chǔ)與計(jì)算分離

存儲(chǔ)和計(jì)算的分離是技術(shù)架構(gòu)的一種主要形式。 它的核心優(yōu)勢是提供更靈活的計(jì)算和存儲(chǔ)資源配置,更靈活的成本以及更好的負(fù)載平衡和數(shù)據(jù)管理。 為了讓用戶真正享受存儲(chǔ)和計(jì)算分離帶來的好處,必須在云環(huán)境的上下文中提供用于存儲(chǔ)和計(jì)算分離的產(chǎn)品。

表存儲(chǔ)以技術(shù)架構(gòu)和產(chǎn)品形式實(shí)現(xiàn)存儲(chǔ)和計(jì)算的分離,并可以以相對較低的成本自由分配存儲(chǔ)和計(jì)算資源。 這在時(shí)序數(shù)據(jù)場景中尤其重要,在時(shí)序場景中,計(jì)算相對恒定,而存儲(chǔ)量卻呈線性增長。 優(yōu)化成本的主要方法是分配恒定的計(jì)算資源和無限可擴(kuò)展的存儲(chǔ),從而使計(jì)算驅(qū)動(dòng)存儲(chǔ)而無需承擔(dān)額外的計(jì)算成本。

冷/熱數(shù)據(jù)分離

時(shí)間序列數(shù)據(jù)的顯著特征是熱數(shù)據(jù)訪問和冷數(shù)據(jù)訪問之間的明顯區(qū)別,最近寫入的數(shù)據(jù)被更頻繁地訪問。鑒于此特性,熱數(shù)據(jù)采用具有更高IOPS的存儲(chǔ)介質(zhì),從而大大提高了整體查詢效率。表存儲(chǔ)提供了兩種類型的實(shí)例:高性能實(shí)例和容量實(shí)例,分別對應(yīng)于SSD和SATA存儲(chǔ)介質(zhì)。該服務(wù)功能允許用戶自由分配具有不同規(guī)范的表,以用于不同精度級別的數(shù)據(jù)以及查詢和分析的不同性能要求。例如,對于高并發(fā)和低延遲查詢,將分配高性能實(shí)例;對于冷數(shù)據(jù)存儲(chǔ)和低頻查詢,將分配容量實(shí)例。對于需要更高速度的交互式數(shù)據(jù)分析,可以分配高性能實(shí)例。對于時(shí)間序列數(shù)據(jù)分析和脫機(jī)計(jì)算的方案,可以分配容量實(shí)例。

對于每個(gè)表,可以自由定義數(shù)據(jù)的TTL。 例如,對于高精度表,可以配置相對較短的TTL。 對于低精度表,可以配置更長的TTL。

大部分存儲(chǔ)用于冷數(shù)據(jù)。 對于這些訪問頻率較低的數(shù)據(jù),我們將通過使用擦除編碼和極限壓縮算法來進(jìn)一步降低存儲(chǔ)成本。

數(shù)據(jù)流閉環(huán)

流計(jì)算是時(shí)間序列數(shù)據(jù)計(jì)算中的核心計(jì)算方案。 它對時(shí)間序列數(shù)據(jù)執(zhí)行預(yù)聚合和后聚合。 常見的監(jiān)視系統(tǒng)體系結(jié)構(gòu)是使用前端計(jì)算解決方案。 數(shù)據(jù)的預(yù)聚集和下采樣都在前端計(jì)算中執(zhí)行。 也就是說,在存儲(chǔ)數(shù)據(jù)之前先對其進(jìn)行處理,而存儲(chǔ)的只是結(jié)果。 不再需要第二個(gè)下采樣,并且最多可能需要聚合后查詢。

Table Store與Blink緊密集成,現(xiàn)在可以作為Blink維護(hù)表和結(jié)果表使用。 源表已經(jīng)開發(fā)完畢,可以發(fā)布了。 表存儲(chǔ)可以用作Blink的源和后端,并且整個(gè)數(shù)據(jù)流可以形成一個(gè)閉環(huán),從而提供更靈活的計(jì)算配置。 進(jìn)入Blink后,原始數(shù)據(jù)將進(jìn)行數(shù)據(jù)清洗和預(yù)聚合,然后寫入到熱數(shù)據(jù)表中。 這些數(shù)據(jù)可以自動(dòng)流入Blink進(jìn)行后聚合,并且支持一定時(shí)間段內(nèi)的歷史數(shù)據(jù)回溯。 聚合后的結(jié)果可以寫入冷庫。

除了與Blink集成之外,表存儲(chǔ)還可以與Function Compute集成以進(jìn)行事件編程,并且可以在時(shí)間序列方案中啟用實(shí)時(shí)異常狀態(tài)監(jiān)視。 它還可以通過Stream API讀取增量數(shù)據(jù)以執(zhí)行自定義分析。

大數(shù)據(jù)分析引擎

Table Store與阿里云開發(fā)的分布式計(jì)算引擎(例如MaxCompute(以前稱為ODPS))深度集成。 MaxCompute可以直接讀取Table Store上的數(shù)據(jù)以執(zhí)行分析,從而消除了數(shù)據(jù)的ETL處理。

整個(gè)分析過程目前正在經(jīng)歷一些優(yōu)化。 例如,通過索引優(yōu)化查詢,并在底部提供更多運(yùn)算符來進(jìn)行下推計(jì)算。

服務(wù)能力

總之,Table Store的服務(wù)功能具有零成本集成,即用型功能,全局部署,多語言SDK和完全托管服務(wù)的特點(diǎn)。

元數(shù)據(jù)存儲(chǔ)和檢索

元數(shù)據(jù)也是時(shí)間序列數(shù)據(jù)的非常重要的組成部分。 就數(shù)量而言,它比時(shí)間序列數(shù)據(jù)要小得多,但就查詢復(fù)雜度而言,它要復(fù)雜得多。

根據(jù)上面提供的定義,元數(shù)據(jù)可以主要分為"標(biāo)簽"和"位置"。 標(biāo)簽主要用于多維檢索,而位置主要用于位置檢索。 因此,為了從底層存儲(chǔ)中高效檢索,標(biāo)簽必須實(shí)現(xiàn)反向排名索引,而位置需要實(shí)現(xiàn)位置索引。 服務(wù)級別監(jiān)視系統(tǒng)或跟蹤系統(tǒng)的時(shí)間軸順序?yàn)閿?shù)千萬到數(shù)億,甚至更高。 元數(shù)據(jù)還需要分布式檢索系統(tǒng)來提供高并發(fā)低延遲解決方案。 在行業(yè)中,更可取的實(shí)現(xiàn)方式是使用Elasticsearch來存儲(chǔ)和檢索元數(shù)據(jù)。

摘要

表存儲(chǔ)是支持多種數(shù)據(jù)模型的通用分布式NoSQL數(shù)據(jù)庫。 當(dāng)前可用的數(shù)據(jù)模型包括寬列(BigTable)和時(shí)間軸(消息數(shù)據(jù)模型)。

在行業(yè)中類似數(shù)據(jù)庫產(chǎn)品(例如HBase和Cassandra)的應(yīng)用程序中,時(shí)間序列數(shù)據(jù)是非常重要的領(lǐng)域。 Table Store一直在探索時(shí)間序列數(shù)據(jù)存儲(chǔ)領(lǐng)域。 我們還在不斷完善用于流計(jì)算數(shù)據(jù),數(shù)據(jù)分析優(yōu)化和元數(shù)據(jù)檢索的閉環(huán)構(gòu)建,并努力提供統(tǒng)一的時(shí)間序列數(shù)據(jù)存儲(chǔ)平臺。

(本文翻譯自Alibaba Cloud的文章《Table Store Time Series Data Storage — Architecture》,參考:https://medium.com/@Alibaba_Cloud/table-store-time-series-data-storage-architecture-f686e85cf259)

責(zé)任編輯:武曉燕 來源: 聞數(shù)起舞
相關(guān)推薦

2018-04-23 09:25:24

MySQL結(jié)構(gòu)存儲(chǔ)

2009-06-26 15:58:28

EJB

2011-05-20 09:22:43

Oracle數(shù)據(jù)庫體系結(jié)構(gòu)

2012-02-06 17:22:44

MySQL

2014-07-23 09:33:52

2009-07-15 13:46:26

Swing體系結(jié)構(gòu)

2009-03-30 10:53:37

體系結(jié)構(gòu)數(shù)據(jù)倉庫Oracle

2009-09-11 10:38:03

LINQ體系結(jié)構(gòu)

2013-08-01 11:17:20

SAP

2009-09-08 14:34:42

Linq to SQL

2009-07-10 16:07:10

TikeSwing創(chuàng)建MVC體系結(jié)構(gòu)

2010-04-23 09:13:05

Oracle體系結(jié)構(gòu)

2009-01-18 16:50:31

數(shù)據(jù)倉庫數(shù)據(jù)倉庫概念模型數(shù)據(jù)挖掘

2010-09-25 13:38:23

Inside JVM

2016-12-26 10:29:01

Spring框架結(jié)構(gòu)

2010-06-21 14:51:14

ASON路由

2010-08-16 12:54:21

ASON路由技術(shù)

2012-03-14 11:33:31

ibmdw

2010-09-09 09:46:04

ZigBee協(xié)議棧

2010-09-27 09:43:07

JVM體系結(jié)構(gòu)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號