時(shí)間序列數(shù)據(jù)庫的簡要介紹-InfluxDB，TimescaleDB和QuestDB

基于特定的業(yè)務(wù)需求和用例，從關(guān)系數(shù)據(jù)庫中衍生出了大量新數(shù)據(jù)庫。從內(nèi)存中的鍵值存儲(chǔ)到圖形數(shù)據(jù)庫，從地理空間數(shù)據(jù)庫到時(shí)間序列數(shù)據(jù)庫。在使用關(guān)系型數(shù)據(jù)庫的一般解決方案不是很有效的情況下，所有這些不同類型的數(shù)據(jù)庫都有特定的用途。

盡管有許多不同類型的數(shù)據(jù)庫，但在這里我們將研究時(shí)間序列數(shù)據(jù)庫-處理時(shí)間序列數(shù)據(jù)所需的數(shù)據(jù)庫。

由時(shí)間間隔內(nèi)某物的連續(xù)測量組成的數(shù)據(jù)是時(shí)間序列數(shù)據(jù)。

隨著金融交易的現(xiàn)代化以及物聯(lián)網(wǎng)的出現(xiàn)，對(duì)時(shí)序數(shù)據(jù)庫的需求顯而易見。股票和加密貨幣的價(jià)格每秒鐘變化一次。為了測量這些變化的數(shù)據(jù)并對(duì)該數(shù)據(jù)進(jìn)行分析，我們需要一種有效的存儲(chǔ)和檢索數(shù)據(jù)的方法。

隨著物聯(lián)網(wǎng)設(shè)備在我們生活中的空前滲透，物聯(lián)網(wǎng)設(shè)備生成的數(shù)據(jù)每天都在增加。無論是汽車診斷，房屋的溫度讀數(shù)，迷路的狗的GPS位置，物聯(lián)網(wǎng)設(shè)備無處不在。

物聯(lián)網(wǎng)設(shè)備只能做一件事情，一件事情。通過設(shè)備上的傳感器捕獲信息，并將其發(fā)送到服務(wù)器進(jìn)行存儲(chǔ)。由于現(xiàn)有的通信協(xié)議對(duì)于這種輕量級(jí)的高頻數(shù)據(jù)，流數(shù)據(jù)來說太復(fù)雜了，因此開發(fā)了MQTT來解決物聯(lián)網(wǎng)的消息傳遞。

時(shí)間序列數(shù)據(jù)可以有兩種類型-常規(guī)(通?；跍y量)和不規(guī)則(通?；谑录?。

但是時(shí)間序列數(shù)據(jù)不僅限于物聯(lián)網(wǎng)，它也滲透到整個(gè)互聯(lián)網(wǎng)。捕獲搜索引擎查詢，主題標(biāo)簽，社交媒體帖子的病毒性等趨勢也可以生成時(shí)間序列數(shù)據(jù)。它并沒有就此結(jié)束。在由軟件驅(qū)動(dòng)的世界中，記錄和審核安全性和合規(guī)性至關(guān)重要。所有這些數(shù)據(jù)也可以歸類為時(shí)間序列數(shù)據(jù)。

專門設(shè)計(jì)時(shí)間序列數(shù)據(jù)庫來處理由于捕獲，存儲(chǔ)和分析來自一個(gè)或多個(gè)上述來源的時(shí)間序列數(shù)據(jù)而引起的問題。因此，為簡單起見，讓我們將時(shí)序數(shù)據(jù)定義為：

• 高容量(來自測量的連續(xù)數(shù)據(jù))
• 自然時(shí)間順序(時(shí)間是必不可少的維度)
• 作為整個(gè)數(shù)據(jù)集(比單個(gè)記錄)更有價(jià)值

有了這些信息，時(shí)間序列數(shù)據(jù)庫應(yīng)該能夠存儲(chǔ)大量數(shù)據(jù)，并具有大規(guī)模記錄掃描，數(shù)據(jù)分析和數(shù)據(jù)生命周期管理的能力。如前所述，傳統(tǒng)的事務(wù)數(shù)據(jù)庫雖然可以用于存儲(chǔ)，檢索和處理時(shí)間序列數(shù)據(jù)，但是并不能充分利用可用資源。

特定的問題需要特定的解決方案。

現(xiàn)在，隨著公司意識(shí)到這一事實(shí)，他們開始使用專門的數(shù)據(jù)庫來解決特定的問題。這回到了我開始這篇文章所談?wù)摰膬?nèi)容。在所有其他數(shù)據(jù)庫中，時(shí)間序列數(shù)據(jù)庫在過去兩年中的采用率更高(截至2020年12月的數(shù)據(jù))。

時(shí)間序列數(shù)據(jù)庫使用率增加約2.5倍的主要原因是云和數(shù)據(jù)技術(shù)的融合，以及能夠從較早的地方捕獲數(shù)據(jù)的地方捕獲數(shù)據(jù)的能力，即，汽車的引擎，冰箱，數(shù)十億個(gè)設(shè)備的位置數(shù)據(jù)等等。除了新的來源外，公司還意識(shí)到某些較舊的來源畢竟并不真正適合事務(wù)數(shù)據(jù)庫。所有這些都促進(jìn)了時(shí)間序列數(shù)據(jù)庫的廣泛采用。

時(shí)間序列數(shù)據(jù)庫

考慮到時(shí)間序列數(shù)據(jù)庫的存在，讓我們研究一下如果要嘗試時(shí)間序列數(shù)據(jù)庫可以采取哪些不同的選擇?？梢栽贒B-engines網(wǎng)站上找到完整的時(shí)間序列數(shù)據(jù)庫列表。我將談?wù)撈渲械娜齻€(gè)。

時(shí)序數(shù)據(jù)庫

作為時(shí)間序列的PostgreSQL銷售，它很快就引起了您的注意。默認(rèn)情況下，PostgreSQL對(duì)任何東西都是一種贊美。借助超表和大塊等新的體系結(jié)構(gòu)，TimescaleDB在插入方面的性能提高了15倍以上，在查詢性能上也有了顯著提高。在這里閱讀更多有關(guān)它的信息。

盡管沒有像其他大多數(shù)時(shí)間序列數(shù)據(jù)庫一樣，主要的云提供商在云中沒有針對(duì)TimescaleDB的完全集成的解決方案，但是TimescaleDB可以在所有這些數(shù)據(jù)庫上無縫運(yùn)行。例如，如果您的基礎(chǔ)架構(gòu)位于AWS中，并且您不想在Timescale Cloud中運(yùn)行您的TimescaleDB實(shí)例，則可以使用EC2實(shí)例來安裝官方的TimescaleDB AMI，也可以使用帶有官方頭盔圖的AWS Elastic Kubernetes Services。

InfluxDB

與在PostgreSQL(關(guān)系數(shù)據(jù)庫)中獲得靈感的TimescaleDB不同，該數(shù)據(jù)庫是從頭開始編寫的NoSQL時(shí)間序列數(shù)據(jù)庫。盡管TimescaleDB具有站在被廣泛接受和欽佩的關(guān)系數(shù)據(jù)庫的肩膀上的優(yōu)勢，但I(xiàn)nfluxDB卻走了一條不同的道路。InfluxDB是時(shí)間序列數(shù)據(jù)庫中的佼佼者，但根據(jù)TimescaleDB的研究，它在許多方面都無法擊敗TimescaleDB。

如果您想讀一讀有趣的文章，并想將這兩個(gè)數(shù)據(jù)庫都安裝在系統(tǒng)上以自己了解一下，請(qǐng)轉(zhuǎn)到Oleksander Bausk今天在他的博客上發(fā)布的這個(gè)有趣的比較。

話雖如此，InfluxDB具有很多功能。除了查詢語言InfluxQL和Flux外，InfluxDB還開發(fā)了一種干凈，輕量，基于文本的協(xié)議，該協(xié)議用于將點(diǎn)寫入數(shù)據(jù)庫。值得贊揚(yáng)的是，其他時(shí)間序列數(shù)據(jù)庫(例如QuestDB)已經(jīng)采用了這種方法。

與TimescaleDB一樣，InfluxDB也提供了開箱即用的云解決方案，但是您仍然可以決定在其中一個(gè)云平臺(tái)上運(yùn)行InfluxDB。例如，如果您在AWS上運(yùn)行它，則將對(duì)CloudWatch指標(biāo)，Grafana，RDS，Kinesis等具有本地支持。總而言之，一個(gè)非常好的數(shù)據(jù)庫。由于它是一個(gè)相當(dāng)新的事物，因此很難說它將與基于關(guān)系數(shù)據(jù)庫的時(shí)序數(shù)據(jù)庫競爭。

QuestDB

QuestDB是時(shí)間序列數(shù)據(jù)庫列表中的最新成員，它是最新一批YCombinator之一。QuestDB的一些主要區(qū)別是列式存儲(chǔ)，低內(nèi)存占用，關(guān)系模型在時(shí)間序列上的使用以及可伸縮的無模式提取。與大多數(shù)時(shí)間序列數(shù)據(jù)庫相似，QuestDB還使用官方AMI和Kubernetes Helm Charts在AWS上提供云部署選項(xiàng)。

QuestDB還采用了InfluxDB Line Protocol進(jìn)行接收，而不必?fù)?dān)心隨著數(shù)據(jù)結(jié)構(gòu)的變化而更改架構(gòu)。作為列式數(shù)據(jù)庫，QuestDB無縫處理新列的創(chuàng)建，因此支持無模式提取。

盡管在初期，QuestDB幾乎提供了對(duì)ANSI SQL的完全支持以及對(duì)SQL方言的一些補(bǔ)充，但它創(chuàng)建了許多完全獨(dú)特的功能，使其成為可行的替代品，可能比市場上的其他一些主要數(shù)據(jù)庫更好。

結(jié)論

盡管還有其他幾個(gè)數(shù)據(jù)庫，但我現(xiàn)在只討論了這三個(gè)數(shù)據(jù)庫。從可公開獲得的數(shù)據(jù)中可以明顯看出，向時(shí)序數(shù)據(jù)數(shù)據(jù)庫過渡到時(shí)序數(shù)據(jù)庫。越來越多的公司將開始使用時(shí)間序列數(shù)據(jù)庫作為其數(shù)據(jù)庫堆棧的一部分，不一定取代關(guān)系數(shù)據(jù)庫，而是增加了其數(shù)據(jù)功能。這就是為什么今年將不僅對(duì)時(shí)間序列數(shù)據(jù)庫而且對(duì)市場上出現(xiàn)的所有其他專用數(shù)據(jù)庫特別令人興奮的原因。

原文鏈接：https://towardsdatascience.com/the-case-for-using-timeseries-databases-c060a8afe727