決戰(zhàn)秋名山!華為云消息隊(duì)列DMS聯(lián)手老司機(jī)kafka
秋名山的云端,終年云霧彌漫,人跡罕至,但這一切不妨礙它成為競速者的樂園。在最接近云端三KB的路段,蜿蜒狹長,不可預(yù)料,他要求挑戰(zhàn)者支持高并發(fā)的多線操作,并在電石光火間正確有序地處理浪涌的海量數(shù)據(jù)。在這條極限賽道上,神車Kafka自七年前出道以來,已經(jīng)很久沒有遇到過對手了。
“我知道你的苦”,一輛車頭印著碩大鎂光菊花LOGO的新面孔出現(xiàn)在Kafka面前。
Kafka :“……你是?”
神秘車:“在這3kb里,你雖然沒有了對手,但你每次部署要多久?改bug多久?系統(tǒng)升級頭大不?下了山在平穩(wěn)的公路上,你還能不能打敗Mq,Redis那幫老家伙?”
Kafka 放下手中正在調(diào)試的bug驚詫道:“……你是誰,想怎樣,快說說有什么辦法?”
“我叫DMS, 我已經(jīng)完全兼容了你,并把你復(fù)雜的運(yùn)維和部署自動(dòng)化,還有你不具備的(此處省略一萬字)能力,只要你我DK聯(lián)手,天下我有,你要不要考慮下?”神秘車說道。
Kafka沉默了半晌,望著秋名山下依稀闌珊的夜色淡淡的說:“好吧,你說的對,是時(shí)候該跟你走了。"
一萬字DMS能力描述詳細(xì)如下
簡介:分布式消息服務(wù)(DistributedMessage Service)是華為云PaaS基于華為內(nèi)部多年大規(guī)模應(yīng)用實(shí)踐錘煉而來的一款分布式消息中間件。為應(yīng)用系統(tǒng)提供異步的消息隊(duì)列服務(wù)。通過高可用的消息緩沖隊(duì)列,實(shí)現(xiàn)應(yīng)用解耦、突發(fā)流量處理及與第三方的互通和集成。具有大規(guī)模、高可靠、高并發(fā)訪問、可擴(kuò)展且完全托管的特點(diǎn)。DMS幫助云端的應(yīng)用程序組件去耦合,具有很高的成本效益。DMS擁抱開源,提供支持兼容開源Kafka接口,用戶可無縫遷移,按需使用。目前DMS正在火熱公測,不妨試一試DMS帶給你的驚喜,更重要的是,現(xiàn)階段免費(fèi)試用喔!
產(chǎn)品優(yōu)勢
- 全面兼容Kafka 提升效率 -
兼容開源:業(yè)務(wù)系統(tǒng)基于開源的Kafka進(jìn)行開發(fā),只需加入少量認(rèn)證安全配置,即可使用DMS的Kafka隊(duì)列,做到無縫遷移。
消息互通:支持消息多通道,DMS接口可對Kafka隊(duì)列進(jìn)行消息收發(fā),也可用開源Kafka client進(jìn)行消息收發(fā)。
安全保證:華為獨(dú)有的安全加固體系,提供業(yè)務(wù)操作可回溯,消息存儲(chǔ)加密及租戶間有效隔離等有效安全措施。
- 高可靠及可用無憂運(yùn)維 -
數(shù)據(jù)高可靠:提供消息持久化,多副本存儲(chǔ),確保數(shù)據(jù)的高可靠。
服務(wù)高可用:后臺(tái)多集群部署,支持故障自動(dòng)遷移和容錯(cuò),保證用戶關(guān)鍵業(yè)務(wù)的可靠運(yùn)行。
無憂運(yùn)維:提供一整套完整的監(jiān)控告警等運(yùn)維服務(wù),故障自動(dòng)發(fā)現(xiàn)和告警,避免7*24小時(shí)人工值守。
核心特性
細(xì)粒度靈活控制:DMS支持RBAC(基于角色訪問控制)和PBAC(基于策略訪問控制)兩種訪問控制模式,從而提供更加安全靈活的訪問策略??梢詫?shí)現(xiàn)消息隊(duì)列粒度和API調(diào)用動(dòng)作的安全策略訪問控制,結(jié)合華為云的IAM服務(wù),可以滿足用戶幾乎所有對消息服務(wù)使用的安全要求。
多協(xié)議的訪問:DMS提供多種協(xié)議接入方式,包括1)HTTP 符合REST規(guī)范標(biāo)準(zhǔn)的接入,支持多種語言接入使用,并支持云內(nèi)及云外訪問。2)基于TCP的簡單SDK方式,提供更加高性能的訪問接口;另外,還提供兼容開源Kafka的開放接口,能夠更好地幫助用戶把使用Kafka的應(yīng)用快速上云。
分布式可靠集群和海量隊(duì)列能力:內(nèi)建的分布式集群技術(shù),使得服務(wù)具有高度擴(kuò)展性;***擴(kuò)展的隊(duì)列數(shù)量和可擴(kuò)展的高性能機(jī)制,保證在高并發(fā)、高性能和大規(guī)模場景下的訪問能力,輕松實(shí)現(xiàn)百億級消息的堆積和訪問能力。內(nèi)建消息冗余存儲(chǔ),保證消息存儲(chǔ)的可靠性,有效避免服務(wù)節(jié)點(diǎn)故障。
死信管理:死信是在消費(fèi)環(huán)節(jié)為用戶提供一種不能正常處理消息時(shí)的可選方案,防止因個(gè)別消息不正常導(dǎo)致后續(xù)消息都不能被消費(fèi),造成業(yè)務(wù)阻塞。DMS為用戶提供可視化死信開關(guān)和參數(shù)配置,并提供API接口。在不開啟死信隊(duì)列功能時(shí),對于確認(rèn)失敗或超時(shí)的消息,系統(tǒng)會(huì)進(jìn)行回滾并重投遞。無論是否開啟死信功能,DMS服務(wù)都會(huì)保證消息不丟失。
自定義消息功能:DMS除提供消息隊(duì)列的核心功能外,還提供額外的增強(qiáng)能力,為用戶提供高收益、低成本的***性價(jià)比的消息服務(wù)。消息消費(fèi)重置允許用戶設(shè)置任一可消費(fèi)的時(shí)間點(diǎn)控制向前或向后消費(fèi)進(jìn)度,提高消費(fèi)的靈活性;基于消息標(biāo)簽的消息過濾可實(shí)現(xiàn)選擇性地消費(fèi)包含指定標(biāo)簽的消息;支持消息屬性,每條消息上都可以設(shè)置不同的屬性。
無憂運(yùn)維:消息服務(wù)是云原生服務(wù),整個(gè)消息服務(wù)的運(yùn)維對用戶透明。用戶無需關(guān)心后臺(tái)運(yùn)維情況,只需關(guān)注自身涉及的消息隊(duì)列指標(biāo),支持對入隊(duì)消息數(shù)、請求數(shù)、已經(jīng)消費(fèi)的消息數(shù)、消息堆積數(shù)量等情況的監(jiān)控,并支持配置告警規(guī)則,用戶可以在***時(shí)間通過短信、郵件等獲得業(yè)務(wù)消息隊(duì)列的運(yùn)行使用和負(fù)載狀態(tài)。
適用場景
業(yè)務(wù)解耦:將業(yè)務(wù)中依賴其他系統(tǒng)同時(shí)屬于非核心或不重要的部分使用消息服務(wù),無需同步等待其他系統(tǒng)的處理結(jié)果。如電商網(wǎng)站獲取用戶訂單后,信息放入消息隊(duì)列,會(huì)從隊(duì)列里讀取出庫、發(fā)貨任務(wù)信息然后執(zhí)行。
最終一致性:用于兩個(gè)系統(tǒng)的狀態(tài)最終保持一致,或都成功或都失敗。如用于交易系統(tǒng)的高可靠數(shù)據(jù)傳遞,實(shí)現(xiàn)跨系統(tǒng)的事務(wù)最終一致,降低實(shí)現(xiàn)難度和成本;如預(yù)定門票及軟件打車。
錯(cuò)峰流控:上下游系統(tǒng)處理能力有差異時(shí),可以使用消息服務(wù)轉(zhuǎn)儲(chǔ)系統(tǒng)之間的通信數(shù)據(jù),提供消息堆積緩沖能力,在下游系統(tǒng)有能力處理消息的時(shí)候再處理,減少擁塞、系統(tǒng)崩潰等問題,提高系統(tǒng)的可用性,降低復(fù)雜性。如高峰時(shí)段的注冊、搶購、預(yù)約等。
日志同步:應(yīng)用通過可靠異步方式將日志消息同步到消息服務(wù),再通過其他組件對日志做實(shí)時(shí)或離線分析,也可用于關(guān)鍵日志信息收集,進(jìn)行應(yīng)用監(jiān)控。如注冊時(shí)用戶填寫的個(gè)人信息等。
秋名山云端的神話依然在山頂燃燒,Kafka的***體驗(yàn)讓人欲罷不能,但操心的運(yùn)維、復(fù)雜的安全策略、可靠性易用性的缺失、算不上***的性能發(fā)揮、并不豐富的消息服務(wù)功能,仍需要使用者付出諸多的背后工作,如果你是Kafka老車手,也有上述同樣的煩惱,不妨試一試DMS給帶給你的驚喜,更重要的是,現(xiàn)階段免費(fèi)使用喔。