應(yīng)用Redis實(shí)現(xiàn)數(shù)據(jù)的讀寫,同時(shí)利用隊(duì)列處理器定時(shí)將數(shù)據(jù)寫入mysql。
同時(shí)要注意避免沖突,在redis啟動(dòng)時(shí)去mysql讀取所有表鍵值存入redis中,往redis寫數(shù)據(jù)時(shí),對redis主鍵自增并進(jìn)行讀取,若mysql更新失敗,則需要及時(shí)清除緩存及同步redis主鍵。
這樣處理,主要是實(shí)時(shí)讀寫redis,而mysql數(shù)據(jù)則通過隊(duì)列異步處理,緩解mysql壓力,不過這種方法應(yīng)用場景主要基于高并發(fā),而且redis的高可用集群架構(gòu)相對更復(fù)雜,一般不是很推薦。
redis如何做到和mysql數(shù)據(jù)庫的同步
【方案一】
http://www.zhihu.com/question/23401553?sort=created
程序?qū)崿F(xiàn)mysql更新、添加、刪除就刪除redis數(shù)據(jù)。
程序查詢r(jià)edis,不存在就查詢mysql并保存redi
redis和mysql數(shù)據(jù)的同步,代碼級別大致可以這樣做:
讀: 讀redis->沒有,讀mysql->把mysql數(shù)據(jù)寫回redi
寫: 寫mysql->成功,寫redis(捕捉所有mysql的修改,寫入和刪除事件,對redis進(jìn)行操作)
【方案二】
http://www.linuxidc.com/Linux/2015-01/380.htm
實(shí)時(shí)獲取mysql binlog進(jìn)行解析,然后修改redi
MySQL到Redis數(shù)據(jù)方案
無論MySQL還是Redis,自身都帶有數(shù)據(jù)同步的機(jī)制,像比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實(shí)現(xiàn)的,這樣的數(shù)據(jù)其實(shí)還是一個(gè)異步過程,只不過當(dāng)服務(wù)器都在同一內(nèi)網(wǎng)時(shí),異步的延遲幾乎可以忽略。
那么理論上我們也可以用同樣方式,分析MySQL的binlog文件并將數(shù)據(jù)插入Redis。但是這需要對binlog文件以及MySQL有非常深入的理解,同時(shí)由于binlog存在Statement/Row/Mixedlevel多種形式,分析binlog實(shí)現(xiàn)同步的工作量是非常大的。
因此這里選擇了一種開發(fā)成本更加低廉的方式,借用已經(jīng)比較成熟的MySQL UDF,將MySQL數(shù)據(jù)首先放入Gearman中,然后通過一個(gè)自己編寫的PHP Gearman Worker,將數(shù)據(jù)同步到Redis。比分析binlog的方式增加了不少流程,但是實(shí)現(xiàn)成本更低,更容易操作。
【方案三】
使用mysql的udf,詳情請看MySQL :: MySQL 5.1 Reference Manual :: 22.3 Adding New Functions to MySQL 然后通過trigger在表update和insert之后進(jìn)行函數(shù)的調(diào)用,寫入到redis中去。大致是這個(gè)樣子。
【http://www.zhihu.com/question/27738066】
1.首先明確是不是一定要上緩存,當(dāng)前架構(gòu)的瓶頸在哪里,若瓶頸真是數(shù)據(jù)庫操作上,再繼續(xù)往下看。
2.明確memcached和redis的區(qū)別,到底要使用哪個(gè)。前者終究是個(gè)緩存,不可能***保存數(shù)據(jù)(LRU機(jī)制),支持分布式,后者除了緩存的同時(shí)也支持把數(shù)據(jù)持久化到磁盤等,redis要自己去實(shí)現(xiàn)分布式緩存(貌似***版本的已集成),自己去實(shí)現(xiàn)一致性hash。因?yàn)椴恢滥銈兊膽?yīng)用場景,不好說一定要用memcache還是redis,說不定用mongodb會更好,比如在存儲日志方面。
3.緩存量大但又不常變化的數(shù)據(jù),比如評論。
4.你的思路是對的,清晰明了,讀DB前,先讀緩存,如果有直接返回,如果沒有再讀DB,然后寫入緩存層并返回。
5.考慮是否需要主從,讀寫分離,考慮是否分布式部署,考慮是否后續(xù)水平伸縮。
6.想要一勞永逸,后續(xù)維護(hù)和擴(kuò)展方便,那就將現(xiàn)有的代碼架構(gòu)優(yōu)化,按你說的替換數(shù)據(jù)庫組件需要改動(dòng)大量代碼,說明當(dāng)前架構(gòu)存在問題??梢岳矛F(xiàn)有的一些框架,比如SpringMVC,將你的應(yīng)用層和業(yè)務(wù)層和數(shù)據(jù)庫層解耦。再上緩存之前把這些做好。
7.把讀取緩存等操作做成服務(wù)組件,對業(yè)務(wù)層提供服務(wù),業(yè)務(wù)層對應(yīng)用層提供服務(wù)。
8.保留原始數(shù)據(jù)庫組件,優(yōu)化成服務(wù)組件,方便后續(xù)業(yè)務(wù)層靈活調(diào)用緩存或者是數(shù)據(jù)庫。
9.不建議一次性全量上緩存,最開始不動(dòng)核心業(yè)務(wù),可以將邊緣業(yè)務(wù)先換成緩存組件,一步步換至核心業(yè)務(wù)。