一日一技:實(shí)現(xiàn)有過期時間的LRU緩存
在一日一技:實(shí)現(xiàn)函數(shù)調(diào)用結(jié)果的 LRU 緩存一文中,我們提到Python自帶的LRU緩存lru_cache。通過這個裝飾器可以非常輕松地實(shí)現(xiàn)緩存。
現(xiàn)在我們考慮下面這個應(yīng)用場景:MongoDB中有100對id-用戶名的對應(yīng)關(guān)系,我從Redis中持續(xù)不斷讀取id,如果id能在MongoDB中找到對應(yīng)關(guān)系,那么就把對應(yīng)的用戶名打印出來。如果找不到對應(yīng)關(guān)系,那么就把這個id丟棄。
為了防止頻繁讀取MongoDB,我在程序開始的時候直接讀取這一百對對應(yīng)關(guān)系,并存為字典:
- import pymongo
- import redis
- client = redis.Redis()
- handler = pymongo.MongoClient().weibo.id_name_map
- def read_id_name_map():
- id_name = {}
- for row in handler.find():
- id_name[row['id']] = row['name']
- return id_name
- id_name_map = read_id_name_map()
- while True:
- data = client.blpop('weibo_id')
- user_id = data[1].decode()
- if user_id in id_name_map:
- print(id_name_map[user_id])
大家可以思考一下,上面這段代碼有沒有什么問題。然后繼續(xù)看后面。
如果我現(xiàn)在需要再增加100個id-用戶名的對應(yīng)關(guān)系怎么辦?
由于這個程序運(yùn)行以后就一直阻塞式地讀取Redis,不會停止,所以整個過程只會讀取一次MongoDB。后面即使我向MongoDB中添加了新的對應(yīng)關(guān)系,只要程序不重啟,就無法讀取到新的對應(yīng)關(guān)系。
肯定有同學(xué)想到,在while循環(huán)里面增加一個計時器,每x分鐘就重新調(diào)用一下read_id_name_map()函數(shù),更新對應(yīng)關(guān)系。
不過今天我們要講的是另一個更有創(chuàng)意的辦法,使用lru_cache來實(shí)現(xiàn)。
對于這個例子來說,lru_cache的maxsize參數(shù)只需要設(shè)置為1,因為只需要存放1份對應(yīng)關(guān)系即可。那么我們?nèi)绾巫龅?,比如?0分鐘更新一次呢?我們知道,在使用lru_cache時,如果調(diào)用同一個函數(shù),并且傳入的參數(shù)相同,那么從第二次開始就會使用緩存。現(xiàn)在我們?nèi)绾巫寱r間在每10分鐘內(nèi)相同呢?
我們來看現(xiàn)在的時間戳:1578399211.30042
它除以600,值是1578399211.30042 // 600 = 2630665.0。然后我讓這個時間戳加5分鐘,也就是增加300秒,變成1578399511.30042。這個新的時間戳再除以600,發(fā)現(xiàn)結(jié)果還是2630665.0。但如果原來的時間戳增加超過10分鐘,例如增加了601秒,我們再來看看效果(1578399211.30042 + 601) // 600 = 2630666.0,此時的結(jié)果也發(fā)生了變化。
利用這個特點(diǎn),修改一下我們的代碼:
- import pymongo
- import redis
- import time
- from functools import lru_cache
- client = redis.Redis()
- handler = pymongo.MongoClient().weibo.id_name_map
- @lru_cache(maxsize=1)
- def read_id_name_map(_):
- id_name = {}
- for row in handler.find():
- id_name[row['id']] = row['name']
- return id_name
- while True:
- data = client.blpop('weibo_id')
- id_name_map = read_id_name_map(time.time() // 600)
- user_id = data[1].decode()
- if user_id in id_name_map:
- print(id_name_map[user_id])
現(xiàn)在,我們直接在while循環(huán)內(nèi)部調(diào)用read_id_name_map,如果兩次調(diào)用的時間間隔小于600秒,那么time.time() // 600的值是相同的,第二次直接使用緩存,也就不會查詢MongoDB了。當(dāng)時間超過10分鐘后,時間戳除以600的值增加了,于是緩存沒有命中,進(jìn)入查詢MongoDB的過程,更新id_name_map。實(shí)現(xiàn)了有過期時間的LRU緩存。
補(bǔ)充:可能有同學(xué)注意到定義read_id_name_map函數(shù)的時候,參數(shù)我寫的是下劃線。這是Python 編碼規(guī)范中建議的一種寫法。當(dāng)一個變量不會被使用,但又需要保留時,就可以用下劃線表示。
本文轉(zhuǎn)載自微信公眾號「未聞Code」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系未聞Code公眾號。