[[177196]]

Python 打算刪除大量涉及像C和C++語(yǔ)言那樣的復(fù)雜內(nèi)存管理。當(dāng)對(duì)象離開(kāi)范圍，就會(huì)被自動(dòng)垃圾收集器回收。然而，對(duì)于由 Python 開(kāi)發(fā)的大型且長(zhǎng)期運(yùn)行的系統(tǒng)來(lái)說(shuō)，內(nèi)存管理是不容小覷的事情。

在這篇博客中，我將會(huì)分享關(guān)于減少 Python 內(nèi)存消耗的方法和分析導(dǎo)致內(nèi)存消耗/膨脹根源的問(wèn)題。這些都是從實(shí)際操作中總結(jié)的經(jīng)驗(yàn)，我們正在構(gòu)建 Datos IO 的 RecoverX 分布式備份和恢復(fù)平臺(tái)，這里主要要介紹的是在 Python(在 C++ ，Java 和 bash 中也有一些類(lèi)似的組件) 中的開(kāi)發(fā)。

Python 垃圾收集

Python解釋器對(duì)正在使用的對(duì)象保持計(jì)數(shù)。當(dāng)對(duì)象不再被引用指向的時(shí)候，垃圾收集器可以釋放該對(duì)象，獲取分配的內(nèi)存。例如，如果你使用常規(guī)的Python(CPython, 不是JPython)時(shí)，Python的垃圾收集器將調(diào)用free()/delete() 。

實(shí)用工具

一、資源(resource)

‘resource’ 模塊用來(lái)查看項(xiàng)目當(dāng)前得的固有的)內(nèi)存消耗

[固有內(nèi)存是項(xiàng)目實(shí)際使用的RAM]

二、對(duì)象(objgraph)

‘objgraph’ 是一個(gè)實(shí)用模塊,可以展示當(dāng)前內(nèi)存中存在的對(duì)象

[objgraph 文檔和實(shí)例地址: https://mg.pov.lt/objgraph/]

來(lái)看看objgraph的簡(jiǎn)單用法:

注意，我們?cè)趦?nèi)存中還持有10,423個(gè)‘dict’的實(shí)例對(duì)象。

三、可視化objgraph依賴(lài)項(xiàng)

Objgraph有個(gè)不錯(cuò)的功能，可以顯示Foo()對(duì)象在內(nèi)存中存在的因素，即，顯示誰(shuí)持有對(duì)它的引用 (在這個(gè)例子中是list ‘l’)。

在RedHat/Centos上, 你可以使用sudo yum install yum install graphviz*安裝graphviz

如需查看對(duì)象字典，d，請(qǐng)參考:

objgraph.show_refs(d, filename=’sample-graph.png’) 

從內(nèi)存使用角度來(lái)看，我們驚奇地發(fā)現(xiàn)——為什么對(duì)象沒(méi)有釋放?這是因?yàn)橛腥嗽诔钟袑?duì)它的引用。

這個(gè)小片段展示了objgraph怎樣提供相關(guān)信息:

在這一案例中, 我們查看了Foo類(lèi)型的隨機(jī)對(duì)象。我們知道該特定對(duì)象被保存在內(nèi)存中，因其引用鏈接在指定范圍內(nèi)。

有時(shí)，以上技巧能幫助我們理解，為什么當(dāng)我們不再使用某對(duì)象時(shí)，Python垃圾回收器沒(méi)有將垃圾回收。

難處理的是，有時(shí)候我們會(huì)發(fā)現(xiàn)Foo()占用了很多內(nèi)存的類(lèi)。這時(shí)我們可以用heapy()來(lái)回答以上問(wèn)題。

四、Heapy

heapy 是一個(gè)實(shí)用的，用于調(diào)試內(nèi)存消耗/泄漏的工具。查看 http://guppy-pe.sourceforge.net/。通常，我將objgraph和heapy搭配使用：用 heapy 查看分配對(duì)象隨時(shí)間增長(zhǎng)的差異，heapy能夠顯示對(duì)象持有的最大內(nèi)存等;用Objgraph找backref鏈(例如：前4節(jié))，嘗試獲取它們不能被釋放的原因。

Heapy的典型用法是在不同地方的代碼中調(diào)用一個(gè)函數(shù)，試圖為內(nèi)存使用量提供大量收集線索，找到可能會(huì)引發(fā)的問(wèn)題：

減少內(nèi)存消耗小技巧

在這一部分，我會(huì)介紹一些自己發(fā)現(xiàn)的可減少內(nèi)存消耗的小竅門(mén).

Slots

當(dāng)你有許多對(duì)象時(shí)候可以使用Slots。Slotting傳達(dá)給Python解釋器：你的對(duì)象不需要?jiǎng)討B(tài)的字典(從上面的例子2.2中，我們看到每個(gè)Foo()對(duì)象內(nèi)部包含一個(gè)字典)

用slots定義你的對(duì)象，讓python解釋器知道你的類(lèi)屬性/成員是固定的.。這樣可以有效地節(jié)約內(nèi)存!

參考以下代碼:

在這個(gè)例子中，減少了60%的內(nèi)存消耗!

駐留：謹(jǐn)防駐留字符串!

Python會(huì)記錄如字符串等不可改變的值(其每個(gè)值的大小依賴(lài)于實(shí)現(xiàn)方法)，這稱(chēng)為駐留。

這是由python解析器完成的，這樣做可以節(jié)省內(nèi)存，并加快比較速度。例如，如果兩個(gè)字符串擁有相同的ID或引用--他們就是全等的。

然而，如果你的程序創(chuàng)建了許多小的字符串，你的內(nèi)存就會(huì)出現(xiàn)膨脹。

生成字符串時(shí)使用Format來(lái)代替“+”

接下來(lái)，在構(gòu)造字符串時(shí)，使用Format來(lái)代替“+”構(gòu)建字符串。

亦即

在我們的系統(tǒng)中，當(dāng)我們將某些字符串構(gòu)造從“+”變?yōu)槭褂胒ormat時(shí)，內(nèi)存會(huì)明顯被節(jié)省。

關(guān)于系統(tǒng)級(jí)別

上面我們討論的技巧可以幫助你找出系統(tǒng)內(nèi)存消耗的問(wèn)題。但是，隨著時(shí)間的推移，python進(jìn)程產(chǎn)生的內(nèi)存消耗會(huì)持續(xù)增加。這似乎與以下問(wèn)題有關(guān):

為什么C中內(nèi)存分配能夠在Python內(nèi)部起作用，這本質(zhì)上是內(nèi)存碎片導(dǎo)致的。因?yàn)?，除非整個(gè)內(nèi)存沒(méi)有使用過(guò)，否則該分配過(guò)程不能調(diào)用‘free’方法。但需要注意的是，內(nèi)存的使用不是根據(jù)你所創(chuàng)建和使用的對(duì)象來(lái)進(jìn)行排列。

內(nèi)存增加也和上面討論的“Interning” 有關(guān)。

以我的經(jīng)驗(yàn)來(lái)看，減少python中內(nèi)存消耗的比例是可行的。在Datos IO中，我曾經(jīng)針對(duì)指定的內(nèi)存消耗進(jìn)程實(shí)現(xiàn)過(guò)一個(gè)工作模塊。對(duì)于序列化的工作單元，我們運(yùn)行了一個(gè)工作進(jìn)程。當(dāng)工作進(jìn)程完成后, 它會(huì)被移除了——這是返回系統(tǒng)全部?jī)?nèi)存的唯一可以有效方法 :)。好的內(nèi)存管理允許增加分配內(nèi)存的大小，即允許工作進(jìn)程長(zhǎng)時(shí)間運(yùn)行。

總結(jié)

我歸納了一些減少python進(jìn)程消耗內(nèi)存的技巧，當(dāng)我們?cè)诖a中尋找內(nèi)存泄漏時(shí)，一種方法是通過(guò)使用Heapy找出哪些Obj占用了較多內(nèi)存，然后通過(guò)使用Objgraph找出內(nèi)存被釋放的原因(除非你認(rèn)為他們本應(yīng)該被釋放)。

總的來(lái)說(shuō)，我覺(jué)得在python中尋找內(nèi)存問(wèn)題是一種修行。隨著時(shí)間的積累，對(duì)于系統(tǒng)中的內(nèi)存膨脹和泄漏問(wèn)題，你能產(chǎn)生一種直覺(jué)判斷，并能更快地解決它們。愿你在發(fā)現(xiàn)問(wèn)題的過(guò)程中找到樂(lè)趣!