Python 打算刪除大量涉及像C和C++語言那樣的復(fù)雜內(nèi)存管理。當(dāng)對象離開范圍，就會被自動垃圾收集器回收。然而，對于由 Python 開發(fā)的大型且長期運行的系統(tǒng)來說，內(nèi)存管理是不容小覷的事情。

　　在這篇博客中，我將會分享關(guān)于減少 Python 內(nèi)存消耗的方法和分析導(dǎo)致內(nèi)存消耗/膨脹根源的問題。這些都是從實際操作中總結(jié)的經(jīng)驗，我們正在構(gòu)建 Datos IO 的 RecoverX 分布式備份和恢復(fù)平臺，這里主要要介紹的是在 Python（在 C++ ，Java 和 bash 中也有一些類似的組件） 中的開發(fā)。

　　Python 垃圾收集

　　Python解釋器對正在使用的對象保持計數(shù)。當(dāng)對象不再被引用指向的時候，垃圾收集器可以釋放該對象，獲取分配的內(nèi)存。例如，如果你使用常規(guī)的Python(CPython, 不是JPython)時，Python的垃圾收集器將調(diào)用free()/delete() 。

　　實用工具

　　資源（resource）

　　resource’ 模塊用來查看項目當(dāng)前得的固有的)內(nèi)存消耗

　　[固有內(nèi)存是項目實際使用的RAM]

　　>>> import resource>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss4332

　　對象（objgraph）

　　objgraph’ 是一個實用模塊,可以展示當(dāng)前內(nèi)存中存在的對象

　　來看看objgraph的簡單用法：

　　import objgraphimport randomimport inspect

　　class Foo(object):

　　def __init__(self):

　　self.val = None

　　def __str__(self):

　　return “foo – val: {0}”.format(self.val)

　　def f():

　　l = []

　　for i in range(3):

　　foo = Foo()

　　#print “id of foo: {0}”.format(id(foo))

　　#print “foo is: {0}”.format(foo)

　　l.append(foo)

　　return l

　　def main():

　　d = {}

　　l = f()

　　d[‘k’] = l

　　print “l(fā)ist l has {0} objectsoftype Foo()”.format(len(l))

　　objgraph.show_most_common_types()

　　objgraph.show_backrefs(random.choice(objgraph.by_type(‘Foo’)),

　　filename=“foo_refs.png”)

　　objgraph.show_refs(d, filename=‘sample-graph.png’)

　　if __name__ == “__main__”:

　　main()

　　pythontest1.py

　　list l has 10000 objectsoftype Foo()

　　dict 10423

　　Foo 10000 ————> Guiltyas charged!

　　tuple 3349

　　wrapper_descriptor 945

　　function 860

　　builtin_function_or_method 616

　　method_descriptor 338

　　weakref 199

　　member_descriptor 161

　　getset_descriptor 107

　　注意，我們在內(nèi)存中還持有10,423個‘dict’的實例對象。

　　可視化objgraph依賴項

　　Objgraph有個不錯的功能，可以顯示Foo()對象在內(nèi)存中存在的因素，即，顯示誰持有對它的引用 (在這個例子中是list ‘l’)。

　　在RedHat/Centos上, 你可以使用sudo yum install yum install graphviz*安裝graphviz

　　如需查看對象字典，d，請參考:

　　objgraph.show_refs(d, filename=’sample-graph.png’)

　　從內(nèi)存使用角度來看，我們驚奇地發(fā)現(xiàn)——為什么對象沒有釋放?這是因為有人在持有對它的引用。

　　這個小片段展示了objgraph怎樣提供相關(guān)信息:

　　objgraph.show_backrefs(random.choice(objgraph.by_type(‘Foo’)),

　　filename=“foo_refs.png”)

在這一案例中, 我們查看了Foo類型的隨機對象。我們知道該特定對象被保存在內(nèi)存中，因其引用鏈接在指定范圍內(nèi)。

　　有時，以上技巧能幫助我們理解，為什么當(dāng)我們不再使用某對象時，Python垃圾回收器沒有將垃圾回收。

　　難處理的是，有時候我們會發(fā)現(xiàn)Foo()占用了很多內(nèi)存的類。這時我們可以用heapy()來回答以上問題。

　　Heapy

　　heapy 是一個實用的，用于調(diào)試內(nèi)存消耗/泄漏的工具。通常，我將objgraph和heapy搭配使用：用 heapy 查看分配對象隨時間增長的差異，heapy能夠顯示對象持有的最大內(nèi)存等；用Objgraph找backref鏈（例如：前4節(jié)），嘗試獲取它們不能被釋放的原因。

　　Heapy的典型用法是在不同地方的代碼中調(diào)用一個函數(shù)，試圖為內(nèi)存使用量提供大量收集線索，找到可能會引發(fā)的問題：

　　from guppyimport hpy

　　def dump_heap(h, i):

　　“””

　　@param h: Theheap (from hp = hpy(), h = hp.heap())

　　@param i: Identifierstr

　　“””

　　print “Dumpingstatsat: {0}”.format(i)

　　print ‘Memoryusage: {0} (MB)’.format(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss/1024)

　　print “Mostcommontypes:”

　　objgraph.show_most_common_types()

　　print “heapis:”

　　print “{0}”.format(h)

　　by_refs = h.byrcs

　　print “byreferences: {0}”.format(by_refs)

　　print “Morestatsfor topelement..”

　　print “Byclodo (class or dict owner): {0}”.format(by_refs[0].byclodo)

　　print “Bysize: {0}”.format(by_refs[0].bysize)

　　print “Byid: {0}”.format(by_refs[0].byid)

　　減少內(nèi)存消耗小技巧

　　在這一部分，我會介紹一些自己發(fā)現(xiàn)的可減少內(nèi)存消耗的小竅門.

　　Slots

　　當(dāng)你有許多對象時候可以使用Slots。Slotting傳達(dá)給Python解釋器：你的對象不需要動態(tài)的字典(從上面的例子2.2中，我們看到每個Foo()對象內(nèi)部包含一個字典)

　　用slots定義你的對象，讓python解釋器知道你的類屬性/成員是固定的.。這樣可以有效地節(jié)約內(nèi)存!

　　參考以下代碼：

　　import resourceclass Foo(object):

　　#__slots__ = (‘val1’, ‘val2’, ‘val3’, ‘val4’, ‘val5’, ‘val6’)

　　def __init__(self, val):

　　self.val1 = val+1

　　self.val2 = val+2

　　self.val3 = val+3

　　self.val4 = val+4

　　self.val5 = val+5

　　self.val6 = val+6

　　def f(count):

　　l = []

　　for i in range(count):

　　foo = Foo(i)

　　l.append(foo)

　　return l

　　def main():

　　count = 10000

　　l = f(count)

　　mem = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss

　　print “Memoryusageis: {0} KB”.format(mem)

　　print “Sizeperfooobj: {0} KB”.format(float(mem)/count)

　　if __name__ == “__main__”:

　　main()

　　[vagrant@datosdevtemp]$ pythontest2.py

　　Memoryusageis: 16672 KB

　　Sizeperfooobj: 1.6672 KB

　　Nowun-commentthisline: #__slots__ = (‘val1’, ‘val2’, ‘val3’, ‘val4’, ‘val5’, ‘val6’)

　　[vagrant@datosdevtemp]$ pythontest2.py

　　Memoryusageis: 6576 KB

　　Sizeperfooobj: 0.6576 KB

　　在這個例子中，減少了60%的內(nèi)存消耗！

　　駐留：謹(jǐn)防駐留字符串！

　　Python會記錄如字符串等不可改變的值（其每個值的大小依賴于實現(xiàn)方法），這稱為駐留。

　　>>> t = “abcdefghijklmnopqrstuvwxyz”>>> p = “abcdefghijklmnopqrstuvwxyz”>>> id(t)139863272322872

　　>>> id(p)139863272322872

　　這是由python解析器完成的，這樣做可以節(jié)省內(nèi)存，并加快比較速度。例如，如果兩個字符串擁有相同的ID或引用–他們就是全等的。

　　然而，如果你的程序創(chuàng)建了許多小的字符串，你的內(nèi)存就會出現(xiàn)膨脹。

　　生成字符串時使用Format來代替“+”

　　接下來，在構(gòu)造字符串時，使用Format來代替“+”構(gòu)建字符串。

　　亦即，

　　st = “{0}_{1}_{2}_{3}”.format(a,b,c,d) # 對內(nèi)存更好，不創(chuàng)建臨時變量stst2 = a + ‘_’ + b + ‘_’ + c + ‘_’ + d # 在每個“+”時創(chuàng)建一個臨時str，這些都是駐留在內(nèi)存中的。

　　在我們的系統(tǒng)中，當(dāng)我們將某些字符串構(gòu)造從“+”變?yōu)槭褂?/span>format時，內(nèi)存會明顯被節(jié)省。

　　關(guān)于系統(tǒng)級別

　　上面我們討論的技巧可以幫助你找出系統(tǒng)內(nèi)存消耗的問題。但是，隨著時間的推移，python進(jìn)程產(chǎn)生的內(nèi)存消耗會持續(xù)增加。這似乎與以下問題有關(guān):

　?。?nbsp;為什么C中內(nèi)存分配能夠在Python內(nèi)部起作用，這本質(zhì)上是內(nèi)存碎片導(dǎo)致的。因為，除非整個內(nèi)存沒有使用過，否則該分配過程不能調(diào)用‘free’方法。但需要注意的是，內(nèi)存的使用不是根據(jù)你所創(chuàng)建和使用的對象來進(jìn)行排列。

　　． 內(nèi)存增加也和上面討論的“Interning” 有關(guān)。

　　以我的經(jīng)驗來看，減少python中內(nèi)存消耗的比例是可行的。在Datos IO中，我曾經(jīng)針對指定的內(nèi)存消耗進(jìn)程實現(xiàn)過一個工作模塊。對于序列化的工作單元，我們運行了一個工作進(jìn)程。當(dāng)工作進(jìn)程完成后, 它會被移除了——這是返回系統(tǒng)全部內(nèi)存的唯一可以有效方法 :)。好的內(nèi)存管理允許增加分配內(nèi)存的大小，即允許工作進(jìn)程長時間運行。

　　總結(jié)

　　我歸納了一些減少python進(jìn)程消耗內(nèi)存的技巧，當(dāng)我們在代碼中尋找內(nèi)存泄漏時，一種方法是通過使用Heapy找出哪些Obj占用了較多內(nèi)存，然后通過使用Objgraph找出內(nèi)存被釋放的原因（除非你認(rèn)為他們本應(yīng)該被釋放）。

總的來說，我覺得在python中尋找內(nèi)存問題是一種修行。隨著時間的積累，對于系統(tǒng)中的內(nèi)存膨脹和泄漏問題，你能產(chǎn)生一種直覺判斷，并能更快地解決它們。愿你在發(fā)現(xiàn)問題的過程中找到樂趣！

 

來源：伯樂在線