【导读】 中国移动的最大老总boss是谁,下面是小编为你收集整理的,希望对你有帮助!现任中国移动通信集团公司总裁、党组副书记、中国移动有限公司董事长兼CEO。出生于1949年,籍贯浙江温州,汉族,拥有浙江大学工学硕士学位和香港理工大学工商管理博士学位,教授级高级工程师。曾任中国联合通......
发布时间:2023-10-09 05:01:05
本文为 AI 研习社编译的技术博客,原标题 :
Python: How To Reduce Memory Consumption By Half By Adding Just One Line Of Code?
作者 | Alex Maison
翻译 | 邓普斯•杰弗
校对 | 酱番梨 整理 | 菠萝妹
原文链接:https://medium.com/@alexmaisiura/python-how-to-reduce-memory-consumption-by-half-by-adding-just-one-line-of-code-56be6443d524
我想与大家分享一些我和我的团队在一个项目中经历的一些问题。在这个项目中,我们必须要存储和处理一个相当大的动态列表。测试人员在测试过程中,抱怨内存不足。下面介绍一个简单的方法,通过添加一行代码来解决这个问题。
图片的结果
下面我来解释一下,它是如何运行的。
首先,我们考虑一个简单的"learning"例子,创建一个Dataltem 类,该类是一个人的个人信息,例如姓名,年龄,地址等。
classDataItem(object):
def__init__(self, name, age, address):
self.name = name
self.age = age
self.address = address
初学者的问题:如何知道一个以上这样的对象占用多少内存?
首先,让我们试着解决一下:
d1 = DataItem("Alex", 42, "-")
print("sys.getsizeof(d1):", sys.getsizeof(d1))
我们得到的答案是56bytes,这似乎占用了很少的内存,相当满意喽。那么,我们在尝试另一个包含更多数据的对象例子:
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print("sys.getsizeof(d2):", sys.getsizeof(d2))
答案仍然是56bytes,此刻,似乎我们意识到哪里有些不对?并不是所有的事情都第一眼所见那样。
例如,sys.getsizeof("")返回33bytes,是的一个多达33个字节的空行!并且sys.getsizeof(1)返回24bytes,一个整个数字占用24个bytes(我想咨询C语言程序员,远离屏幕,不想在进一步阅读,以免对美观失去信心)。对于更复杂的元素,如字典,sys.getsizeof(.())返回272字节,这是针对空字典的,我不会再继续了,我希望原理是明确的,并且RAM的制造商需要出售他们的芯片。
但是,我们回到我们的DataItem类和最初的初学者的疑惑。
这个类,占多少内存?
首先,我们一小写的形式将这个类的完整内容输出:
defdump(obj):
forattr indir(obj):
print(" obj.%s = %r"% (attr, getattr(obj, attr)))
这个函数将显示隐藏的“幕后”使所有Python函数(类型、继承和其他内容)都能够正常工作的内容。
结果令人印象深刻:
这一切内容占用多少内存?
下边有一个函数可以通过递归的方式,调用getsizeof函数,计算对象实际数据量。
defget_size(obj, seen=None):
# From
# Recursively finds size of objects
size = sys.getsizeof(obj)
ifseen isNone:
seen = set()
obj_id = id(obj)
ifobj_id inseen:
return0
# Important mark as seen *before* entering recursion to gracefully handle
# self-referential objects
seen.add(obj_id)
ifisinstance(obj, dict):
size += sum([get_size(v, seen) forv inobj.values()])
size += sum([get_size(k, seen) fork inobj.keys()])
elifhasattr(obj, '__dict__'):
size += get_size(obj.__dict__, seen)
elifhasattr(obj, '__iter__') andnotisinstance(obj, (str, bytes, bytearray)):
size += sum([get_size(i, seen) fori inobj])
returnsize
让我们试一试:
d1 = DataItem("Alex", 42, "-")
print("get_size(d1):", get_size(d1))
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print("get_size(d2):", get_size(d2))
我们获得的答案分别为460bytes和484bytes,这结果似乎是真实的。
使用这个函数,你可以进行一系列的实验。例如,我想知道如果DataItem结构放在列表中,数据将占用多少空间。get_size ([d1])函数返回532bytes,显然,这与上面说的460+的开销相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的结果更有趣——我们得到了871字节,只是稍微多一点,也就是说Python足够聪明,不会再次为同一个对象分配内存。
现在,我们来看一看问题的第二部分。
是否存在减少内存开销的可能呢?
是的,可以的。Python是一个解释器,我们可以在任何时候扩展我们的类,例如,添加一个新的字段:
d1 = DataItem("Alex", 42, "-")
print("get_size(d1):", get_size(d1))
d1.weight = 66
print("get_size(d1):", get_size(d1))
非常好,但是如果我们不需要这个功能呢?我们能强制解释器来指定类的列表对象使用__slots__命令:
classDataItem(object):
__slots__= ['name', 'age', 'address']
def__init__(self, name, age, address):
self.name = name
self.age = age
self.address = address
更多信息可以在文档(RTFM)中找到,其中写到“__ dict__和__weakref__”。使用__dict__节省的空间非常大”。
我们确认:是的,确实很重要,get_size (d1)返回…64字节,而不是460字节,即少7倍。另外,创建对象的速度要快20%(请参阅本文的第一个屏幕截图)。
唉,真正使用如此大的内存增益并不是因为其他开销。通过简单地添加元素,创建一个100,000的数组,并查看内存消耗:
data = []
forp inrange(100000):
data.append(DataItem("Alex", 42, "middle of nowhere"))
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
total = sum(stat.size forstatintop_stats)
print("Total allocated size: %.1f MB"% (total / (1024*1024)))
我们不使用__slots__占用内存16.8MB,使用时占用6.9MB。这个操作当然不是最好的,但是确实代码改变的最小的。(Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.)
现在的缺点。激活__slots__禁止所有元素的创建,包括__dict__,这意味着,例如,一下代码将结构转换成json将不运行:
deftoJSON(self):
returnjson.dumps(self.__dict__)
这个问题很容易修复,它是足以产生dict编程方式,通过所有元素的循环:
deftoJSON(self):
data = dict()
forvar inself.__slots__:
data[var] = getattr(self, var)
returnjson.dumps(data)
也不可能动态给这个类添加新类变量,但是在这个例子中,这并不是必需的。
今天的最后一个测试。有趣的是整个程序需要多少内存。添加一个无限循环的程序,以便它不结束,看看Windows任务管理器中的内存消耗。
没有 __slots__:
6.9Mb 变成 27Mb … 好家伙, 毕竟, 我们节省了内存, 27Mb 代替 70 ,对于增加一行代码来说并不是一个坏的例子
注意:TraceMelc调试库使用了许多附加内存。显然,她为每个创建的对象添加了额外的元素。如果关闭它,总的内存消耗将少得多,截屏显示两个选项:
如果你想节省更多的内存呢?
这可以使用numpy库,它允许您以C样式创建结构,但是在我的例子中,它需要对代码进行更深入的细化,并且第一种方法就足够了。
奇怪的是在Habré从来没有详细分析使用__slots__,我希望本文将填补这一空缺。
结论
这篇文章似乎是一个anti-Python广告,但并不是。Python非常可靠(为了“降低”Python程序,您必须非常努力),它是一种易于阅读和方便编写代码的语言。这些优点在很多情况下都大于缺点,但是如果您需要最大的性能和效率,您可以使用像numpy这样的库,它是用C++编写的,它可以很快和高效地与数据一起工作。
感谢大家的关注,coding快乐!
想要继续查看该篇文章相关链接和参考文献?
https://ai.yanxishe.com/page/TextTranslation/1281
【导读】 凤凰古城在什么地方,下面是小编为你收集整理的,希望对你有帮助!凤凰古城在哪里位于湖南省湘西土家族苗族自治州的西南部,土地总面积约10平方千米。2010年底约5万人口,由苗族、汉族、土家族等28个民族组成,为典型的少数民族聚居区。凤凰古城,建于明代嘉靖三十五年(1......
发布时间:2023-10-08 10:01:10
【导读】 喜马拉雅山在哪,下面是小编为你收集整理的,希望对你有帮助!喜马拉雅山脉位于中国西藏与巴基斯坦、印度、尼泊尔、不丹等国边境上,其主要部分在中国和尼泊尔交接处,西起克什米尔的南迦帕尔巴特峰,东至雅鲁藏布江大拐弯处的南迦巴瓦峰,藏语意为雪的故乡,是世界海拔最高的山......
发布时间:2023-10-08 09:01:11
【导读】 炖羊肉最忌讳两种佐料:大料和料酒(会使味道改变),下面是小编为你收集整理的,希望对你有帮助!如今天气越来越冷了,在冷的时候,人们最喜欢做一些饱腹还会使身体暖起来的食物,其中就有许多人喜欢炖汤,而羊肉汤也是大部分人在炖汤时的首选。羊肉的膻味比较重,因此人们在烹饪时会加入佐料调味,不过并不是所有......
发布时间:2023-10-08 08:01:09
【导读】 粉皮怎么做,下面是小编为你收集整理的,希望对你有帮助!1、准备好所用原料。2、黄瓜、胡萝卜洗净,切成丝,放入碗中。3、大蒜去皮,拍成蒜蓉。4、取2张干粉皮,放入锅中,加入水,没过粉皮,煮至4分钟。5、粉皮煮至透明后捞入冷水中冲凉。6、沥干水分后切成条状。......
发布时间:2023-10-08 07:01:17
【导读】 如何制作桑葚干,下面是小编为你收集整理的,希望对你有帮助!1、用淡盐水浸泡一下桑葚,控干水分。2、把桑葚均匀地撒到干果机内。3、设置63度,时间约为24小时。4、烘干完成,即可食用,可以配上稀饭或者面包食用,也可以加入麦片中食用。桑葚营养价值:桑葚富含丰富的......
发布时间:2023-10-08 06:01:10
【导读】 成语皮里阳秋和皮里春秋的区别,下面是小编为你收集整理的,希望对你有帮助!中国文化中,成语绝对算得上一个大头了。从小我们就有成语造句、成语故事,写作文的时候,成语也是一个加分项。可是有时候有的成语真的长得很像,不仅读音像,意思也像。要说成语,里面的学问可真是太多了。不仅每个......
发布时间:2023-10-08 05:15:47
【导读】 炒的丝瓜苦怎么回事,下面是小编为你收集整理的,希望对你有帮助!苦的原因主要有两个,一是植物在开花授粉时串粉了,不同品种丝瓜之间、不同植物之间都可能会串粉;二是在当年气候异常等环境影响下,人工栽培的丝瓜、瓠瓜也会出现苦味。如果丝瓜变苦了, 建议扔掉不要再食用。苦丝......
发布时间:2023-10-08 05:01:10
【导读】 马奈奥林匹亚之谜,奥林匹亚被封杀的原因揭秘,下面是小编为你收集整理的,希望对你有帮助!《奥林匹亚》被称为是最受争议的画作之一,从作品问世至今争议不断。奥林匹亚画中是一个裸体女人,在很早前就有裸体画,为何这幅画会受这么大争议?奥林匹亚之谜令人们疑惑。其实这个不难理解,奥林匹亚之谜的原因就......
发布时间:2023-10-08 04:07:42
【导读】 甘肃省有哪些职高学校,下面是小编为你收集整理的,希望对你有帮助!学校有:甘肃省商业学校、长庆石油学校、兰州铁路机械学校、兰州石油化工学校、甘肃省林业学校、兰州培黎石油学校、西北工业学校、兰州气象学校、甘肃省交通学校、甘肃省畜牧学校、甘肃省卫生学校、定西地区临洮农校......
发布时间:2023-10-08 04:01:13
伽马射线暴是不可以防御的,因为他的威力非常大,他只要散发射线基本上都可以覆盖整个地球。伽马射线暴的威力强到无法想象,在射线暴爆发的时候,同时还会有非常多的辐射,对人类会产生极大的危害。不仅仅是人类,整个地球的人都很难阻止,科学也无法防御这些力量。...
发布时间:2023-10-08 04:00:11
【导读】 神秘的所罗门宝藏之谜,耶和华神庙下隐藏价值连城宝藏,下面是小编为你收集整理的,希望对你有帮助!在古代,很多人都喜欢将值钱的东西藏起来,因此找寻宝藏成为一些探险者的工作。所罗门宝藏之谜是最为著名的宝藏之一,在已过去的几千年时间,很多寻宝人都去找寻过这个宝藏,但都无功而返。因此所罗门宝藏之谜,至今......
发布时间:2023-10-08 03:01:15
蜂鸟鹰蛾是一种长相奇特的昆虫,也被称为昆虫界的“四不像”,虽然它属于昆虫,但是大小与蜂鸟类似,长得又像飞蛾又像鸟,但是实际上只是一种外形怪异的飞蛾,还是不折不扣的害虫。它们原本生活在南欧和北非,后来传入亚洲,如今在我国也能见到这种生物,但并不常见。...
发布时间:2023-10-08 03:00:12