【转】关于glibc的内存碎片问题

我们项目最近遇到个问题,程序的内存增长很异常,而且在资源释放以后,内存还是不释放。代码中使用的是malloc和free来申请和释放内存,经过排查,排除了内存泄露的可能。最后估计可能是Linux内存管理的问题,但是这个问题和Linux内存管理是矛盾的,就是说,虽然通过top命令看到free很少,但是Buffer或Cache应该很大才对。最后Google了一下,才发现问题根本,下面附上该文章:

=======================================

在dfs修bug的过程中,经常会发现sn节点内存的异常增加。一开始以为是内存泄漏,可是找遍各种工具却 发现不了,终于开始怀疑glibc本身的内存管理,上网查看,果然存在glibc的内存碎片问题。以前一直疑惑不解的sn进程内存非正常增长问题,现在终于找到了答案。汗,看来自己对glibc的了解正是太肤浅了。以下是某高手对glibc的内存管理做的总结:

    Linux用户进程是如何释放内存的,下图是Linux进程使用内存的基本流程:

 
    见图1
 从图中我们可以看出,进程的堆,并不是直接建立在Linux的内核的内存分配策略上的,而是建立在glibc的堆管理策略上的(也就是glibc的动态内存分配策略上),堆的管理是由glibc进行的。
所以我们调用free对malloc得到的内存进行释放的时候,并不是直接释放给操作系统,而是还给了glibc的堆管理实体,而glibc会在把实际的物理内存归还给系统的策略上做一些优化,以便优化用户任务的动态内存分配过程。

那么glibc的堆管理器在什么时候才把物理内存归还给系统呢?
它会从堆的最大线性地址开始,从后向前计算用户任务当前有多少空闲的堆内存(直到碰到使用中的堆内存地址为止),比如在该图中,

    
    见图2
 它会认为有2048k的可释放内存,只有在该值大于某个特定的threshhold时(2.3.6上为64k),它才会把这些内存归还给系统。而在中间的“未使用”内存是不会归还给系统的,所以系统也不可能再利用这块物理内存页(我们假设系统没有swap区和swap文件),也就是说系统的内存会为此减少,除非在它之前的堆内存都用free进行释放以后,glibc的堆管理器才有可能(只是有可能)把该段内存归还给系统。

由此,我们在使用malloc/free时应该小心,特别是在初始化时分配了好多内存,但是在这之后却再也不需要这么多的内存了,而这块内存又没有达到threshhold值或者在堆的最高线性地址处有某块内存没有释放,但是它前面的所有堆内存都释放了;这种情况下,用户任务将会浪费一些物理内存,这在资源比较紧张的嵌入式系统中是不可容忍的。

转自:http://lxhzju.blog.163.com/blog/static/45008200682064536755/

发表评论

电子邮件地址不会被公开。 必填项已用*标注

机器人检查 *