1.?内存内存ڴ?й©Դ??
2.内存泄露简介
3.Spring Boot引起的“堆外内存泄漏”排查及经验总结
4.Android C/C++ 内存泄漏分析 unreachable
5.全面解析内存泄漏检测与修复技术
6.什么是内存泄漏
?ڴ?й©Դ??
内存优化掌握了吗?知道如何定位内存问题吗?面试官和蔼地问有些拘谨的小张。小张回答道:“就是泄漏泄漏用LeakCanary检测一下泄漏,找到对应泄漏的源码源码有什用地方,修改错误的内存内存代码,回收没回收的泄漏泄漏引用,优化生命周期线程的源码源码有什用% page显示源码依赖关系。”“那你了解LeakCanary分析内存泄漏的内存内存原理吗?”面试官追问。“不好意思,泄漏泄漏平时没有注意过。源码源码有什用”小张心想:面试怎么总问这个,内存内存我只是泄漏泄漏一个普通的程序员。
前言:
应用性能优化是源码源码有什用开发中不可或缺的一环,而内存优化尤为重要。内存内存内存泄漏导致的泄漏泄漏内存溢出崩溃和内存抖动带来的卡顿不流畅,都在切实影响着用户体验。源码源码有什用LeakCanary常用于定位内存泄漏问题,是时候深入理解它的工作机制了。
名词理解:
hprof:hprof文件是Java的内存快照文件,格式后缀为.hprof,在LeakCanary中用于内存分析。WeakReference:弱引用,当对象仅被weak reference指向,没有任何其他strong reference指向时,在GC运行时,这个对象就会被回收,不论当前内存空间是否足够。在LeakCanary中用于监测被回收的无用对象是否被释放。Curtains:Square的另一个开源框架,用于处理Android窗口的集中式API,在LeakCanary中用于监测window rootView在detach后的内存泄漏。
目录:
本文将从以下几个方面进行分析:
一,怎么用?
查看官网文档可以看出,使用LeakCanary非常简单,只需添加相关依赖即可。debugImplementation只在debug模式的编译和最终的debug apk打包时有效。LeakCanary的初始化代码通过ContentProvider进行,会在AppWatcherInstaller类的oncreate方法中调用真正的初始化代码AppWatcher.manualInstall(application)。在AndroidManifest.xml中注册该provider,注册的ContentProvider会在application启动的时候自动回调oncreate方法。
二,官方阐述
安装LeakCanary后,kdj改良指标源码它会通过4个步骤自动检测并报告内存泄漏:如果ObjectWatcher在等待5秒并运行垃圾收集后没有清除持有的弱引用,则被监视的对象被认为是保留的,并且可能会泄漏。LeakCanary会将其记录到Logcat中,并在泄漏列表展示中用Library Leak标签标记。LeakCanary附带一个已知泄漏的数据库,通过引用名称的模式匹配来识别泄漏,如Library Leaks。对于无法识别的泄漏,可以报告并自定义已知库泄漏的列表。
三,监测activity,fragment,rootView和viewmodel
初始化的代码关键在于AppWatcher作为Android平台使用ObjectWatcher封装的API中心,自动安装配置默认的监听。我们分析了四个默认监听的Watcher,包括ActivityWatcher,FragmentAndViewModelWatcher,RootViewWatcher和ServiceWatcher,分别用于监测activity,fragment,rootView和service的内存泄漏。
四,ObjectWatcher保留对象检查分析
LeakCanary通过ObjectWatcher监控内存泄漏,我们深入分析了其检查过程,包括创建弱引用,检查对应key对象的保留,以及内存快照转储和内存分析。
五,总结
本文全面分析了LeakCanary的实现原理,从安装、使用到内存泄漏的检测和分析,详细介绍了各个组件的作用和工作流程。通过深入理解LeakCanary,开发者可以更有效地定位和解决内存泄漏问题,优化应用性能。阅读源码不仅能深入了解LeakCanary的工作机制,还能学习到内存泄漏检测的通用方法和技巧。
内存泄露简介
在计算机科学领域,内存泄漏是龙虎见底指标源码一个常见的问题,指的是程序未能释放已经不再使用的内存的情况。这并非意味着内存物理上消失,而是程序在分配某段内存后,由于设计错误,未能对其控制,从而导致了内存资源的浪费。这类问题通常仅能被获得程序源代码的开发者识别。 有时,人们可能将任何未必要增加的内存使用量称为内存泄漏,但这在严格意义上是不准确的。通常所说的内存泄漏,特指堆内存的泄漏。堆内存是指程序从堆中分配的、大小任意的内存块(大小可在程序运行时决定),并且在使用完毕后必须明确释放。程序通常通过malloc、calloc、realloc等函数(C++中通过new操作符)从堆中分配内存块,使用完毕后,程序需负责调用free或delete释放该内存块,以确保内存资源的有效管理。若程序未能正确释放内存,即导致了内存泄漏。 内存泄漏与许多其他问题症状相似,但它们之间存在关键区别。内存泄漏通常仅能通过源代码分析来识别,需要开发者深入理解内存管理机制。识别内存泄漏并进行修复是优化程序性能、避免资源浪费的重要步骤。为了防止内存泄漏,开发者需遵循良好的编程实践,确保在使用内存后正确释放,或使用自动内存管理机制(如智能指针在某些语言中)来减少手动内存管理的复杂性。 总的来说,内存泄漏是计算机程序设计中需要重点关注的问题。理解内存管理的基本原则,正确使用分配和释放内存的机制,以及在可能的情况下采用自动内存管理技术,可以有效地预防和解决内存泄漏问题,从而提高程序的影子线背离源码性能和稳定性。扩展资料
在编程时进行动态内存分配是非常必要的。它可以在程序运行的过程中帮助分配所需的内存,而不是在进程启动的时候就进行分配。然而,有效地管理这些内存同样也是非常重要的。在大型的、复杂的应用程序中,内存泄漏是常见的问题。当以前分配的一片内存不再需要使用或无法访问时,但是却并没有释放它,那么对于该进程来说,会因此导致总可用内存的减少,这时就出现了内存泄漏。尽管优秀的编程实践可以确保最少的泄漏,但是根据经验,当使用大量的函数对相同的内存块进行处理时,很可能会出现内存泄漏。尤其是在碰到错误路径的情况下更是如此。Spring Boot引起的“堆外内存泄漏”排查及经验总结
为了更好地实现对项目的管理,我们将组内一个项目迁移到MDP框架(基于Spring Boot),随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因,发现配置了4G堆内内存,但是实际使用的物理内存竟然高达7G,确实不正常。JVM参数配置是“-XX:MetaspaceSize=M -XX:MaxMetaspaceSize=M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=m -XX:InitialCodeCacheSize=m, -Xssk -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”,实际使用的物理内存如下图所示:
使用Java层面的工具定位内存区域(堆内内存、Code区域或者使用unsafe.allocateMemory和DirectByteBuffer申请的堆外内存)。
笔者在项目中添加-XX:NativeMemoryTracking=detailJVM参数重启项目,使用命令jcmd pid VM.native_memory detail查看到的内存分布如下:
发现命令显示的committed的内存小于物理内存,因为jcmd命令显示的内存包含堆内内存、Code区域、通过unsafe.allocateMemory和DirectByteBuffer申请的内存,但是不包含其他Native Code(C代码)申请的堆外内存。所以猜测是使用Native Code申请内存所导致的问题。
为了防止误判,笔者使用了pmap查看内存分布,发现大量的M的地址;而这些地址空间不在jcmd命令所给出的地址空间里面,基本上就断定就是这些M的内存所导致。
使用系统层面的ANDROID源码下载壁纸工具定位堆外内存。
因为已经基本上确定是Native Code所引起,而Java层面的工具不便于排查此类问题,只能使用系统层面的工具去定位问题。
首先,使用了gperftools去定位问题。
从上图可以看出:使用malloc申请的的内存最高到3G之后就释放了,之后始终维持在M-M。笔者第一反应是:难道Native Code中没有使用malloc申请,直接使用mmap/brk申请的?(gperftools原理就使用动态链接的方式替换了操作系统默认的内存分配器(glibc)。)
然后,使用strace去追踪系统调用。
因为使用gperftools没有追踪到这些内存,于是直接使用命令“strace -f -e"brk,mmap,munmap" -p pid”追踪向OS申请内存请求,但是并没有发现有可疑内存申请。
接着,使用GDB去dump可疑内存。
因为使用strace没有追踪到可疑内存申请;于是想着看看内存中的情况。就是直接使用命令gdp -pid pid进入GDB之后,然后使用命令dump memory mem.bin startAddress endAddressdump内存,其中startAddress和endAddress可以从/proc/pid/smaps中查找。然后使用strings mem.bin查看dump的内容,如下:
从内容上来看,像是解压后的JAR包信息。读取JAR包信息应该是在项目启动的时候,那么在项目启动之后使用strace作用就不是很大了。所以应该在项目启动的时候使用strace,而不是启动完成之后。
再次,项目启动时使用strace去追踪系统调用。
项目启动使用strace追踪系统调用,发现确实申请了很多M的内存空间,截图如下:
使用该mmap申请的地址空间在pmap对应如下:
最后,使用jstack去查看对应的线程。
因为strace命令中已经显示申请内存的线程ID。直接使用命令jstack pid去查看线程栈,找到对应的线程栈(注意进制和进制转换)如下:
这里基本上就可以看出问题来了:MCC(美团统一配置中心)使用了Reflections进行扫包,底层使用了Spring Boot去加载JAR。因为解压JAR使用Inflater类,需要用到堆外内存,然后使用Btrace去追踪这个类,栈如下:
然后查看使用MCC的地方,发现没有配置扫包路径,默认是扫描所有的包。于是修改代码,配置扫包路径,发布上线后内存问题解决。
为什么堆外内存没有释放掉呢?
虽然问题已经解决了,但是有几个疑问。带着疑问,直接看了一下 Spring Boot Loader那一块的源码。发现Spring Boot对Java JDK的InflaterInputStream进行了包装并且使用了Inflater,而Inflater本身用于解压JAR包的需要用到堆外内存。而包装之后的类ZipInflaterInputStream没有释放Inflater持有的堆外内存。于是以为找到了原因,立马向Spring Boot社区反馈了这个bug。但是反馈之后,就发现Inflater这个对象本身实现了finalize方法,在这个方法中有调用释放堆外内存的逻辑。也就是说Spring Boot依赖于GC释放堆外内存。
使用jmap查看堆内对象时,发现已经基本上没有Inflater这个对象了。于是就怀疑GC的时候,没有调用finalize。带着这样的怀疑,把Inflater进行包装在Spring Boot Loader里面替换成自己包装的Inflater,在finalize进行打点监控,结果finalize方法确实被调用了。于是又去看了Inflater对应的C代码,发现初始化的使用了malloc申请内存,end的时候也调用了free去释放内存。
此时,怀疑free的时候没有真正释放内存,便把Spring Boot包装的InflaterInputStream替换成Java JDK自带的,发现替换之后,内存问题也得以解决了。
再次看gperftools的内存分布情况,发现使用Spring Boot时,内存使用一直在增加,突然某个点内存使用下降了好多(使用量直接由3G降为M左右)。这个点应该就是GC引起的,内存应该释放了,但是在操作系统层面并没有看到内存变化,那是不是没有释放到操作系统,被内存分配器持有了呢?
继续探究,发现系统默认的内存分配器(glibc 2.版本)和使用gperftools内存地址分布差别很明显,2.5G地址使用smaps发现它是属于Native Stack。内存地址分布如下:
到此,基本上可以确定是内存分配器在捣鬼;搜索了一下glibc M,发现glibc从2.开始对每个线程引入内存池(位机器大小就是M内存),原文如下:
按照文中所说去修改MALLOC_ARENA_MAX环境变量,发现没什么效果。查看tcmalloc(gperftools使用的内存分配器)也使用了内存池方式。
为了验证是内存池搞的鬼,就简单写个不带内存池的内存分配器。使用命令gcc zjbmalloc.c -fPIC -shared -o zjbmalloc.so生成动态库,然后使用export LD_PRELOAD=zjbmalloc.so替换掉glibc的内存分配器。其中代码Demo如下:
通过在自定义分配器当中埋点可以发现实际申请的堆外内存始终在M-M之间,gperftools监控显示内存使用量也是在M-M左右。但是从操作系统角度来看进程占用的内存差别很大(这里只是监控堆外内存)。
使用不同分配器进行不同程度的扫包,占用的内存如下:
为什么自定义的malloc申请M,最终占用的物理内存在1.7G呢?因为自定义内存分配器采用的是mmap分配内存,mmap分配内存按需向上取整到整数个页,所以存在着巨大的空间浪费。通过监控发现最终申请的页面数目在k个左右,那实际上向系统申请的内存等于k * 4k(pagesize) = 2G。
为什么这个数据大于1.7G呢?因为操作系统采取的是延迟分配的方式,通过mmap向系统申请内存的时候,系统仅仅返回内存地址并没有分配真实的物理内存。只有在真正使用的时候,系统产生一个缺页中断,然后再分配实际的物理Page。
整个内存分配的流程如上图所示。MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候,Spring Boot不会主动去释放堆外内存,导致在扫描阶段,堆外内存占用量一直持续飙升。当发生GC的时候,Spring Boot依赖于finalize机制去释放了堆外内存;但是glibc为了性能考虑,并没有真正把内存归返到操作系统,而是留下来放入内存池了,导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包,问题解决。在发表这篇文章时,发现Spring Boot的最新版本(2.0.5.RELEASE)已经做了修改,在ZipInflaterInputStream主动释放了堆外内存不再依赖GC;所以Spring Boot升级到最新版本,这个问题也可以得到解决。
Android C/C++ 内存泄漏分析 unreachable
在追求客户端稳定性的持续努力中,内存质量已经成为关键因素之一。为此,淘宝实施了全面的内存治理计划,成立了专门的内存专项小组。本文着重介绍内存专项工具——内存泄漏分析工具memunreachable,它在C/C++内存管理中的重要角色。
内存泄漏,即程序中动态分配的内存未能被释放,导致系统资源浪费,可能引发性能下降甚至系统崩溃。C/C++环境中,由于难以精确追踪未被引用的对象,内存泄漏检测成为技术挑战。现有的内存检测工具,如libmemunreachable、kmemleak和llvm leaksanitizer,依赖于记录分配信息来查找问题。
Android的libmemunreachable是无开销的本地内存检测器,它通过“标记-清除”算法遍历所有内存,标记无法访问的区域为潜在泄漏。然而,目前libmemunreachable仅在Debug配置下可用,对淘宝的Release包支持有限。本文将解析libmemunreachable的工作原理,以及淘宝如何通过修改源码,解决在Release包环境下使用的问题,以支持线上内存泄漏的定位和排查。
libmemunreachable基于C/C++内存模型,利用栈、全局/静态存储区作为GC Root节点,判断堆内存是否被引用。它通过标记和清除机制,报告出那些未被GC根节点直接或间接持有的内存块。分析过程包括一系列关键函数,如CaptureThreads、CaptureThreadInfo等。
针对Android 后权限变化带来的问题,淘宝重新编译了libmemunreachable,并调整权限配置,确保在Release包下正确获取内存信息。同时,修复了ptrace在Release包下的问题,以保证unreachable的正常运行。然而,特定的内存引用方式,如base+offset,可能导致误报,因为堆和.bss中的Base和offset与实际内存A的关联可能不直接,从而产生误判。
以上是关于libmemunreachable的分析和在淘宝环境中的应用与改进,帮助提升内存治理的效率和准确性。请参阅相关文档以获取更多信息。
全面解析内存泄漏检测与修复技术
华为云社区文章《从源头解决内存泄漏问题:全面解析内存泄漏检测与修复技术》作者Lion Long分享了内存泄漏的识别、后果、解决策略及具体实现方法。内存泄漏源于编程语言中分配内存与释放内存的不匹配,可能导致程序内存持续增长,甚至导致程序崩溃。解决内存泄漏的关键在于引入垃圾回收或精准定位问题源代码。
检测内存泄漏通常通过安装hook函数,如mtracemtrace()和muntrace(),它们会在内存分配和释放时记录跟踪信息。addr2line工具则用于将内存地址转化为文件名和行号,帮助定位泄漏位置。Linux的dladdr1()函数也提供了符号信息转换功能。此外,还有利用宏定义、hook技术、__libc_malloc和__libc_free等方法,其中hook技术涉及自定义函数指针,需谨慎处理递归调用问题。
记忆泄漏检测并非一劳永逸,而是通过配置文件中的开关控制,仅在需要时启用,以减少对程序性能的影响。在实现过程中,需要注意兼容性和复杂系统环境可能带来的挑战。完整示例代码未在文中提供,有兴趣者可通过作者的渠道获取。通过这些方法,可以有效地识别和修复内存泄漏问题,确保程序的稳定运行。
什么是内存泄漏
内存泄漏是指程序运行过程中,因疏忽或错误未能释放不再使用的内存,导致系统内存浪费,影响程序性能甚至引发系统崩溃。分析内存泄漏,通常需要获得程序源代码。
闭包能访问父级作用域数据,但这不意味着闭包总会导致内存泄漏。如果闭包引用的是大型对象或循环中创建的变量,这些变量可能长时间驻留在内存中,潜在引发内存泄漏,但并非所有闭包都会。
在特定场景下,如旧版IE浏览器中使用JScript和COM对象的垃圾收集机制不同,闭包可能导致HTML元素无法正常销毁,从而引发内存泄漏。但这不代表所有闭包都一定会引起内存泄漏。
使用闭包时,应谨慎避免不必要的内存占用。尤其是在处理大数据或构建复杂作用域链时,合理使用闭包,以预防潜在的内存泄漏问题。