1.【26期】内存持续上升，如何排查?
2.从根上理解IO等待—案例篇
3.Linux性能优化之CPU使用率
4.如何使用perf top探究性能

【26期】内存持续上升，如何排查?

       当内存持续上升时，定位问题并不容易，特别是在复杂的进程和业务线程中。这时，源码的移码我们需要借助恰当的工具来帮助我们分析。以下是几种常用的排查内存问题的工具和方法：

       首先，Linux命令行中的top命令，作为最常用的监控工具，可以实时显示进程的CPU和内存使用情况。通过top -Hp pid，可以查看特定线程的资源占用。

       其次，vmstat能提供更深入的系统资源监控，包括内存和CPU使用，但主要用于观察进程的上下文切换。而pidstat则可深入到线程级别，通过其参数如pidstat -p pid -r 1 3，我们可以监测内存使用情况。

       对于Java应用，JDK提供了强大的工具。例如，miryq源码jstat用于实时监控堆内存和垃圾回收，而jmap则用于查看堆内存配置和详细使用情况，通过jmap -histo[:live] pid可以查看对象统计。

       jstack则用于分析线程堆栈，有助于排查死锁问题。这些工具在简单场景中能快速定位问题，但在复杂场景下，可能需要结合源码分析，不断积累经验才能达到高效性能调优。

       总的来说，排查内存问题并非易事，需要综合运用各种工具，不断学习和实践，才能找出问题根源。

从根上理解IO等待—案例篇

       当系统显示I/O等待指标上升，意味着进程在等待硬件资源响应，进入不可中断睡眠状态。在D状态，进程无法被任何信号中断，即使强制终止也无效。使用ps或top命令可见此类进程。

       不同状态的病理源码进程如何识别？top和ps工具帮助我们理解。R状态表示运行，D状态是Disk Sleep的缩写，表示进程处于不可中断睡眠状态，常见于等待磁盘I/O。Z状态表示进程终止，是僵尸进程，停留在进程表中直到父进程处理。S状态是可中断的睡眠状态，可被信号中断。I状态则是空闲状态，适用于内核线程。

       D状态进程导致平均负载升高，I状态则不会。理解这些状态有助于评估系统性能和进程行为。

       除了R、D、Z、S、I状态，进程还有T或t状态，表示暂停或跟踪状态，接收到SIGSTOP信号时出现。constructor源码X状态是Dead状态，表示进程终止且不在top或ps命令输出中。

       案例分析：多进程应用中，大量进程处于D状态，僵尸进程增加，I/O等待高。应用在C语言下开发，通过Docker容器模拟环境。ps命令确认应用启动，显示Ss+和D+状态，s表示领导进程，+为前台进程组。top命令显示平均负载升高至CPU个数，僵尸进程持续增加，CPU使用率不高，但iowait分别为.5%和.6%，用户CPU使用率0.3%。分析后发现，iowait升高与磁盘读请求大相关，应用进程在进行直接磁盘I/O操作。

       为了解决iowait问题，首先使用dstat命令查看系统I/O情况，bootargs源码确认问题出在磁盘读操作。使用top命令定位到D状态的可疑进程，再通过pidstat命令获取进程详细信息，发现app进程进行大量磁盘读操作，每秒读取MB数据。使用strace命令跟踪进程系统调用，发现app进程通过sys_read系统调用进行磁盘直接读取，绕过了系统缓存。

       为了解决直接读取磁盘的问题，修改应用源代码，删除O_DIRECT选项，避免直接磁盘I/O。运行修改后的代码，iowait降低至0.3%，问题得到解决。但僵尸进程问题依然存在，通过pstree命令找到僵尸进程的父进程，检查其源代码，发现wait函数错误地放在循环外部，导致无法正确回收子进程资源。修复wait函数调用位置，确保每次循环都调用wait函数等待子进程结束。停止应用，重新运行修复后的代码，最终僵尸进程消失，iowait降至0，问题解决。

Linux性能优化之CPU使用率

       CPU 使用率是衡量 CPU 工作负载的指标，通过百分比显示。主要命令用于查看此指标包括 top 和 ps。top 呈现所有 CPU 的平均使用率，输入数字1可查看每个核心的使用率。空白行后显示进程实时信息，每个进程的 %CPU 列表示总使用率，包括用户态和内核态。top 命令不细分。分析单进程使用率时，pidstat 工具适用。使用 pidstat 命令可间隔一秒查看进程的 CPU 使用率。

       输出结果包含多个数据点及平均值。top、ps、pidstat 工具有助于定位 CPU 使用率高的进程。但需分析具体原因和代码。perf 工具适合此任务，它基于性能事件采样分析系统事件、内核性能及应用性能。使用 perf 分析 CPU 性能问题有 perf top 和 perf record & perf report 两种方法。perf top 实时显示 CPU 使用率最高的函数或指令，用于查找热点函数。使用界面显示采样数、事件类型和事件总数。采样数过少影响排序和百分比的参考价值。perf top 输出中，第一行包含采样数、事件类型和事件总数。采样数需注意，过少时排序和百分比无实际意义。perf top 输出从第二行开始，包含四列数据，代表不同的含义。perf record 用于保存数据，后续使用 perf report 解析。实际使用中，通常为 perf top 和 perf record 添加 -g 参数以跟踪调用关系。

       Linux内核源码分析学习资源：访问 ke.qq.com/course/...

       福利加入Linux内核源码分析交流群：点击加入。群内提供了一些个人推荐的优质学习资料，包括书籍和视频，供群成员自由查阅。

       案例中，代码执行过程注入死循环，导致CPU使用率达到%。通过工具分析，找到引起CPU利用率升高的代码段。案例代码生成的可执行文件名为 main。在Ubuntu系统中，执行main程序后，使用top命令查看CPU使用率。CPU2的使用率高达%，同时main进程的CPU使用率也达到%，表明系统CPU使用率升高源于main进程。使用perf命令定位具体导致CPU使用率升高的函数。通过调用关系显示，发现问题在于注入死循环的函数func。使用perf工具分析CPU使用率升高原因，支持命令丰富，通过"perf help"查看所有命令，"perf help COMMAND"查看特定命令的用法。

       生产工作中，可能遇到系统总体CPU使用率高但单个进程CPU使用率低的情况。分析这类问题时，可使用 pstree 和 execsnoop 工具。下文提供了安装pstree和execsnoop工具的步骤。内容转载自/s/EQdBqN3_sOHQafSUOe1k3g。

如何使用perf top探究性能

       perf top是Linux内核内置的强大性能分析工具，基于事件采样，帮助开发者定位性能瓶颈和热点代码。Linux 2.6版本以后，它几乎涵盖了所有性能相关事件，常见用途是识别占用CPU最多的函数或指令，用于性能问题的诊断。

       实战部分，perf top显示内核模块native_write_msr消耗大量CPU，占3.%。结合perf record和report的定时采集，加上-g参数，可以追踪调用链，便于深入分析。例如，我们用Nginx和PHP测试，发现.的请求量下，php-fpm进程的CPU使用率异常，尤其sqrt和add_function函数可能是问题所在。

       通过分析源码，发现特定测试代码导致性能下降。移除后，请求量提升至.，证明了性能瓶颈的确在这些函数。总结来说，当遇到CPU使用率升高的情况，先通过top和pidstat等工具定位来源，再利用perf top等工具深入到函数级别进行排查。

       perf top是性能诊断的强大助手，帮助我们精细化定位问题。敬请关注下期内容《带着dd去探索Linux磁盘IO》。