性能分析之CPU分析-从CPU调用高到具体代码行（JAVA）

通常情况下，性能报告中只说CPU使用率高的时候，并不能帮助定位问题。因为CPU高会有多种不同的情况。CPU有五种状态(us sy id wa st), 在vmstat中能显示出来，这个想必很多人都清楚。在代码消耗CPU的时候（这也是通常性能分析中会遇到的），是US状态的CPU。当然还存在一种情况，就是代码产生的系统调用特别高，这种情况下SY的CPU也会高（这种情况比较少见，在我的职业生涯中只见过一次）。对于JAVA语言来说，我们不需要特别复杂的profile工具就可以做到定位到代码。

在写具体的分析方法之前，需要说一下线程的状态转换关系，我们先来看一下系统级的线程状态转换关系。

通过这个转换关系，可以看到，在线程产生之后，会先到ready的状态。在这个状态上是在等待CPU的。而在runing状态才是真正在CPU上执行的。请注意这个区别。

而vmstat显示的 r 列是包括了ready和running的线程（会因操作系统的不同有区别，但是对大部分linux系统都是这样）。请注意这一点，因为网上有很多在写vmstat的解释的时候，说 r 列是表示正在运行的进程数或者说 r 是表示正在运行的线程数，这一点是不对的。给大家看一个例子（这也是下面要说到的例子）：

这是我的一个云服务器上正在运行的top。可以看到当前tasks（进程）中只有一个是running的状态的。而这时的vmstat呢？

这个服务器只有两个CPU，所以如果r是说正在运行的进程或线程数的话肯定是不正确的，因为两个CPU同时运行的最多是两个线程。

所以请记住，这个 r 值就包括了等待CPU的线程（也就是ready状态的）和正在运行的线程（也就是running状态的）。

以后有时间再解释其他系统级的线程状态，可能有些人觉得其他状态也没什么好解释的，但是在性能分析中，线程的状态和一些性能计数器是有关联关系的，比如说suspended状态是CPU时间片用完导致暂时被换出；而blocked是因为要等待某个条件被满足而阻塞；并且这两种状态都有可能导致CPU使用率高。在分析的过程中，这些信息给我们的是一个方向。所以前面说到仅说CPU高不能帮助分析问题，因为CPU高有多种原因。

因为下面要说的是JAVA，所以来看一下JAVA的线程状态转换关系。

从这个图中，我们可以看到JAVA的进程有多种状态（具体状态的解释请自行搜索），怎么看到这些状态都在干什么，就需要把栈打出来看。在栈中，可以看到具体对应的代码（对其他编译语言来说，要看看到正在运行的code也是要看栈的）。另外，在性能分析中，栈的分析是非常重要的一块内容，今天因为只是为了说明从CPU高怎么定位到代码层，所以不过多解释线程的状态了，以后有时间再写文章说明。

实例：

下面来操作一下，首先执行一个消耗CPU的JAVA实例（实例是7D Group成员所编，有兴趣动手操作的可以到网上随便找一个小例子或自己编写一个）。查看vmstat的状态。

从上图可以看到左边窗口在执行一个消耗CPU的Demo，而右边的窗口看到当前系统的CPU已经完全被消耗掉了。进程号通过top命令就可以知道：

下面就要看一下这个进程中的哪些线程消耗了CPU。

通过pidstat可以看到（不好意思的是，pidstat的截图被我覆盖掉了，又不想重新开始所以就不截图啦），有10个线程消耗着CPU资源。我把命令放在这里，有兴趣的可以自己操作。

pidstat -p 10846 -u -d -t -w -h 1 1000

从上命令可以看到，有多个线程消耗着CPU。线程ID是：10861、10862、10863等等。

用jstack做一下thread dump。

[root@7dgroup ~]# jstack -l 10846 > 10846.threaddump

再打开这个生成的文件。

nid是指native ID，对应着系统级的tid。只不过TID显示的是10进程的，NID显示的是16进制的。

我们转换一个线程号来查找。

[root@7dgroup ~]# printf %x'\n' 10861

2a6d

再对应到threaddump文件中。

显然可以去查这个CPUTestThreadDemo.java的第13行了。

从这个例子可以看出，对java的代码消耗CPU高的分析只需要通过系统级的命令和JDK自带的命令就可以完成了。因为这个例子非常简单，步骤比较清楚。但在实际分析代码众多，逻辑复杂的应用，有可能你看到的是CPU在线程上的消耗是在不停的切换的，所以就需要多做些thread dump，一个个分析。当然借助些工具分析，通常可以让我们在分析复杂的应用时事半功倍。

这里只说明一个思路。

对JAVA的分析来说，已经有非常多的人写了非常多的文章了，我之所以写这个文章，是为了让文章能更系列一些。