PHP CGI 进程占用CPU过高导致CPU使用达到100%的另类原因

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

由于使用的华为云的CDN加速，结果发现我的阿里云服务器突然卡顿，网页打开极慢。登陆华为云CDN管理后台发现最高带宽占用30M，流量短时间内达到10GB以上，这么大的流量我的服务器肯定扛不住啊。于是还跟华为云进行了一个撕逼，然后果断弃了华为云。

但是更换了其他CDN或者WAF之后，CPU占用依然居高不下，网上找了很多办法都不管用。

看了下是 PHP CGI 进程占用CPU最多，而且经过检测发现是浏览器内核检测网站的 PHP CGI 占用最高，其他的很少。然而看第三方网站统计，并没有很大的访问量啊。

于是我用下面步骤进行排除：

第一步，暂停了占用最多CPU的网站，发现很快CPU占用下来了。也就是肯定是这个网站的原因，但是我近期并未更新网站代码啊，应该不存在死循环之类的bug导致占用 CPU 过多；

第二步，紧接着我排查所有页面，经检查未发现挂马或者被黑的现象；

第三步，将 ie.icoa.cn 解析到一个新的目录，并放置一个静态的 html 首页。发现网站可以正常访问，而且CPU并未出现占用过高的情况；

第四步，测试PHP运行是否正常，将html页面改成php页面，测试正常，CPU正常；

第五步，将网站原首页复制到新网站目录下，测试一切正常。就当我以为没问题的时候，将整个网站全部复制到新网站目录下，立刻出现CPU占用过高的情况。然后我就想到这种情况肯定不是由于正常访问造成的，因为刚刚恢复访问，不至于有这么大的正常访问。个人猜测肯定是有爬虫抓取，而且无底线的抓取耗尽了资源；

第六步，将所有页面删除，然后一个页面一个页面的往新网站目录下拷贝文件，终于我在复制了最新UA记录这个页面的时候，CPU立刻爆表。破案了，肯定是有人想要UA数据，于是用爬虫爬我公开的最新UA记录页面。

第七步，我删除了最新UA记录页面之后，CPU占用恢复正常。

于是找到了原因，是某些没有底线的爬虫，抓取的频率太高，耗尽了我的服务器资源。抱歉你们这么做，我只好不让你们爬了！