linux扫描pv命令 linux扫描仪

Linux常见日志统计分析命令

在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

server.xml 使用配置方式，%D-请求时间，%F-响应时间

字段说明如下：

日志样例：

使用默认 combined 的经典格式上扩展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段说明如下：

日志示例：

为了能理解 AWK 程序，我们下面概述其基本知识。

模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的 动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域， 每个域分别可以使用 2, … 表示。1 表示第一个域，表示第二个域，n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。 使用 awk 分解出Nginx access日志中的信息

以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。 因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。 现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。 下面是一些常见的状态码：

HTTP 协议状态码定义可以参阅：

查找并显示所有状态码为 404 的请求

统计所有状态码为 404 的请求

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

注意：使用前，将 修改为自己网站的域名。

统计共有多少个不同的 IP 访问：

统计每一个 IP 访问了多少个页面：

将每个 IP 访问的页面数进行从小到大排序：

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

统计访问最多的前十个 IP 地址

查看某一个 IP访问了哪些页面：

统计某个 IP 的详细访问情况,按访问频率排序

列出传输大小最大的几个文件

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

列出访问最频的页面(TOP100)

列出访问最频的页面([排除php页面】(TOP100)

列出页面访问次数超过100次的页面

列出最近1000条记录，访问量最高的页面

统计每分钟的请求数,top100的时间点(精确到分钟)

统计每小时的请求数,top100的时间点(精确到小时)

统计每秒的请求数,top100的时间点(精确到秒)

统计当天的 pv

说明：

可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。

注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

列出相应时间超过 5 秒的请求，显示前20条

统计蜘蛛抓取次数

统计蜘蛛抓取404的次数

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

相关问答

Q1: 【计算机基础】Linux 存储 PV、VG 和 LV 及其使用

LVM ( Logical Volume Manager ) 架构采用分层结构，可以让分区变得弹性，可以随时随地的扩大和缩小分区大小。

磁盘分区后使用 pvcreate 命令可以将分区创建为物理卷 PV。

将多个 PV 组合起来，使用 vgcreate 命令创建成卷组 VG。

VG 相当于整合过的硬盘，LV 则相当于分区，使用 lvcreate 创建 lV。

如何创建 PV、VG、LV 及挂载目录 ？

Q2: Linux文件系统-LVM逻辑卷

LVM（Logical Volume Manager）卷组管理器，通过对底层物理磁盘的封装，可以将多块物理磁盘组合成逻辑资源池，提供给上层应用使用（如文件系统）. LVM的好处是，可以跨物理硬盘为文件系统提供容量，并且可以动态进行分区容量的调整，而不会损坏原有的文件系统.

物理磁盘 ：物理存储介质，可以是整块物理存储或一个分区.

物理卷PV（physical volume） ：LVM要使用物理磁盘，在物理磁盘的头部写入lvm标签头，就创建了一个PV，PV是组成VG的基本单元.

卷组VG（Volume Group） ：VG相当于非LVM系统中的物理硬盘，一个卷组VG由一个或多个PV组成，形成一个存储资源池.

逻辑卷LV（logical volume） ：LV相当于非LVM系统中的硬盘分区，LV建立在卷组VG之上，文件系统建立在LV之上.

物理块PE（physical Extent） ：创建LV时可以分配的最小存储单元，大小可以指定，默认为4MB

如上是从物理磁盘到lvm逻辑卷的创建过程及映射关系，lv01、lv02被创建后，通过device-mapper映射为逻辑块设备（块设备路径/dev/vg01/lv01、/dev/vg01/lv02），供文件系统使用，通过mkfs.ext4 /dev/vg01/lv02可创建ext4文件系统.

元数据主要是两部分，PV header + metadata，位置一般是在PV的0~2048 sector中，从2048 sector开始是数据区域.

通过pvcreate创建pv时，会将pv header写入物理磁盘，位置一般是在磁盘的第二个sector（512B/sector），lvm扫描磁盘时，通过pv header来识别PV.

pv header主要信息包括，pv uuid、元数据位置和metadata位置.

pv header实例:

metadata记录的是vg和lv的配置信息，以ASCII码的方式写入metadata区域；vg和lv的每次配置变更，都会以追加的方式写入metadata区域，并打上时间戳，该区域写满后，新的变更记录会覆盖最早的一次记录. 进行vgscan时，猜测应该是通过读取最新一次的配置记录，进行激活.

vg配置信息，主要是包含的pv信息.

lv配置信息，主要是lv的起始位置和PE大小.

实例：

pvcreate /dev/vdb1

pvcreate /dev/vdb2

pvcreate /dev/vdb3

vgcreate /dev/vdb1 /dev/vdb2 /dev/vdb3

vgcreate wan /dev/vdb1 /dev/vdb2 /dev/vdb3

lvcreate -L 300M -n lv01 wan

将PV的前2048个sector通过dd拷贝出来，用cat查看如下.

假设我们有一块磁盘 /dev/sdb1 作为应用数据盘使用，以此为例创建lvm分区

先创建物理卷PV，命令： pvcreate /dev/sdb1

创建卷组VG,卷组命名为kylin，命令：vgcreate kylin /dev/sdb1

在VG中创建逻辑分区LV，命令：lvcreate -L 30G -n test kylin

创建逻辑分区后，进行格式化，然后便可以挂载使用.

mkfs.ext4 /dev/kylin/test

mount /dev/kylin/test /data

假设我们在上述基础上，又获得一块磁盘/dev/sdc1进行扩容，将磁盘容量增加到LV分区/dev/kylin/test中，具体操作如下.

先创建物理卷PV，命令： pvcreate /dev/sdc1

将/dev/sdc1添加进VG kylin，命令：vgextend kylin /dev/sdc1

增加LV分区容量，命令：lvextend -L +30G /dev/kylin/test

lvm卷组配置备份

lvm的配置信息默认在/etc/lvm/backup、/etc/lvm/archive/两个目录存在备份，当lvm元数据损坏，lvm卷组读取异常时，可通过备份文件进行恢复.

/etc/lvm/backup: 保留了当前配置的备份

/etc/lvm/archive/：保留了每次配置更新前的备份

实例演示

逻辑卷/dev/wan/lv01

在/dev/wan/lv01上创建文件系统

挂载并创建文件

覆盖/dev/vdb1、/dev/vdb2的lvm元数据，并重启系统，vg已不能识别

通过pvcreate命令修复pv header 和metadata数据.

激活逻辑卷

挂载/dev/wan/lv01成功，说明成功修复

Q3: Linux里面pv是什么？

pv命令 Pipe Viewer 的简称，由Andrew Wood 开发。意思是通过管道显示数据处理进度的信息。这些信息包括已经耗费的时间，完成的百分比(通过进度条显示)，当前的速度，全部传输的数据，以及估计剩余的时间。

Q4: 如何在LINUX下使用LVM

LVM是Logical Volume Manager(逻辑卷管理器)的简写，它为主机提供linux扫描pv命令了更高层次的磁盘存储管理能力。LVM可以帮助系统管理员为应用与用户方便地分配存储空间。在LVM管理下的逻辑卷可以按需改变大小或添加移除。另外，LVM可以为所管理的逻辑卷提供定制的命名标识。因此，使用LVM主要是方便了对存储系统的管理，增加了系统的扩展性。

一、准备lvm环境

1．硬盘的准备

添加了一块硬盘/dev/hdb。

准备了三个分区，方案如下linux扫描pv命令：容量为100M，仅为了实验准备。

/dev/hdb1

/dev/hdb2

/dev/hdb3

2．转换分区类型为lvm卷

fdisk /dev/hdb

t转换为lvm卷类型

Device Boot Start End Blocks Id System

/dev/hdb1 1 208 98248+ 8e Linux LVM

/dev/hdb2 209 416 98280 8e Linux LVM

/dev/hdb3 417 624 98280 8e Linux LVM

然后w保存并且

#partprobe /*使用磁盘分区生效*/

二、lvm创建过程

1.从硬盘驱动器分区中创建物理卷(physical volumes-PV)。

2.从物理卷中创建卷组(volume groups-VG)

3.从卷组中创建逻辑卷(logical volumes-LV)，并分派逻辑卷挂载点，其中只有逻辑卷才可以写数据。

lvm的最大的特点就是可以动态的调整分区的大小，并且可以随着分区容量的增长而增加磁盘空间的容量。

LVM配置与创建

三、LVM的物理卷PV

1．相关命令

pvcreate 创建PV

pvscan 扫描PV

pvdisplay 显示PV

pvremove 删除PV

partprobe

2．创建物理卷

如果以上容量不够，可以再添加其它分区到物理卷中。

[root@redhat ~]# pvcreate /dev/hdb1 /dev/hdb2

Physical volume “/dev/hdb1″ successfully created

Physical volume “/dev/hdb2″ successfully created

[root@redhat ~]# pvscan

PV /dev/hdb1 lvm2 [95.95 MB]

PV /dev/hdb2 lvm2 [95.98 MB]

Total: 2 [191.92 MB] / in use: 0 [0 ] / in no VG: 2 [191.92 MB]

[root@redhat ~]# pvdisplay

— NEW Physical volume —

PV Name /dev/hdb1

VG Name

PV Size 95.95 MB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID 2Ni0Tx-oeSy-zGUP-t7KG-Fh22-0BUi-iyPhhQ

— NEW Physical volume —

PV Name /dev/hdb2

VG Name

PV Size 95.98 MB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID 2XLXfY-V3L2-Mtsl-79U4-ovuJ-YaQf-YV9qHs

四、创建LVM的卷组VG

1．相关命令

vgcreate 创建VG

vgscan 扫描VG

vgdispaly

vgextend

vgreduce

vgchange

vgremove

2．创建逻辑卷VG

[root@redhat ~]# vgcreate vg0 /dev/hdb1 /dev/hdb2

Volume group “vg0″ successfully created

[root@redhat ~]# vgscan

Reading all physical volumes. This may take a while…

Found volume group “vg0″ using metadata type lvm2

[root@redhat ~]# vgdisplay

Q5: Linux查看日志文件写入速度的4种方法

有时，我们需要查看某个文件的增长速度，如日志文件，以此来感受系统的负载情况，因为一般情况下，日志写入越快，说明系统负载越重。

本文就来介绍下Linux中查看日志增长速度的几种方法，如下：

首先要介绍的是dd，因为dd命令几乎所有主流发行版都自带，无需额外安装，如下：

如上，使用 tail -F 获取新写入的数据，然后用管道将数据交给dd，dd将数据拷贝到 /dev/null ，其中 status=progress 是用来显示拷贝速度的，可见，我们日志的写入速度是 471 kB/s 。

pv命令可以看做是带进度的cp，如下：

原理与dd类似，不过命令换成了pv。

由于日志数据都是程序(如java)写入的，而在如下的伪文件中，存放着程序打开的文件信息，如下：

于是定期的读取这个offset就可以知道文件的写入速度了，这也是cv命令的实现原理，如下：

通过写一个小脚本，定期观察文件大小，也可查看文件写入速度，如下：

通过watch再加上观察，也能大致看出速度，如下：

其实转念一想，如果我们在某个函数中打上日志，然后通过grep过滤出此日志，然后我们只要计算每秒输出的日志行数，这岂不就是函数执行的QPS了！

这里可以通过 151/15 计算出QPS是10，由于没有超过1000，所以看到的是0.0kB/s，如果使用pv命令，会更简单一些，如下：

linux扫描pv命令的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于linux扫描仪、linux扫描pv命令的信息别忘了在本站进行查找喔。