倒序排列Linux命令 linux倒序查看日志

Linux常见日志统计分析命令

在上文中倒序排列Linux命令，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

server.xml 使用配置方式，%D-请求时间，%F-响应时间

字段说明如下倒序排列Linux命令：

日志样例倒序排列Linux命令：

使用默认 combined 的经典格式上扩展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段说明如下：

日志示例：

为倒序排列Linux命令了能理解 AWK 程序，我们下面概述其基本知识。

模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的 动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域， 每个域分别可以使用 2, … 表示。1 表示第一个域，表示第二个域，n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。 使用 awk 分解出Nginx access日志中的信息

以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。 因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。 现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。 下面是一些常见的状态码：

HTTP 协议状态码定义可以参阅：

查找并显示所有状态码为 404 的请求

统计所有状态码为 404 的请求

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

注意：使用前，将 修改为自己网站的域名。

统计共有多少个不同的 IP 访问：

统计每一个 IP 访问了多少个页面：

将每个 IP 访问的页面数进行从小到大排序：

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

统计访问最多的前十个 IP 地址

查看某一个 IP访问了哪些页面：

统计某个 IP 的详细访问情况,按访问频率排序

列出传输大小最大的几个文件

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

列出访问最频的页面(TOP100)

列出访问最频的页面([排除php页面】(TOP100)

列出页面访问次数超过100次的页面

列出最近1000条记录，访问量最高的页面

统计每分钟的请求数,top100的时间点(精确到分钟)

统计每小时的请求数,top100的时间点(精确到小时)

统计每秒的请求数,top100的时间点(精确到秒)

统计当天的 pv

说明：

可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。

注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

列出相应时间超过 5 秒的请求，显示前20条

统计蜘蛛抓取次数

统计蜘蛛抓取404的次数

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

相关问答

Q1: 如何在Linux操作系统中根据斜杠/的数量对文本内容倒序排序呢？

建议你这样试试看：

使用python的方式实现。

在你想要到倒序的linux文件夹位置。新建一个py文件（命令 vi reverse.py）

将代码复制上去。然后保存。

# coding=utf-8

import sys

def checkStr(str_source):

return sum(map(lambda check: '/'.count(check), str_source))

def sortByLen(s):

return len(s)

if __name__ == '__main__':

with open(sys.argv[1], 'r') as f:

total_list = f.readlines()  # 遍历文件 生成列表

total_list.sort(key=sortByLen, reverse=True)

total_list.sort(key=checkStr, reverse=True)

with open(sys.argv[2], 'w') as b:

for info in total_list:

b.write(info)

if info[-1] != '\n':

b.write('\n')

保存完成后，在本文件夹中 运行

python3  reverse.py 000文件夹绝对路径列表.txt 新的倒序文件夹名字.txt                     命令。去查看新的txt文件。就是你想要的倒序文件。

具体效果截图

注意事项：1.确定linux系统中有安装python3  在linux系统执行python3 命令，或者百度 很简单就可以测试. 2.记住复制上去的代码必须要符合python的缩进。

试试，如果好用，麻烦采纳，谢谢。

Q2: linux 中 ll 命令如何让查询结果按时间升序或降序排序？

1、用CRT软件连接一个Linux系统 。

2、打开需要查看倒序排列Linux命令的文件夹。 以 tmp为例。

3、用 ll 命令 查看有哪些文件。

4、默认为按照大小进行排序。 需要按照时间进行排序。

5、用 ll -t  命令进行时间排序倒序排列Linux命令，这样是默认为降序。

6、用 ll -t | tar 命令进行时间排序倒序排列Linux命令，这样为升序。

Q3: Linux基础命令和原理总结

作为一个程序员或者测试开发人员，倒序排列Linux命令我们在进行项目部署和运维时，经常会用到一些linux命令，可是这些命令老是忘记，每次用到的时候都要去谷歌百度，很是麻烦！这不，为了自己使用方便，对常见的linux命令, SHELL, VIM, Linux性能调优和linux kernel的总结，以便在用到时能够快速地找到相关命令，同时有需要的朋友也可以参考搜藏该篇文章！文章对讲到的每个命令都有详细的参数解释，并且给出一些常用例子，因此也非常适合用来学习！

shell（命令解释器）自带的命令称为内部命令，其它的是外部命令

内部命令使用help帮助：help cd

外部命令使用help帮助：ls --help

type命令：用于区分是内部命令还是外部命令：

ls is aliased to `ls --color=auto' #外部命令

cd is a shell builtin #内部命令

pwd命令：显示当前目录

ls命令：查看目录和文件名称

ls -l 查看目录各个字段含义

第一字段：首字母代表的是文件类型 ，其中"-"为普通文件、"d"为目录文件、"c"为字符设备文件、"b"为块设备文件、"p"为管道文件、"l"为链接文件、"s"为socket文件。“rwx”分别代表拥有读、写和执行权限，"-代表无对应权限。三个"rwx"依次代表文件所有者、文件所有者所在用户组、其它用户对文件拥有的权限。

第二字段：文件硬连接数量

第三字段：文件拥有者

第四字段：文件拥有者所在组

第五字段：文件大小（以字节为单位）

第六字段：文件最后更改时间

第七字段：文件名（若为链接文件则追加显示其链接的原文件的路径）

ls命令其它参数含义：

-a显示隐藏文件（.开头的文件）

-r逆序排序

-t按照时间顺序显示

-R递归显示

ls -lartR : 按照时间顺序倒序显示所有文件及其文件夹的文件

cd命令：更改当前的工作目录

cd /path/... 绝对路径

cd ./path/... 相对路径（./可以省略）

cd ../path/... 相对路径

mkdir -p 递归目录：递归创建目录

rmdir命令：删除目录

rmdir a/b/c/d/e/ #删除空目录

rm -r a/b/c/d/ #递归删除目录，但是系统会做多次询问

rm -rf a/b/c/d/ #删除目录，不做任何询问

cp命令：复制文件和目录

-r 复制目录

-p 保留用户、权限、时间等文件属性

mv命令：移动文件和重命名

mv *.log 目标目录

通配符：

*匹配任何字符串

?匹配一个字符串

[xyz]任何一个字符串

[a-z]匹配一个范围

cat命令：文本内容显示到终端

head命令：查看文件开头

head -3 文件名称 #显示文件开头3行

tail命令：查看文件末尾

tail -3 文件名称 #显示文件末尾3行

tail常用参数-f，文件内容更新后，同步显示更新的文件信息

tail -f 文件名称

wc命令：统计文件内容信息

wc 文件名称

useradd命令:新建用户

useradd 用户名

userdel命令:删除用户

userdel 用户名 用户所在的家目录不会被删除

userdel -r 用户名 用户相关的所有配置都会被删除

passwd命令:修改用户密码

passwd 用户名

usermod命令:修改用户属性

/etc/passwd文件:查看用户文件

tail /etc/passwd

/etc/shadow文件:查看用户密码

tail /etc/shadow

groupadd命令:添加用户组

groupadd 用户组

groupdel命令:删除用户组

groupdel 用户组

用户切换

su 用户名 切换用户，但是用户所在环境不变，即pwd路径不会变化

su - 用户名 切换用户，同时会切换到用户家目录，即/home/用户名

sudo命令：普通用户需要执行root用户权限的解决方案。

以下是一些常用命令汇总倒序排列Linux命令；The following table provides a reminder of most of the commands that we have covered so far. If you include the three, as-yet-unmentioned, commands in the last column, then you will probably be able to achieve 95% of everything that you will ever want to do in Unix (remember, you can use the man command to find out more about top , ps , and kill ). The power comes from how you can use combinations of these commands.

-c 'cc-address' -b 'bcc-address'

'to-address' | Command to send email | | mail -s "Subject"

to-address Filename` | Command to send email with attachment |

File Permission commands

Hope this Linux reference guide helps you!

希望这些常用的命令和系统原理，以及linux操作可以帮助大家提升linux命令和操作！！！

Q4: linux sort 命令整理

无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令，经常会被搞晕，索性好好研究一下 sort 命令

语法：

选项：

参数就不一一介绍了，直接上例子，首先先看下原始的排序数据

cat sort.log

1、打印从哪列开始是乱序

sort -c sort.log; echo $?

sort -C sort.log; echo $?

其中，返回结果 1，表示文件不是已经排序好的文件

2、默认排序( 整行进行ASCII字符升序)

sort sort.log

3、高能来了，让人迷糊的 k 语法，首先看下 k 的语法格式

这个语法格式可以被其中的逗号（”,”）分为两大部分，Start部分和End部分

Start和End部分都由三部分组成，其中的Modifier部分就是类似n和r的选项部分，可省略

FStart、Fend，表示使用的域，而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的，分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭，上几个例子吧

3.1 对第三列进行排序，如果不加n，按照 ASCII字符排序

sort -t $'\t' -k 3 sort.log

3.2 加n后，按照数值排序

sort -t $'\t' -k 3n sort.log

3.3 不指定 FEnd 时，多个 -k 从前往后排序可以，从后往前不行

从后往前，多个 -k，数据符合预期

sort -t $'\t' -k 3n -k 1 sort.log

从后往前，多个 -k ，第三列相同时，按照第一列降序排列，数据符合预期

sort -t $'\t' -k 3n -k 1r sort.log

更换成从前往后

sort -t $'\t' -k 1 -k 3n sort.log

sort -t $'\t' -k 1 -k 3nr sort.log

通过 sort -t $'\t' -k 1 -k 3n sort.log 和 sort -t $'\t' -k 1 -k 3nr sort.log 返回的结果发现，在第一列相等时，无论其三列是正序排列，还是逆序排列，结果都一样，说明后边的 -k 未生效

当指定 FEend 后

sort -t $'\t' -k 1,1 -k 3nr sort.log

3.4 作用域

紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n"，"r")称为私有选项，使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时，该排序字段将继承全局选项，所有选项包括但不限于"bfnrhM"

除了"b"选项外，其余选项无论是指定在FStart还是FEnd中都是等价的，对于"b"选项，指定在FStart则作用于FStart，指定在FEnd则作用于FEnd

sort -t $'\t' -k1r,2 sort.log ，可以看出一、二列都是倒叙排列

3.5 注意

指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-"，当排序时遇到无法识别字符时，将导致该key的排序立即结束，n选项绝对不会跨域进行比较

默认情况下，sort会进行一次 "最后的排序" ，按照默认规则对整行进行一次排序，这次排序称为"最后的排序"

sort -t $'\t' -k3n sort.log ，在第三列相等时，整行会按照 ASCII 进行最后的升序排列

sort -t $'\t' -k3,4n -s sort.log ，加了 -s 后，不会进行最后的排序(1000相同时，e在b的前边了)，而是保留原排序

3.6 按照某个域中的第n个字符进行排序

sort -t $'\t' -k2.3,2.3 sort.log ，按第二列第三个字符进行排序

4、 -h 使用易读性数字(例如:2K、1G)

sort -t $'\t' -k5h sort.log

sort -t $'\t' -k2,2 sort.log|uniq

sort -t $'\t' -k2,2 -u sort.log 会对第二列进行去重，而 sort -t $'\t' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

sort整理完了，欢迎大牛指教

Q5: Linux命令ls -a和ls -A的含义是什么？

ls命令用于显示文件目录列表，和Windows系统下DOS命令dir类似。当执行ls命令时，默认显示的只有非隐藏文件的文件名、以文件名进行排序及文件名代表的颜色显示。当不加参数时，默认列出当前目录的列表信息。

ls [选项] [目录或文件名]参数：

1、-a：--all的缩写，显示所有的文件，包括隐藏文件(以.开头的文件)。

2、-A：--almost-all的缩写，显示所有的文件，包括隐藏文件，但不包括表示当前目录.和上级目录..这两个文件。

扩展资料：

其他is命令语法

1、-c：和-lt一起使用：显示列表并且以ctime(文件状态最后改变时间)排序。和-l一起使用：显示ctime并且以文件名排序。其他情况，以ctime排序。

2、d：--directory的缩写，仅列出目录本身，而不是列出目录里的内容列表。

3、-f：直接列出结果，而不进行排序(ls默认会以文件名排序)。

4、--color[=WHEN]：是否根据文件类型显示颜色，WHEN可以为never、always或者auto。

5、--full-time：以完整的实际模式显示(包含年月日时分)，类似与ls -l --time-style=full-iso。

6、-g：列表显示结果，和-l类似，但是不显示文件所属者。。

7、-h：将文件内容大小以GB、KB等易读的方式显示。

8、-i：结合-l参数，列出每个文件的inode。

9、-l：列出长数据串，显示出文件的属性与权限等数据信息。

-10、n：和-l类似，只是显示的所属用户和组不是名称而是对应的id。

11、-r：--reverse，将排序结果以倒序方式显示。

12、-S：以文件大小排序。

13、-t：以修改时间排序。

14、--help：显示帮助信息。

倒序排列Linux命令的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于linux倒序查看日志、倒序排列Linux命令的信息别忘了在本站进行查找喔。