linux管道命令统计 linux管道命令查看行数

Linux基础命令和原理总结

作为一个程序员或者测试开发人员linux管道命令统计，linux管道命令统计我们在进行项目部署和运维时linux管道命令统计，经常会用到一些linux命令，可是这些命令老是忘记，每次用到的时候都要去谷歌百度，很是麻烦！这不，为linux管道命令统计了自己使用方便，对常见的linux命令, SHELL, VIM, Linux性能调优和linux kernel的总结，以便在用到时能够快速地找到相关命令，同时有需要的朋友也可以参考搜藏该篇文章！文章对讲到的每个命令都有详细的参数解释，并且给出一些常用例子，因此也非常适合用来学习！

shell（命令解释器）自带的命令称为内部命令，其它的是外部命令

内部命令使用help帮助：help cd

外部命令使用help帮助：ls --help

type命令：用于区分是内部命令还是外部命令：

ls is aliased to `ls --color=auto' #外部命令

cd is a shell builtin #内部命令

pwd命令：显示当前目录

ls命令：查看目录和文件名称

ls -l 查看目录各个字段含义

第一字段：首字母代表的是文件类型 ，其中"-"为普通文件、"d"为目录文件、"c"为字符设备文件、"b"为块设备文件、"p"为管道文件、"l"为链接文件、"s"为socket文件。“rwx”分别代表拥有读、写和执行权限，"-代表无对应权限。三个"rwx"依次代表文件所有者、文件所有者所在用户组、其它用户对文件拥有的权限。

第二字段：文件硬连接数量

第三字段：文件拥有者

第四字段：文件拥有者所在组

第五字段：文件大小（以字节为单位）

第六字段：文件最后更改时间

第七字段：文件名（若为链接文件则追加显示其链接的原文件的路径）

ls命令其它参数含义：

-a显示隐藏文件（.开头的文件）

-r逆序排序

-t按照时间顺序显示

-R递归显示

ls -lartR : 按照时间顺序倒序显示所有文件及其文件夹的文件

cd命令：更改当前的工作目录

cd /path/... 绝对路径

cd ./path/... 相对路径（./可以省略）

cd ../path/... 相对路径

mkdir -p 递归目录：递归创建目录

rmdir命令：删除目录

rmdir a/b/c/d/e/ #删除空目录

rm -r a/b/c/d/ #递归删除目录，但是系统会做多次询问

rm -rf a/b/c/d/ #删除目录，不做任何询问

cp命令：复制文件和目录

-r 复制目录

-p 保留用户、权限、时间等文件属性

mv命令：移动文件和重命名

mv *.log 目标目录

通配符：

*匹配任何字符串

?匹配一个字符串

[xyz]任何一个字符串

[a-z]匹配一个范围

cat命令：文本内容显示到终端

head命令：查看文件开头

head -3 文件名称 #显示文件开头3行

tail命令：查看文件末尾

tail -3 文件名称 #显示文件末尾3行

tail常用参数-f，文件内容更新后，同步显示更新的文件信息

tail -f 文件名称

wc命令：统计文件内容信息

wc 文件名称

useradd命令:新建用户

useradd 用户名

userdel命令:删除用户

userdel 用户名 用户所在的家目录不会被删除

userdel -r 用户名 用户相关的所有配置都会被删除

passwd命令:修改用户密码

passwd 用户名

usermod命令:修改用户属性

/etc/passwd文件:查看用户文件

tail /etc/passwd

/etc/shadow文件:查看用户密码

tail /etc/shadow

groupadd命令:添加用户组

groupadd 用户组

groupdel命令:删除用户组

groupdel 用户组

用户切换

su 用户名 切换用户，但是用户所在环境不变，即pwd路径不会变化

su - 用户名 切换用户，同时会切换到用户家目录，即/home/用户名

sudo命令：普通用户需要执行root用户权限的解决方案。

以下是一些常用命令汇总linux管道命令统计；The following table provides a reminder of most of the commands that we have covered so far. If you include the three, as-yet-unmentioned, commands in the last column, then you will probably be able to achieve 95% of everything that you will ever want to do in Unix (remember, you can use the man command to find out more about top , ps , and kill ). The power comes from how you can use combinations of these commands.

-c 'cc-address' -b 'bcc-address'

'to-address' | Command to send email | | mail -s "Subject"

to-address Filename` | Command to send email with attachment |

File Permission commands

Hope this Linux reference guide helps you!

希望这些常用的命令和系统原理，以及linux操作可以帮助大家提升linux命令和操作！！！

相关问答

Q1: 16. Linux 管道符( ‘|’ )

利用Linux所提供的管道符“|”将两个命令隔开，管道符左边命令的输出就会作为管道符右边命令的输入。 连续使用管道意味着第一个命令的输出会作为 第二个命令的输入，第二个命令的输出又会作为第三个命令的输入，依此类推。下面来看看管道是如何在构造一条Linux命令中得到应用的。

注意：

1、管道命令只处理前一个命令正确输出，不处理错误输出。

2、管道命令右边命令，必须能够接收标准输入流命令才行。

这条命令使用一个管道符“|”建立了一个管道。管道将rpm -qa命令的输出（包括系统中所有安装的RPM包）作为grep命令的输入，从而列出带有licq字符的RPM包来。

这条命令使用了两个管道，利用第一个管道将cat命令（显示passwd文件的内容）的输出送给grep命令，grep命令找出含有“/bin /bash”的所有行；第二个管道将grep的输出送给wc命令，wc命令统计出输入中的行数。这个命令的功能在于找出系统中有多少个用户使用bash。

区别是：

1、左边的命令应该有标准输出 | 右边的命令应该接受标准输入

左边的命令应该有标准输出 右边只能是文件

左边的命令应该需要标准输入 右边只能是文件

2、管道触发两个子进程执行"|"两边的程序；而重定向是在一个进程内执行

这些都是网上总结很多的，其实只要多加清楚用法，也一定有自己的一份不同描述。

Q2: Linux常见日志统计分析命令

在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

server.xml 使用配置方式，%D-请求时间，%F-响应时间

字段说明如下：

日志样例：

使用默认 combined 的经典格式上扩展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段说明如下：

日志示例：

为了能理解 AWK 程序，我们下面概述其基本知识。

模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的 动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域， 每个域分别可以使用 2, … 表示。1 表示第一个域，表示第二个域，n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。 使用 awk 分解出Nginx access日志中的信息

以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。 因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。 现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。 下面是一些常见的状态码：

HTTP 协议状态码定义可以参阅：

查找并显示所有状态码为 404 的请求

统计所有状态码为 404 的请求

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

注意：使用前，将 修改为自己网站的域名。

统计共有多少个不同的 IP 访问：

统计每一个 IP 访问了多少个页面：

将每个 IP 访问的页面数进行从小到大排序：

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

统计访问最多的前十个 IP 地址

查看某一个 IP访问了哪些页面：

统计某个 IP 的详细访问情况,按访问频率排序

列出传输大小最大的几个文件

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

列出访问最频的页面(TOP100)

列出访问最频的页面([排除php页面】(TOP100)

列出页面访问次数超过100次的页面

列出最近1000条记录，访问量最高的页面

统计每分钟的请求数,top100的时间点(精确到分钟)

统计每小时的请求数,top100的时间点(精确到小时)

统计每秒的请求数,top100的时间点(精确到秒)

统计当天的 pv

说明：

可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。

注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

列出相应时间超过 5 秒的请求，显示前20条

统计蜘蛛抓取次数

统计蜘蛛抓取404的次数

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

Q3: Linux命令大全

linux命令格式：

说明：command: 命令名,相应功能的英文单词或单词的缩写 [-options]：选项,可用来对命令进行控制，也可以省略，[]代表可选 parameter1 …：传给命令的参数：可以是零个一个或多个

一般是linux命令自带的帮助信息

如：

man是linux提供的一个手册，包含了绝大部分的命令、函数使用说明

该手册分成很多章节（section），使用man时可以指定不同的章节来浏览。

例：man ls ; man 2 printf

man中各个section意义如下：

man是按照手册的章节号的顺序进行搜索的。

man设置了如下的功能键：

在敲出命令的前几个字母的同时，按下tab键，系统会自动帮我们补全命令

当系统执行过一些命令后，可按上下键翻看以前的命令，history将执行过的命令列举出来

ls是英文单词list的简写，其功能为列出目录的内容，是用户最常用的命令之一，它类似于DOS下的dir命令。

Linux文件或者目录名称最长可以有265个字符，“.”代表当前目录，“..”代表上一级目录，以“.”开头的文件为隐藏文件，需要用 -a 参数才能显示。

ls常用参数：

Linux允许将命令执行结果重定向到一个文件，本应显示在终端上的内容保存到指定文件中。

如：ls test.txt ( test.txt 如果不存在，则创建，存在则覆盖其内容 )

注意： 输出重定向会覆盖原来的内容，输出重定向则会追加到文件的尾部。

查看内容时，在信息过长无法在一屏上显示时，会出现快速滚屏，使得用户无法看清文件的内容，此时可以使用more命令，每次只显示一页，按下空格键可以显示下一页，按下q键退出显示，按下h键可以获取帮助。

管道：一个命令的输出可以通过管道做为另一个命令的输入。

管道我们可以理解现实生活中的管子，管子的一头塞东西进去，另一头取出来，这里“ | ”的左右分为两端，左端塞东西(写)，右端取东西(读)。

clear作用为清除终端上的显示(类似于DOS的cls清屏功能)，也可使用快捷键：Ctrl + l ( “l” 为字母 )。

在使用Unix/Linux的时候，经常需要更换工作目录。cd命令可以帮助用户切换工作目录。Linux所有的目录和文件名大小写敏感

cd后面可跟绝对路径，也可以跟相对路径。如果省略目录，则默认切换到当前用户的主目录。

使用pwd命令可以显示当前的工作目录，该命令很简单，直接输入pwd即可，后面不带参数。

通过mkdir命令可以创建一个新的目录。参数-p可递归创建目录。

需要注意的是新建目录的名称不能与当前目录中已有的目录或文件同名，并且目录创建者必须对当前目录具有写权限。

可使用rmdir命令删除一个目录。必须离开目录，并且目录必须为空目录，不然提示删除失败。

可通过rm删除文件或目录。使用rm命令要小心，因为文件删除后不能恢复。为了防止文件误删，可以在rm后使用-i参数以逐个确认要删除的文件。

常用参数及含义如下表所示：

Linux链接文件类似于Windows下的快捷方式。

链接文件分为软链接和硬链接。

软链接：软链接不占用磁盘空间，源文件删除则软链接失效。

硬链接：硬链接只能链接普通文件，不能链接目录。

使用格式：

如果没有-s选项代表建立一个硬链接文件，两个文件占用相同大小的硬盘空间，即使删除了源文件，链接文件还是存在，所以-s选项是更常见的形式。

注意：如果软链接文件和源文件不在同一个目录，源文件要使用绝对路径，不能使用相对路径。

Linux系统中grep命令是一种强大的文本搜索工具，grep允许对文本文件进行模式查找。如果找到匹配模式， grep打印包含模式的所有行。

grep一般格式为：

在grep命令中输入字符串参数时，最好引号或双引号括起来。例如：grep‘a ’1.txt。

常用选项说明：

find命令功能非常强大，通常用来在特定的目录下搜索符合条件的文件，也可以用来搜索特定用户属主的文件。

常用用法：

cp命令的功能是将给出的文件或目录复制到另一个文件或目录中，相当于DOS下的copy命令。

常用选项说明：

用户可以使用mv命令来移动文件或目录，也可以给文件或目录重命名。

常用选项说明：

计算机中的数据经常需要备份，tar是Unix/Linux中最常用的备份工具，此命令可以把一系列文件归档到一个大文件中，也可以把档案文件解开以恢复数据。

tar使用格式 tar [参数] 打包文件名 文件

tar命令很特殊，其参数前面可以使用“-”，也可以不使用。

常用参数：

tar与gzip命令结合使用实现文件打包、压缩。 tar只负责打包文件，但不压缩，用gzip压缩tar打包后的文件，其扩展名一般用xxxx.tar.gz。

gzip使用格式如下：

gzip [选项] 被压缩文件

常用选项：

tar与bzip2命令结合使用实现文件打包、压缩(用法和gzip一样)。

tar只负责打包文件，但不压缩，用bzip2压缩tar打包后的文件，其扩展名一般用xxxx.tar.gz2。

在tar命令中增加一个选项(-j)可以调用bzip2实现了一个压缩的功能，实行一个先打包后压缩的过程。

压缩用法：tar -jcvf 压缩包包名 文件...(tar jcvf bk.tar.bz2 *.c)

解压用法：tar -jxvf 压缩包包名 (tar jxvf bk.tar.bz2)

通过zip压缩文件的目标文件不需要指定扩展名，默认扩展名为zip。

压缩文件：zip [-r] 目标文件(没有扩展名) 源文件

解压文件：unzip -d 解压后目录文件 压缩文件

whoami该命令用户查看当前系统当前账号的用户名。可通过cat /etc/passwd查看系统用户信息。

由于系统管理员通常需要使用多种身份登录系统，例如通常使用普通用户登录系统，然后再以su命令切换到root身份对传统进行管理。这时候就可以使用whoami来查看当前用户的身份。

who命令用于查看当前所有登录系统的用户信息。

常用选项：

如果是图形界面，退出当前终端；

如果是使用ssh远程登录，退出登陆账户；

如果是切换后的登陆用户，退出则返回上一个登陆账号。

在Unix/Linux中添加用户账号可以使用adduser或useradd命令，因为adduser命令是指向useradd命令的一个链接，因此，这两个命令的使用格式完全一样。

useradd命令的使用格式如下：

useradd [参数] 新建用户账号

在Unix/Linux中，超级用户可以使用passwd命令为普通用户设置或修改用户口令。用户也可以直接使用该命令来修改自己的口令，而无需在命令后面使用用户名。

可以通过su命令切换用户，su后面可以加“-”。su和su –命令不同之处在于，su -切换到对应的用户时会将当前的工作目录自动转换到切换后的用户主目录：

注意：如果是ubuntu平台，需要在命令前加“sudo”，如果在某些操作需要管理员才能操作，ubuntu无需切换到root用户即可操作，只需加“sudo”即可。sudo是ubuntu平台下允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，减少了root 用户的登陆和管理时间，提高了安全性。

方法一:

方法二:

groupadd 新建组账号 groupdel 组账号 cat /etc/group 查看用户组

使用方法：usermod -g 用户组 用户名

新创建的用户，默认不能sudo，需要进行一下操作

-g用来制定这个用户默认的用户组

-G一般配合'-a'来完成向其它组添加

chmod 修改文件权限有两种使用格式：字母法与数字法。

字母法：chmod u/g/o/a +/-/= rwx 文件

cal命令用于查看当前日历，-y显示整年日历

设置时间格式（需要管理员权限）：

date [MMDDhhmm[[CC]YY][.ss]] +format

CC为年前两位yy为年的后两位，前两位的mm为月，后两位的mm为分钟，dd为天，hh为小时，ss为秒。如： date 010203042016.55。

显示时间格式（date '+%y,%m,%d,%H,%M,%S'）：

进程是一个具有一定独立功能的程序，它是操作系统动态执行的基本单元。

ps命令可以查看进程的详细状况，常用选项(选项可以不加“-”)如下：

top命令用来动态显示运行中的进程。top命令能够在运行后，在指定的时间间隔更新显示信息。可以在使用top命令时加上-d 来指定显示信息更新的时间间隔。

在top命令执行后，可以按下按键得到对显示的结果进行排序：

kill命令指定进程号的进程，需要配合 ps 使用。有些进程不能直接杀死，这时候我们需要加一个参数“ -9 ”，“ -9 ” 代表强制结束.

使用格式：

kill [-signal] pid

df命令用于检测文件系统的磁盘空间占用和空余情况，可以显示所有文件系统对节点和磁盘块的使用情况。

du命令用于统计目录或文件所占磁盘空间的大小，该命令的执行结果与df类似，du更侧重于磁盘的使用状况。

du命令的使用格式如下： du [选项] 目录或文件名

Q4: linux中“使用管道线来统计当前登录系统的用户的个数。”的命令是什么？

who | wc -l

wc –l选项：只输出文件行数。| (管道)符号可以在两个程序之间建立管道。既将who的输出与wc的输入连接。

Q5: 统计linux某个单词出现次数怎么操作？

使用这个命令查出文本中linux管道命令统计的单词出现频率按照由高到底排序

cat words.txt |tr -cs "[a-z][A-Z]" "[\012*]"|tr A-Z a-z|sort|uniq -c|sort -k1nr -k2|head -10

但是有时linux管道命令统计我们想查找出某一个单词的出现频率这时我们可以使用如下几个命令

文件名称：file  查找单词名称：word

操作命令：

（1）more file | grep -o word | wc -l

（2）cat file | grep -o word | wc -l

（3） grep -o test word | wc -l

如果这些还是不能满足需求linux管道命令统计，那只能写linux脚本进行实现了。可以使用awk哦

1．命令格式：

wc [选项]文件...

2．命令功能：

统计指定文件中的字节数、字数、行数linux管道命令统计，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。

3．命令参数：

-c 统计字节数。

-l 统计行数。

-m 统计字符数。这个标志不能与 -c 标志一起使用。

-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。

-L 打印最长行的长度。

--help 显示帮助信息

--version 显示版本信息

4.值得注意的是，-c，c应该是count的缩写，统计的是文件的字节数，而不是通常我们想要的“字数”，字数的统计应该用-w，所以上面提到那个问题，可以怎么做呢linux管道命令统计？wc并没有提供给我们统计特定一个单词的选项，只能查找呗～所以结合grep就可以这样简单写：

grep cout hello.cpp | wc -l

5.上面命令通过管道串联起来，意思是，查找hello.cpp里所有出现过cout的行，统计行数。

但是，问题来了，如果不只想统计行数，而是想精确到个数（一行里可能会出现多次），应该怎么办呢？

这就是grep的作用了2，-o选项（only的意思）表示只选中那些匹配的地方，比如a cout yes, and b cout no.，匹配cout，结果是两行，每行一个cout。所以要想统计出现次数的话，简单加一个选项就好了：

关于linux管道命令统计和linux管道命令查看行数的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。