linux命令去重统计,如何去重统计

Linux文本操作常用命令

在Linux系统里常用于文本查看、操作、统计的命令：

通过多敲键盘，形成手感 肌肉记忆 ，熟练掌握这些命令，在以后生信分析中游刃有余。以下是每个命令的详细的介绍（主要是跟着 生信技能树小郭老师 学习做的笔记）

接下来通过示例把10个命令的常用参数和用法展示出来：

参数的用法介绍：

注意事项：

用 cat 命令可以 查看文本 ，也可以 编辑文本 ，编辑文本要加 符号，退出时，另起一行，按 control C 退出

zcat可以查看压缩的文本文件，tac逆向查看

结合 管道符| 使用

head / tail -n :查看文件的前 / 后 n 行，默认 10 行 （在R语言里head和tail默认是前6行）。

less命令用得最多 ，more命令用得比较少

3.1 less命令

less [参数] 文件名

less命令重要的补充用法1 ：

需要注意 退出 ：只要使用less命令， 按q键

less命令重要的补充用法2 ：

参数用法：

less命令 不加参数 查看文件：

less命令加 -N参数 查看文件：显示行号

less命令加 -S参数 查看文件：单行显示，非常规整

对比：less和cat命令显示文本行号的用法：less -N，cat -n

3.2 more命令

**more ** 逐页查看，按空格翻页，按回车换行 ，more命令一般很少用，熟练掌握less命令就好

查看压缩文件

wc 统计字符是也把换行符统计进去，但是别的命令不一定会把换行符算进去，。

常见参数:

切记：用less命令，按q退出

cut命令是按关键词来切的

常见参数:

排列前：

排列后：

解释：1和0比，1大；7和0比，7大…在sort字典排序里，100816比1737小，所以100816排在前面。

命令行查看一个表格结构时，因为制表符对齐的原因，出现一个错位的现象。还有 字典排序 可能和我们平时的认知不一样，所以 加上-n参数 ， 让数值有数学意义上的大小来排序 。

uniq命令去重，只有两行出现重复，而且是相邻的两行，如果不相邻，即使出现两行一模一样，不会去重。

uniq命令通常和sort命令搭配使用

换其它文件试试

总之，uniq命令使用时经常和sort一起

常见参数:

常见用法1：

paste file1 file2

-s :按行合并 演示

常见用法2 : paste - -

常见参数:

要养成一个好习惯，原始数据不要轻易修改，修改的东西另外保存，文本保存用 (重定向)或是 (追加)

1. 用 less 查看 example.gtf ，然后管道符传递给 wc

2. 截取 example.gtf 第 9 列的内容

3. 在第2步的基础上截取分号分割的第1列

4. 在第3步的基础上排序、去重复并统计

5. 在第4步的基础上，将空格替换成制表符

补充小知识 ：

清屏 ：control L

查看历史（输入过的）命令 ：history

相关问答

Q1: linux命令对某一列去重/统计

cat file.csv | awk -F '\t' '{print $2}'

'\t'指的是file.csv不同列以'\t'分割，如果的是以其他符号分割，换成其她符号；

'{print $2}'是指取第2列，此处从1开始计数，第1列，第2列；

一般去重之前要进行排序

cat file.csv | awk -F '\t' '{print $2}' | sort | uniq

前半部分与命令1一样，后面加上| sort | uniq

比如通过命令2发现，第2列取值有两种，分别是'neg'和‘pos’，那么我想知道有多少行的第2列取值为'pos'，多少行的第2列取值为'neg'。

cat file.csv | awk -F '\t' '{print $2}' | grep -o 'neg'| wc -l

前半部分与命令1一样，后面加上 | grep -o 'neg'| wc -l

grep -o 'neg'就是取出取值为'neg'的行

wc -l 是计数有多少行

Q2: linux 中 统计多个关键字在某个文本中出现的次数，并按次数排序，怎么写呀

cat test.log | awk {print'$n'} | sort -nr | uniq -c | sort -k1 -nr

其中 $n 为需要按出现次数排序的那一列

sort -nr 先排序

uniq -c 去重并计算出现次数

sort -k1 -nr 按出现次数排序

Q3: linux：如何对文本里的相同行进行去重

①选中范围；②查找重复的文本内容，如“今天的大雾今天的大雾”；③替换，替换内容“今天的大雾”，全都替换、确定。

Q4: linux去重命令

linux去重命令是什么呢？

在介绍uniq命令之前，我们先来新建在下面的案例中需要用到的文件/tmp/uniq.txt，内容如下

默认情况下uniq只会检索相邻的重复数据从而去重。在/tmp/uniq.txt中虽然“onmpw web site” 有三条，但是其中一条是和其他两条不相邻的，所以只去重了一条，同理“error php function”也是这种情况。

鉴于以上的检索机制，所以uniq一般情况下要和sort命令一块儿使用。

复制代码

# sort 1.txt | uniq

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

repeat no data

wello web site

复制代码

现在再看是不是所有的重复项都已经经过去重处理了。

好了，小试牛刀一把以后，下面我们开始对uniq命令的选项进行简单的介绍。

-c 统计每一行数据的重复次数

复制代码

sort 1.txt | uniq -c

1 alpha css web

1 cat linux command

2 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

我们看 “error php function”出现了两次，“onmpw web site”出现了三次。其余的都没有重复项所以为1。

-i 忽略大小写

在1.txt中添加一行数据 “Error PHP function”

复制代码

cat 1.txt

alpha css web

cat linux command

error php function

hello world

onmpw web site

onmpw web site

wello web site

Error PHP function

recruise page site

error php function

repeat no data

onmpw web site

复制代码

复制代码

sort 1.txt | uniq –c

1 alpha css web

1 cat linux command

2 error php function

1 Error PHP function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

我们看结果，uniq默认是区分大小写的。使用-i可以忽略掉大小写问题

复制代码

sort 1.txt | uniq –c –i

1 alpha css web

1 cat linux command

3 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

复制代码

现在再看是不是大小写已经忽略掉了。

-u 只输出没有重复的数据

复制代码

sort 1.txt | uniq –iu

alpha css web

cat linux command

hello world

recruise page site

repeat no data

wello web site

复制代码

看到没，结果中的“error php function”和“onmpw web site”都没有被输出。

-w N 表示从第一个字符开始只检索N个字符来判重。

复制代码

sort 1.txt | uniq –iw 2

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

wello web site

复制代码

这里我们让uniq只对前两个字符进行检索，recruit 和 repeat前两个字符都是re，所以这两行也被认为是重复的。

-f N 表示略过前面N个字段，从第N+1个字段开始检索重复数据。以空格符或者tab键为分隔符。

复制代码

sort 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

3 error php function

1 hello world

4 onmpw web site

1 repeat no data

1 wello web site

复制代码

我们在结果中可以看到，这是略过前面的2个字段，从第三个字段开始判重的。“recruise page site” 和 “onmpw web site”的第三个字段相同，所以被认为是相同的数据。但是我们看到，“wello web site”和“onmpw web site”不但第三个字段相同，第二个也相同。那为什么它不被计入“onmpw web site”的重复数据中呢。对于这个问题就要回到前面说的，uniq只检测相邻的数据是否是重复的。

要解决这个问题还需要在sort命令上着手。还记得sort命令的-k选项吗，没错，我们就用它来解决。

复制代码

sort –k 2 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

1 repeat no data

1 recruise page site

3 error php function

4 onmpw web site

1 hello world

复制代码

我们看，是不是解决了。

-s N表示略过前面N个字符，关于这个选项的例子我们这里就不再举了，该选项和-f N的用法差不多。只不过-f N是略过前面N个字段；-s是略过前面N个字符。

-d 只输出有重复项的第一条的数据。

sort 1.txt | uniq -idw 2

repeat no data

error php function

onmpw web site

结果只有这三条。为什么会有“repeat no data”这条数据，这里注意-w 2的应用。

-D 对于重复项全部输出

复制代码

sort 1.txt | uniq –iDw 2

repeat no data

recruise page site

error php function

error php function

Error PHP function

onmpw web site

onmpw web site

onmpw web site

复制代码

好了，关于uniq的选项的所有常用的命令已经都介绍完了。关于uniq更详细的信息可以使用命令info uniq。

Q5: linux sort 命令整理

无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令，经常会被搞晕，索性好好研究一下 sort 命令

语法：

选项：

参数就不一一介绍了，直接上例子，首先先看下原始的排序数据

cat sort.log

1、打印从哪列开始是乱序

sort -c sort.log; echo $?

sort -C sort.log; echo $?

其中，返回结果 1，表示文件不是已经排序好的文件

2、默认排序( 整行进行ASCII字符升序)

sort sort.log

3、高能来了，让人迷糊的 k 语法，首先看下 k 的语法格式

这个语法格式可以被其中的逗号（”,”）分为两大部分，Start部分和End部分

Start和End部分都由三部分组成，其中的Modifier部分就是类似n和r的选项部分，可省略

FStart、Fend，表示使用的域，而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的，分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭，上几个例子吧

3.1 对第三列进行排序，如果不加n，按照 ASCII字符排序

sort -t $'\t' -k 3 sort.log

3.2 加n后，按照数值排序

sort -t $'\t' -k 3n sort.log

3.3 不指定 FEnd 时，多个 -k 从前往后排序可以，从后往前不行

从后往前，多个 -k，数据符合预期

sort -t $'\t' -k 3n -k 1 sort.log

从后往前，多个 -k ，第三列相同时，按照第一列降序排列，数据符合预期

sort -t $'\t' -k 3n -k 1r sort.log

更换成从前往后

sort -t $'\t' -k 1 -k 3n sort.log

sort -t $'\t' -k 1 -k 3nr sort.log

通过 sort -t $'\t' -k 1 -k 3n sort.log 和 sort -t $'\t' -k 1 -k 3nr sort.log 返回的结果发现，在第一列相等时，无论其三列是正序排列，还是逆序排列，结果都一样，说明后边的 -k 未生效

当指定 FEend 后

sort -t $'\t' -k 1,1 -k 3nr sort.log

3.4 作用域

紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n"，"r")称为私有选项，使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时，该排序字段将继承全局选项，所有选项包括但不限于"bfnrhM"

除了"b"选项外，其余选项无论是指定在FStart还是FEnd中都是等价的，对于"b"选项，指定在FStart则作用于FStart，指定在FEnd则作用于FEnd

sort -t $'\t' -k1r,2 sort.log ，可以看出一、二列都是倒叙排列

3.5 注意

指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-"，当排序时遇到无法识别字符时，将导致该key的排序立即结束，n选项绝对不会跨域进行比较

默认情况下，sort会进行一次 "最后的排序" ，按照默认规则对整行进行一次排序，这次排序称为"最后的排序"

sort -t $'\t' -k3n sort.log ，在第三列相等时，整行会按照 ASCII 进行最后的升序排列

sort -t $'\t' -k3,4n -s sort.log ，加了 -s 后，不会进行最后的排序(1000相同时，e在b的前边了)，而是保留原排序

3.6 按照某个域中的第n个字符进行排序

sort -t $'\t' -k2.3,2.3 sort.log ，按第二列第三个字符进行排序

4、 -h 使用易读性数字(例如:2K、1G)

sort -t $'\t' -k5h sort.log

sort -t $'\t' -k2,2 sort.log|uniq

sort -t $'\t' -k2,2 -u sort.log 会对第二列进行去重，而 sort -t $'\t' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

sort整理完了，欢迎大牛指教