正文
linux命令怎么去重 linux中去重命令
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
利用Linux命令行进行文本按行去重并按重复次数排序
利用linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。用于演示的测试文件内容如下：[plain]Hello
World.
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
The
Iphone
of
Apple
company.
Hello
World.
The
Iphone
of
Apple
company.
My
name
is
Friendfish.
Hello
World.
Apple
and
Nokia.
实现命令及过程如下：[plain]1、文本行去重
(1)排序
由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起。
$
sort
test.txt
Apple
and
Nokia.
Apple
and
Nokia.
Hello
World.
Hello
World.
Hello
World.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
The
Iphone
of
Apple
company.
(2)去掉相邻的重复行
$
sort
test.txt
|
uniq
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
2、文本行去重并按重复次数排序
(1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计。)。
$
sort
test.txt
|
uniq
-c
2
Apple
and
Nokia.
4
Hello
World.
1
I
wanna
buy
an
Apple
device.
1
My
name
is
Friendfish.
2
The
Iphone
of
Apple
company.
(2)对文本行按重复次数进行排序。
sort
-n可以识别每行开头的数字，并按其大小对文本行进行排序。默认是按升序排列，如果想要按降序要加-r选项(sort
-rn)。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
4
Hello
World.
2
The
Iphone
of
Apple
company.
2
Apple
and
Nokia.
1
My
name
is
Friendfish.
1
I
wanna
buy
an
Apple
device.
(3)每行前面的删除重复次数。
cut命令可以按列操作文本行。可以看出前面的重复次数占8个字符，因此，可以用命令cut
-c
9-
取出每行第9个及其以后的字符。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
|
cut
-c
9-
Hello
World.
The
Iphone
of
Apple
company.
Apple
and
Nokia.
My
name
is
Friendfish.
I
wanna
buy
an
Apple
device.
下面附带说一下cut命令的使用，用法如下：[plain]cut
-b
list
[-n]
[file
...]
cut
-c
list
[file
...]
cut
-f
list
[-d
delim][-s][file
...]
上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；
list表示-b、-c、-f操作范围，-n常常表示具体数字；
file表示的自然是要操作的文本文件的名称；
delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；
-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）
三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。
范围的表示方法：
n
只有第n项
n-
从第n项一直到行尾
n-m
从第n项到第m项(包括m)
-m
从一行的开始到第m项(包括m)
-
从一行的开始到结束的所有项
在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用。
相关问答
Q1: linux命令对某一列去重/统计
cat file.csv | awk -F '\t' '{print $2}'
'\t'指的是file.csv不同列以'\t'分割，如果的是以其他符号分割，换成其她符号；
'{print $2}'是指取第2列，此处从1开始计数，第1列，第2列；
一般去重之前要进行排序
cat file.csv | awk -F '\t' '{print $2}' | sort | uniq
前半部分与命令1一样，后面加上| sort | uniq
比如通过命令2发现，第2列取值有两种，分别是'neg'和‘pos’，那么我想知道有多少行的第2列取值为'pos'，多少行的第2列取值为'neg'。
cat file.csv | awk -F '\t' '{print $2}' | grep -o 'neg'| wc -l
前半部分与命令1一样，后面加上 | grep -o 'neg'| wc -l
grep -o 'neg'就是取出取值为'neg'的行
wc -l 是计数有多少行
Q2: 每天一个linux命令（1）sort
sort 是将文件linux命令怎么去重的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按照ASCII码值进行比较，默认将他们按照升序输出
降序
在输出中去重
将排序结果输出到原文件
sortlinux命令怎么去重的默认输出是输出到标准输出，如果想把结果输出到文件，需要 sort file newfile,但是如果想把结果输出到原文件这样就不行linux命令怎么去重了，这时就需要 使用sort -o
以数值来排序
sort 默认是按照字符串排序linux命令怎么去重的，这样就会出现10比3小的情况，sort -n 就可以告诉sort 以整数排序
-t 后面跟 分隔符
-k 后面跟数字，表示用第几列排序
如 sort -t : -k 2 表示把每行 以：号分割，按照第二列排序
banana:30:5.5
orange:20:3.4
apple:10:2.5
linux命令怎么去重我们可以看到，当baidu 和soho都是100的时候，baidu排在前面，当当前域按照默认规矩，是从第一个域开始进行升序排序，因此baidu排在了sohu前面。
sort 支持 -k 2 -k3这种模式，如果你需要，你可以继续这么写下去
你仔细看看，在-k 3后面偷偷加上了一个小写字母r,r和-r的作用是一样，你也可以把前面的-n去掉 在r后面加上n,如下
其实-k 选项 功能很强大，语法[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
从逗号前后 分为两大部分，即-k 2,2，是严格使用第一个域排序，如果只设置-k 2 其实是按照从第一个域到行尾。逗号分开的每部分又有一个点表示子域，即-k 1.2表示 按照第一个域的第二个字符排序，Modifiers就是我们用到的n和r 如 -k 1.2nr 具体我们看下面的例子。
我们使用了-k 1.2，这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o，但sohu的h在google的o前面，所以两者分别排在第二和第三。这和之前说到的按照默认的排序规则 是不同的，当第一个域的第二个字符相同时，他不会去按照第一个字符排序，而是按照后面的字符排序，这是因为-k 1.2是对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。而之前的夸域其实是一种假象。
-u只识别用-k设定的域，发现相同，就将后续相同的行都删除
但是这时候，却一行也没有删除。原来-u是会权衡所有-k选项，将都相同的才会删除，只要其中有一级不同都不会轻易删除的
可以用到b、d、f、i、n 或 r。
其中n和r你肯定已经很熟悉了。
b表示忽略本域的签到空白符号。
d表示对本域按照字典顺序排序（即，只考虑空白和字母）。
f表示对本域忽略大小写进行排序。
i表示忽略“不可打印字符”，只针对可打印字符进行排序。（有些ASCII就是不可打印字符，比如\a是报警，\b是退格，\n是换行，\r是回车等等）
Q3: Linux json文件(排序|去重)
文件 test.log json文件数据
根据 data.ext.uid 字段排序
使用 jq 去重数据,并只显示 data.ext.uid 字段
多维度去重
关于linux命令怎么去重和linux中去重命令的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
