linux排序分组命令,linux按列排序

linux sort 命令整理

无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令，经常会被搞晕，索性好好研究一下 sort 命令

语法：

选项：

参数就不一一介绍了，直接上例子，首先先看下原始的排序数据

cat sort.log

1、打印从哪列开始是乱序

sort -c sort.log; echo $?

sort -C sort.log; echo $?

其中，返回结果 1，表示文件不是已经排序好的文件

2、默认排序( 整行进行ASCII字符升序)

sort sort.log

3、高能来了，让人迷糊的 k 语法，首先看下 k 的语法格式

这个语法格式可以被其中的逗号（”,”）分为两大部分，Start部分和End部分

Start和End部分都由三部分组成，其中的Modifier部分就是类似n和r的选项部分，可省略

FStart、Fend，表示使用的域，而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的，分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭，上几个例子吧

3.1 对第三列进行排序，如果不加n，按照 ASCII字符排序

sort -t $'\t' -k 3 sort.log

3.2 加n后，按照数值排序

sort -t $'\t' -k 3n sort.log

3.3 不指定 FEnd 时，多个 -k 从前往后排序可以，从后往前不行

从后往前，多个 -k，数据符合预期

sort -t $'\t' -k 3n -k 1 sort.log

从后往前，多个 -k ，第三列相同时，按照第一列降序排列，数据符合预期

sort -t $'\t' -k 3n -k 1r sort.log

更换成从前往后

sort -t $'\t' -k 1 -k 3n sort.log

sort -t $'\t' -k 1 -k 3nr sort.log

通过 sort -t $'\t' -k 1 -k 3n sort.log 和 sort -t $'\t' -k 1 -k 3nr sort.log 返回的结果发现，在第一列相等时，无论其三列是正序排列，还是逆序排列，结果都一样，说明后边的 -k 未生效

当指定 FEend 后

sort -t $'\t' -k 1,1 -k 3nr sort.log

3.4 作用域

紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n"，"r")称为私有选项，使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时，该排序字段将继承全局选项，所有选项包括但不限于"bfnrhM"

除了"b"选项外，其余选项无论是指定在FStart还是FEnd中都是等价的，对于"b"选项，指定在FStart则作用于FStart，指定在FEnd则作用于FEnd

sort -t $'\t' -k1r,2 sort.log ，可以看出一、二列都是倒叙排列

3.5 注意

指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-"，当排序时遇到无法识别字符时，将导致该key的排序立即结束，n选项绝对不会跨域进行比较

默认情况下，sort会进行一次 "最后的排序" ，按照默认规则对整行进行一次排序，这次排序称为"最后的排序"

sort -t $'\t' -k3n sort.log ，在第三列相等时，整行会按照 ASCII 进行最后的升序排列

sort -t $'\t' -k3,4n -s sort.log ，加了 -s 后，不会进行最后的排序(1000相同时，e在b的前边了)，而是保留原排序

3.6 按照某个域中的第n个字符进行排序

sort -t $'\t' -k2.3,2.3 sort.log ，按第二列第三个字符进行排序

4、 -h 使用易读性数字(例如:2K、1G)

sort -t $'\t' -k5h sort.log

sort -t $'\t' -k2,2 sort.log|uniq

sort -t $'\t' -k2,2 -u sort.log 会对第二列进行去重，而 sort -t $'\t' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

sort整理完了，欢迎大牛指教

相关问答

Q1: 请教linux高手：sed -n 's%.* src=\(192.168.[0-9.]*\).*%\1%p' /proc/net/ip_conntrack | sort |

sort是Linux命令，主要用于排序文件、对已排序的文件进行合并，并检查文件以确定它们是否已排序

语法

sort [ -A ] [ -b ] [ -c ] [ -d ] [ -f ] [ -i ] [ -m] [ -n ] [ -r ] [ -u ] [ -o OutFile ] [ -t Character ] [ -T Directory ] [ -y [ Kilobytes ] ] [ -z RecordSize ] [ [ + [ FSkip ] [ .CSkip ] [ b ] [ d ] [ f ] [ i ] [ n ] [ r ] ] [ - [ FSkip ] [ .CSkip ] [ b ] [ d ] [ f ] [ i ] [ n ] [ r ] ] ] ... [ -k KeyDefinition ] ... [ File ... ]

sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。-（减号）代替文件名指定标准输入。如果您不指定任何文件名，那么该命令对标准输入排序。可以使用 -o 标志指定输出文件。 如果不指定任何标志，sort 命令基于当前语言环境的整理顺序对输入文件的所有行排序。

排序关键字

排序关键字是输入行的一部分，由字段号和列号指定。字段是输入行的组成部分，由字段分隔符分隔。缺省字段分隔符是由一个或多个连续空格字符组成的序列。使用 -t 标志可指定不同的字段分隔符。在 C 语言和英语语言环境下，制表符和空格字符都是空格符。 使用排序关键字时，sort 命令首先根据第一个排序关键字的内容对所有行排序。然后，根据第二个排序关键字的内容，对所有第一个排序关键字相同的行排序，如此进行下去。按照排序关键字在命令行中出现的顺序给它们编号。如果两行对所有排序关键字的排序都相同，则对全部行依据当前语言环境的整理顺序进行比较。 对字段中的列进行编号时，缺省字段分隔符中的空格符将作为后继字段计数。前导空格不计作第一字段的一部分，-t 标志指定的字段分隔符将不作为字段的一部分计数。可使用 -b 标志忽略前导空格符。 可使用下列两种方法定义排序关键字： * -k KeyDefinition * FSkip.CSkip（废弃版本）。 使用 -k 标志定义排序关键字 -k KeyDefinition 标志采用下列形式： -k [ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ] 排序关键字包括所有以 FStart 变量指定的字段和 CStart 变量指定的列开头的及以 FEnd 变量指定的字段和 CEnd 变量指定的列结束的字符。如果不指定 Fend，就假定行的最后一个字符。如果不指定 CEnd，就假定 FEnd 字段的最后一个字符。KeyDefinition 变量中的任何字段号或列号都可以省略。缺省值为： FStart 行开头 CStart 字段第一列 FEnd 行结束 CEnd 字段最后一列 如果字段间有任意空格，sort 就把它们看作分隔的字段。 Modifier 变量的值可以是字母 b、d、f、i、n 或 r 中的一个或多个。修饰符仅应用于它们连接的字段定义，与同一字母的标志有同样的效果。修饰符字母 b 仅应用于其连接的字段定义的末尾。例如： -k 3.2b,3r 指定排序关键字，从第三字段的第二非空格列开始并扩展至第三字段结束，对这个关键字的排序以逆向整理顺序完成。如果 FStart 变量和 CStart 变量在命令行末尾以外或在 FEnd 变量和 CEnd 变量之后，那么该排序关键字被忽略。 排序关键字也可用下列方式指定： [+[FSkip1] [.CSkip1] [Modifier] ] [-[FSkip2] [.CSkip2] [Modifier]] +FSkip1 变量指定跳过的字段数以到达排序关键字第一字段，+CSkip 变量指定在该字段中跳过的列数以到达排序关键字第一个字符。-FSkip 变量指定跳过的字段数以到达排序关键字后的第一个字符，-CSkip 变量指定在该字段中跳过的列数。可以省略任何要跳过的字段和列。缺省值为： FSkip1 行开头 CSkip1 零 FSkip2 行结束 CSkip2 零 Modifier 变量指定的修改量与 -k 标志关键字排序定义中的相同。 因为 +FSkip1.CSkip1 变量指定到达排序关键字前要跳过多少字段和列，所以这些变量指定的字段号和列号通常比排序关键字本身的字段号和列号小 1。例如： +2.1b -3r 指定排序关键字，从第三字段的第二非空格列开始并扩展至第三字段结束，对这个关键字的排序以逆向整理顺序完成。语句 +2.1b 指定跳过两个字段，然后跳过前导空格和另一列。如果 +FSkip1.CSkip1 变量在命令行末尾以外或在 -FSkip2.CSkip2 变量之后，则忽略该排序关键字。 注：一行的最大字段数为 10。

标志

注：在任何排序关键字定义前出现的 -b、-d、-f、-i、-n 或 -r 标志应用于所有排序关键字。-b、-d、-f、-i、-n 或 -r 标志都不能单独出现在 -k KeyDefinition 之后；如果它们作为修饰符连接 KeyDefinition 变量，那么就只应用于连接排序关键字。如果这些标志之一跟随在 +Fskip.Cskip 或 -Fskip.Cskip 排序关键字定义后，那么该标志只能用于此排序关键字。 -A 使用 ASCII 整理顺序代替当前语言环境的整理顺序在逐字节的基础上排序。 -b 忽略前导空格和制表符，找出字段的第一或最后列。 -c 检查输入是否已按照标志中指定的排序规则进行排序。如果输入文件排序不正确，就返回一个非零值。 -d 使用字典顺序排序。比较中仅考虑字母、数字和空格。 -f 比较前将所有小写字母改成大写字母。 -i 比较中忽略所有非打印字符。 -k KeyDefinition 指定排序关键字。KeyDefinition 选项的格式为： [ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ] 排序关键字包括所有以 FStart 变量指定的字段和 CStart 变量指定的列开头的字符及以 FEnd 变量指定的字段和 CEnd 变量指定的列结束的字符。Modifier 变量的值可以是 b、d、f、i、n 或 r。 修饰符与同一字母的标志等价。 -m 只合并多个输入文件；假设输入文件已经排序。 -n 按算术值对数字字段排序。数字字段可包含前导空格、可选减号、十进制数字、千分位分隔符和可选基数符。对包含任何非数字字符的字段进行数字排序会出现无法预知的结果。 -o OutFile 将输出指向 OutFile 参数指定的文件，而不是标准输出。OutFile 参数值可以与 File 参数值相同。 -r 颠倒指定排序的顺序。 -t Character 指定 Character 为单一的字段分隔符。 -u 禁止按照排序关键字和选项的所有等同排序（每一组行中一行除外）。 -T Directory 将创建的所有临时文件放入 Directory 参数指定的目录中。 -y[Kilobytes] 用 Kilobytes 参数指定的主存储的千字节数启动 sort 命令，并根据需要增加存储量。（如果 Kilobytes 参数指定的值小于最小存储站点或大于最大存储站点，就以这个最小存储站点或最大存储站点取代）。如果省略 -y 标志，sort 命令以缺省的存储大小启动。-y0 标志用最小存储启动，而 -y 标志（不带 Kilobytes 值）用最大存储启动。sort 命令使用的存储量显著地影响性能。以大存储量对小文件排序将很浪费。 -z RecordSize 如果正在排序的任一行大于缺省的缓冲区大小，要防止出现异常终止。指定 -c 或 -m 标志时，省略排序阶段，使用系统的缺省缓冲大小。如果已排序行超出这一大小，排序异常终止。-z 选项指定排序阶段最长行的记录，因而可在合并阶段分配足够的缓冲区。RecordSize 必须指明等于或大于要合并的最长行的字节值。

[编辑本段]退出状态

该命令返回以下出口值： 0 所有输入文件成功输出，或指定了 -c 且正确排序了输入文件。 1 在 -c 选项下，文件没有按指定排序，或如果指定 -c 和 -u 选项，找到了两个具有相同关键字的输入行。 1 发生错误。

[编辑本段]示例

1.排序fruits

1. 要在 LC_ALL、LC_COLLATE 或 LANG 环境变量设置为 En_US 的情况下排序 fruits 文件，请输入： LANG=En_US sort fruits 此命令序列显示以升序词典顺序排序的 fruits 文件的内容。每一列的字符，包括空格、数字和特殊字符都经一一比较。例如，如果 fruits 文件包含文本： banana orange Persimmon apple %%banana apple ORANGE sort 命令显示: %%banana ORANGE Persimmon apple apple banana orange 在 ASCII 整理序列中，%（百分号）在大写字母前，大写字母在小写字母前。如果您当前的语言环境指定 ASCII 之外的字符集，结果可能不同。

2. 以字典顺序排序

sort -d fruits 此命令序列排序和显示 fruits 文件的内容，并且只比较字母、数字和空格。如果 fruits 文件与示例 1 相同，那么 sort 命令显示： ORANGE Persimmon apple apple %%banana banana orange -d 标志忽略 %（百分号）字符，因为它不是个字母、数字或空格。（即 %%banana 被 banana 取代）。

3.大小写字母分组

要将包含大写字母和具有类似小写行的特殊字符行分组，请输入： sort -d -f fruits -d 标志忽略特殊字符，-f 标志忽略大小写差异。将 LC_ALL、LC_COLLATE 或 LANG 环境变量设置为 C 的情况下，fruits 文件的输出结果变为： apple apple %%banana banana ORANGE orange Persimmon

4. 除去重复行排序

sort -d -f -u fruits -u 标志告诉 sort 命令除去重复的行，使文件中的每一行唯一。此命令序列显示： apple %%banana orange Persimmon 不仅除去重复的 apple，而且也除去了 banana 和 ORANGE。除去这些是因为 -d 标志忽略 %% 这个特殊字符，-f 标志忽略大小写差异。

5. 除去重复的实例

sort -u +0 -d -f +0 fruits 输入 +0 -d -f 完成的排序与示例 3 中 -d -f 的排序类型相同，+0 进行另一项比较以区分不一样的行。这防止 -u 标志将它们除去。 示例 1 所示的 fruits 文件中，添加的 +0 将 %%banana 与 banana 及 ORANGE 与 orange 区分开来。然而，apple 的两个实例是相同的，所以其中之一被删除。 apple %%banana banana ORANGE orange Persimmon

6. 指定分隔字段的字符

sort -t: +1 vegetables 此命令序列排序 vegetables 文件，对每一行上第一个冒号后的文本进行比较。+1 告诉 sort 命令忽略第一字段，从第二字段的开始到该行的结束进行比较。-t: 标志告诉 sort 命令冒号分隔字段。如果 vegetables 包含： yams:104 turnips:8 potatoes:15 carrots:104 green beans:32 radishes:5 lettuce:15 那么，将 LC_ALL、LC_COLLATE 或 LANG 环境变量设置为 C 的情况下，sort 命令将显示： carrots:104 yams:104 lettuce:15 potatoes:15 green beans:32 radishes:5 turnips:8 注意数字没有按照数字排序。当用字典式分类从左至右比较每一个字符时出现这种情况。换句话说，3 在 5 之前，所以 32 在 5 之前。

7. 排序数字

sort -t: +1 -n vegetables 此命令序列按照第二个字段对 vegetables 文件进行数字排序。如果 vegetables 文件与示例 6 中的相同，那么 sort 命令将显示： radishes:5 turnips:8 lettuce:15 potatoes:15 green beans:32 carrots:104 yams:104 8. 要对多个字段排序，请输入： sort -t: +1 -2 -n +0 -1 -r vegetables 或 sort -t: -k2,2 n -k1,1 r vegetables 此命令序列对第二字段（+1 -2 -n）进行数字排序。在这个顺序中，它以逆字母顺序（+0 -1 -r）对第一字段排序。将 LC_ALL、LC_COLLATE 或 LANG 环境变量设置为 C 的情况下，输出将类似于： radishes:5 turnips:8 potatoes:15 lettuce:15 green beans:32 yams:104 carrots:104 此命令按数字顺序对行排序。当两行数字相同时，它们以逆字母顺序出现。

9. 使用排序的文本替换原始文件

sort -o vegetables vegetables 此命令序列将排序输出存入 vegetables 文件（ -o vegetables）。 文件 /usr/bin/sort 包含 sort 命令。 /var/tmp sort 命令处理期间的临时空间。 /usr/tmp 如果不能在 /var/tmp 中创建文件，是 sort 命令处理期间的临时空间。 /tmp 如果不能在 /var/tmp 或 /usr/tmp 中创建文件，是 sort 命令处理期间的临时空间。

Q2: 每天一个linux命令（1）sort

sort 是将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按照ASCII码值进行比较，默认将他们按照升序输出

降序

在输出中去重

将排序结果输出到原文件

sort的默认输出是输出到标准输出，如果想把结果输出到文件，需要 sort file newfile,但是如果想把结果输出到原文件这样就不行了，这时就需要 使用sort -o

以数值来排序

sort 默认是按照字符串排序的，这样就会出现10比3小的情况，sort -n 就可以告诉sort 以整数排序

-t 后面跟 分隔符

-k 后面跟数字，表示用第几列排序

如 sort -t : -k 2 表示把每行 以：号分割，按照第二列排序

banana:30:5.5

orange:20:3.4

apple:10:2.5

我们可以看到，当baidu 和soho都是100的时候，baidu排在前面，当当前域按照默认规矩，是从第一个域开始进行升序排序，因此baidu排在了sohu前面。

sort 支持 -k 2 -k3这种模式，如果你需要，你可以继续这么写下去

你仔细看看，在-k 3后面偷偷加上了一个小写字母r,r和-r的作用是一样，你也可以把前面的-n去掉 在r后面加上n,如下

其实-k 选项 功能很强大，语法[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

从逗号前后 分为两大部分，即-k 2,2，是严格使用第一个域排序，如果只设置-k 2 其实是按照从第一个域到行尾。逗号分开的每部分又有一个点表示子域，即-k 1.2表示 按照第一个域的第二个字符排序，Modifiers就是我们用到的n和r 如 -k 1.2nr 具体我们看下面的例子。

我们使用了-k 1.2，这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o，但sohu的h在google的o前面，所以两者分别排在第二和第三。这和之前说到的按照默认的排序规则 是不同的，当第一个域的第二个字符相同时，他不会去按照第一个字符排序，而是按照后面的字符排序，这是因为-k 1.2是对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。而之前的夸域其实是一种假象。

-u只识别用-k设定的域，发现相同，就将后续相同的行都删除

但是这时候，却一行也没有删除。原来-u是会权衡所有-k选项，将都相同的才会删除，只要其中有一级不同都不会轻易删除的

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序（即，只考虑空白和字母）。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”，只针对可打印字符进行排序。（有些ASCII就是不可打印字符，比如\a是报警，\b是退格，\n是换行，\r是回车等等）