Linux大文件快速处理小方法

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

背景

工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：

2. 采用的方法

a. 方法1

原本打算使用如下脚本，进行简单验证：

#!/bin/bash
count=
cat oriTest.txt | while read data
do
count=$(( $count+ ))
echo $count
dir=`echo "$data" | awk -F "\t" '{print $5}'`
if [ -e $dir ];then
echo "$data" >> exist.txt
else
echo "$data" >> noexist.txt
fi
done

原始数据格式如下：

1 name mark id dir

运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

#!/bin/bashsource ~/.bashrc# 判断路径是否存在
readdata(){
cat $ | while read data
do
dir=`echo "$data" | awk -F "\t" '{print $5}'`
if [ -e $dir ];then
echo "$data" >> "exist_$1.txt"
else
echo "$data" >> "noexist_$1.txt"
fi
done
}# 大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)
split -l oriTest.txtdeclare -a files # 声明数组
files=($(ls x*)) # 分割后的小文件名保存数组# 遍历，并后台执行
for i in ${files[@]};do
echo $i
readdata $i &
done