6.4hadoop idea本地运行器测试

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

1.1 本地运行器进行本地测试

写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。

1.1.1 本地任务执行器定义

package Temperature;

import javafx.scene.text.Text;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;

import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.jobcontrol.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MaxTemperatureDrive
extends Configured implements
Tool {

public int run(String[] var1) throws Exception
{
if (var1.length!=2)
{
return -1;
}
JobConf conf=new JobConf(MaxTemperatureJob.class);//hadoop会根据类名去找jar包
conf.setJobName("Max temperature");
FileInputFormat. addInputPath (conf,new Path(var1[0]));//输入文件：单个文件或者目录
FileOutputFormat. setOutputPath (conf,new Path(var1[1]));//输出路径，hadoop新建，不能存在。避免误覆盖
conf.setMapperClass(TemperatureMapper.class);
conf.setReducerClass(MaxTempertureReduce.class);
conf.setOutputKeyClass(Text.class);//reduce的输出类型，map一致时默认，不一致，map也需要指定

conf.setOutputValueClass(IntWritable.class);
JobClient. runJob (conf);
return 0;
}
public static void main(String[]
args) throws Exception {
int exitCode=
ToolRunner. run (new MaxTemperatureDrive(),args);
System. exit (exitCode);
}
}

编译文件，编译生成jar文件，通过hadoop的命令行参数，设置本地模式，main函数的参数参入输入输出路径，run函数执行job任务输出结果。

指定用本地模式有两种方法-conf Hadoop-local.xml或者用
–jt local

方法1：指定配置文件、输入路径、输出路径

%mvn compile

%exprot HADOOP_CLASSPATH=target/classes/

%hadoop v2.MaxTempertureDrive –conf conf/hadoop-local.xml
input/ncdc/micro output

方法2指定文件系统、本地模式、输入路径、输出路径。将mapreduce.framework.name的指针设置为local，则使用本地作业运行器运行作业。

%hadoop v2.MaxTempertureDrive –fs file:/// -jt local input/ncdc/micro output

1.1.2
idea直接调试运行MaxTemperatureDrive

采用hadoop命令运行程序时，没法单步调试。可以直接创建测试类在idea中调试运行。

（1）创建测试类

package Temperature;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import static org.junit.Assert. assertThat ;

public class MaxTemperatureDriveTest
{
@Test
public void test() throws
Exception
{
Configuration conf =new Configuration();
conf.set("fs.defaultFS","file:///");//设置默认文件系统
conf.set("mapreduce.framework.name","local");//设置本地运行器模式
conf.setInt("mapreduce.task.io.sort.mb",1);
//在工程目录D:\Project\Hadoop\下创建输入input/ncdc/micro和输出目录output
Path input =new Path("input/ncdc/micro");//输入路径
Path output=new Path("output");//输出路径
//删除上一次的输出，避免重复
FileSystem fs=FileSystem. getLocal (conf);
fs.delete(output,true);
MaxTemperatureDrive driver=new MaxTemperatureDrive();
driver.setConf(conf);//设置driver配置
//传入输入路径和输出路径，调用run函数运行测试
int exitcode=
driver.run(new String[] {input.toString(),output.toString()});
System. out .print(exitcode);
}
}