8.1.2hadoop Streaming 作业原理和参数设置

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

1.1.1 Stream 作业

（1）hadoop streaming

Hadoop streaming是hadoop的一个工具，用于运行费java的maper或reducer作业，例如maper和reducer是C++编写的可执行程序或者脚本文件。同时也可以是java类。

HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \

-input myInputDirs \

-output myOutputDir \

-mapper /bin/cat \

-reducer /bin/wc

（2）Stream工作原理

如果可执行程序被用于maper和reducer，可执行程序作为单独的进程启动，mapper任务运行时，将输入按照分隔符切分成行（默认情况下每一行tab之前的为键key，之后为值value，如果没有tab，整行为键，值为null，key和value的分隔符可以设置），提供给可执行程序的标准输入，可执行程序处理之后输出到标准输出，mapper任务收集标准输出的内容，转换为key/value对，作为maper/reducer的输出。用户可以设定stream.non.zero.exit.is.failure true 或false 来表明streaming task的返回值非零时是 Failure 还是Success。默认情况，streaming task返回非零时表示失败。

（3）集群运行可执行程序一起打包提交

如果是集群运行stream作业，需要用-file参数指定可执行程序，framework将可执行程序一起打包提交到集群运行。例如下面的-file myPythonScript.py。除了可执行文件外，其他mapper或reducer需要用到的辅助文件（比如字典，配置文件等）也可以用这种方式打包上传。

HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \

-input myInputDirs \

-output myOutputDir \

-mapper myPythonScript.py \

-reducer /bin/wc \

-file myPythonScript.py

-file myDictionary.txt

（4）Stream只使用mapper的设置

有时只需要map函数处理输入数据。这时只需把mapred.reduce.tasks设置为零，Map/reduce框架就不会创建reducer任务，mapper任务的输出就是整个作业的最终输出。

为了做到向下兼容，Hadoop Streaming也支持“-reduce None”选项，它与“-jobconf mapred.reduce.tasks=0”等价。

（5）Stream参数设置

-inputformat JavaClassName	设置输入值类型
-outputformat JavaClassName	设置输出值类型
-partitioner JavaClassName	设置分区类
-combiner JavaClassName	设置combine函数类
-input myinputdir	设置输入路径
-output myoutputdir	设置输出路径
-cluster name	切换集群
-dfs host:port or local	设置新的hdfs或者用local表示本地
-jt host:port or local	设置新的jobtracker或者用local表示本地
-file ./map_sort.py	将当前目录的map_sort.py文件（10M以内）上传到计算节点
-cacheFile "hdfs://hadoop-master:8020/fruit.txt#fruit	HDFS中已经存在的文件发送到需要使用该文件的节点。“#”是给要分发的文件起别名（符号链接），在Mapreduce程序中直接使用该别名就可访问该文件。
-cacheArchive “hdfs://hadoop-master:8020/fruit.tar.gz#fruitlink	-cacheArchive：将HDFS中已经存在的压缩文件fruit.tar.gz分发到相应的计算节点并解压，fruitlink指向解压后的文件夹。
-jobconf mapred.reduce.tasks=2	Hadoop的参数设置，这里表示用两个reduce任务，还有很多其他任务。

（6）Streaming输入输出键值分隔符设置

默认是tab作为分隔符，如果键值中包含tab键，则需要将分隔符设置为其他符号。除了分隔符，还要对键所占分隔符的数量stream.num.map.output.key.fields和stream.num.reduce.output.key.fields进行设置，例如一行数据是a,b,c，数量设置为1，则a是键，b,c是值，如果设置为2，则a,b是键，c是值。

属性名称	描述
stream.map.input.field.separator	String，默认\t，map输入键值分隔符
stream.reduce.input.field.separator	String，默认\t，reduce输入键值分隔符
stream.map.output.field.separator	String，默认\t，map输出键值分隔符
stream.reduce.output.field.separator	String，默认\t，reduce输出键值分隔符
stream.num.map.output.key.fields	Map输出键值字符串中，键占的字段数
stream.num.reduce.output.key.fields	reduce输出键值字符串中，键占的字段数

这参数的作用如图所示，参数作为内部分隔设置，与总的输入input和输出output无关。如果用标准的TextOutputFormat作为output的输出格式，则默认会用tab分隔，写入输出文件。可以通过属性mapreduce.output.textoutput.format.separator来修改output输出的分隔符。