docker安装单机hadoop

安装环境
centos7.
docker 18.06.-ce(这个安装参考我的另外一篇博客
首先关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
下载hadoop镜像docker pull sequenceiq/hadoop-docker:2.6.
查看镜像docker images
运行hadoopdocker run -i -t -p : -p : -p : -p : -p : -p : -p : -p : -p : sequenceiq/hadoop-docker:2.6. /etc/bootstrap.sh -bash
测试是否安装成功
先进入hadoop容器docker exec -it ${CONTAINER ID} /bin/bash
执行完成docker run 也就是上一步,该步骤可以省略cd /usr/local/hadoop-2.6.
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6..jar grep input output 'dfs[a-z.]+'
如果执行mapreduce程序说明安装成功
可以打开浏览器查看
宿主机IP:
docker安装完毕
为了正常使用还需安装以下东西vi /etc/profile
在最底部加入下面内容export HADOOP_HOME="/usr/local/hadoop-2.6.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
保存:wq
使得配置生效source /etc/profile
查看命令行是否能用hadoop version
docker命令行安装完毕
测试jar文件在hadoop中启动
上传一个jar到宿主机
我用hadoop-mapreduce-examples-2.6..jar(这个可以自己在网上下一个)
拷贝jar文件到容器
docker cp 要拷贝的文件路径 容器名：要拷贝到容器里面对应的路径docker cp /root/hadoop-mapreduce-examples-2.6..jar b7d7f88574fb:/usr/local/hadoop-2.6.
查看是否成功docker exec -it b7d7f88574fb /bin/bash
cd /usr/local/hadoop-2.6.
ls
上传一个文件到hdfsvi a.txt
输入下面内容canglaoshi is mylove
xiaoze is mylove
wutenglan is mylove
保存
hadoop创建文件夹hadoop fs -mkdir -p /wordcount/input
hadoop fs -put a.txt /wordcount/input
hadoop jar hadoop-mapreduce-examples-2.6..jar wordcount /wordcount/input /wordcount/output
查看输出内容hadoop fs -cat /wordcount/output/part-r-