正文

基于centos6.5 hadoop 伪分布式安装

IP云
IP云V管理员/8 阅读
12/02
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

步骤1：修改IP 地址和主机名：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ，可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件，就是你的网卡文件。再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-***

主要修改项为：

BOOTPROTO="static"   ###

IPADDR="192.168.100.70"   ###

NETMASK="255.255.255.0"  ###

GATEWAY="192.192.100.1"    ###

BOOTPROTO 修改为静态

IPADDR 要修改的具体ip

NETMASK 网关

GATEWAY 网关

主机名修改：

Vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hadoop1

hostname 查看主机名

步骤2：修改主机名与ip地址对应关系

vim /etc/hosts

192.168.100.70 hadoop1

步骤3：关闭防火墙

查看防护墙状态

service iptables status

关闭

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭开机启动

chkconfig iptables off

步骤4：安装jdk 首先下载jdk7 jdk-7u79-linux-x64.gz

将jdk-7u79-linux-x64.gz 复制到/usr/local/目录下

解压：tar -zxvf jdk-7u79-linux-x64.gz 解压成功后会在/usr/local/目录下产生 java-1.7.0_79目录。

配置环境变量：

vim /etc/profile

在文件最下面添加如下内容：

export JAVA_HOME=/usr/local/java-1.7.0_79

exprot PATH=$PATH:$JAVA_HOME/bin

保存退出

使上面文件立即生效：

source /etc/profile

验证安装是否成功：

java -version

如果出现jdk1.7之类字样代表安装成功

步骤5：安装hadoop2.7.1

上传hadoop 安装包到 /usr/local/ hadoop-2.7.1.tar.gz

并进行解压 ：

tar -zxvf hadoop-2.7.1.tar.gz

只有解压之后才可以操作以下步骤。

伪分布式需要修改5个配置文件

3.1配置hadoop

第一个：hadoop-env.sh（所在目录/usr/local/hadoop-2.7.1/etc/hadoop/）

vim hadoop-env.sh

#第27行

export JAVA_HOME=/usr/local/java-1.7.0_79

以下几个xml 都在/usr/local/hadoop-2.7.1/etc/haoop/ 目录下

第二个：core-site.xml

<!-- 制定HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop-2.7.1/tmp</value>

</property>

备注：这里的hadoop1是计算机名

第三个：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop1</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

//备注这里的hadoop1是计算机名

3.2将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

export HADOOP_HOME=/usr/local/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完成后profile,使之立即生效命令：

source /etc/profile

步骤6：验证与测试

1格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

2启动hadoop

先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

3验证是否启动成功

使用jps命令验证

3504 DataNode

3386 NameNode

3813 ResourceManager

4087 NodeManager

3664 SecondaryNameNode

4206 Jps

http://192.168.100.70:50070 （HDFS管理界面）

http://192.168.100.70:8088 （MR管理界面）

测试 hdfs:

上传文件进行测试

hadoop fs -put /usr/local/hadoop/hadoop-2.7.1.tar.gz hdfs://hadoop1:9000/hadoop

“/usr/local/hadoop/hadoop-2.7.1.tar.gz”是本地一个文件，“hdfs://hadoop1:9000/hadoop”代表hdfs上的一个文件位置

下载文件测试 ：

hadoop fs -get  hdfs://hadoop1:9000/hadoop /home/hd

测试yarn

首先进入hadoop的安装目录下的/share/hadoop/mapreduce/ ，

再使用hadoop-mapreduce-examples-2.7.1.jar

新建一个文件words文件内容如下，并上传到hdfs中

Hello tom

Hello jer

Hello jack

Hello kety

Hello tom

上传到hdfs;

hadoop fs -put /usr/hadoop/words hdfs://hadoop1:9000/words

hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop1:9000/words hdfs://hadoop1:9000/wordresult

下载hdfs://hadoop1:9000/wordresult 可以查看内容

Hello 5

jack   1

jer      1

kety   1

tom   2

代表hadoop伪分部式安装成功

相关阅读

目录[+]