正文

配置HDFS的HA

IP云
IP云V管理员/2 阅读
12/02
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

配置前准备：
-- 配置hadoop
-- 配置ZooKeeper，传送门：https://www.cnblogs.com/zhqin/p/11906106.html

安装配置好hadoop和ZooKeeper之后，接下来开始正式配置HA：

1、在/opt下创建ha文件夹 

sudo mkdir ha

2、更改ha文件夹所有者 

sudo chown admin:admin ha

3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下 

cp -r module/hadoop-2.7.2/ ha/

4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹，将之前集群运行产生的data和logs文件夹删除 

rm -rf data/ logs/

5、进入etc/haoop/ 文件夹下 

/opt/ha/hadoop-2.7.2/etc/hadoop

6、修改core-site.xml 

<configuration>

<!-- 把两个NameNode）的地址组装成一个集群mycluster -->

		<property>

			<name>fs.defaultFS</name>

        	<value>hdfs://mycluster</value>

		</property>

		<!-- 指定hadoop运行时产生文件的存储目录 -->

		<property>

			<name>hadoop.tmp.dir</name>

			<value>/opt/ha/hadoop-2.7.2/data/tmp</value>

		</property>

</configuration>

7、配置hdfs-site.xml 



<configuration>

	<!-- 完全分布式集群名称 -->

	<property>

		<name>dfs.nameservices</name>

		<value>mycluster</value>

	</property>

	<!-- 集群中NameNode节点都有哪些 -->

	<property>

		<name>dfs.ha.namenodes.mycluster</name>

		<value>nn1,nn2</value>

	</property>

	<!-- nn1的RPC通信地址 -->

	<property>

		<name>dfs.namenode.rpc-address.mycluster.nn1</name>

		<value>hadoop102:9000</value>

	</property>

	<!-- nn2的RPC通信地址 -->

	<property>

		<name>dfs.namenode.rpc-address.mycluster.nn2</name>

		<value>hadoop103:9000</value>

	</property>

	<!-- nn1的http通信地址 -->

	<property>

		<name>dfs.namenode.http-address.mycluster.nn1</name>

		<value>hadoop102:50070</value>

	</property>

	<!-- nn2的http通信地址 -->

	<property>

		<name>dfs.namenode.http-address.mycluster.nn2</name>

		<value>hadoop103:50070</value>

	</property>

	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->

	<property>

		<name>dfs.namenode.shared.edits.dir</name>

	<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>

	</property>

	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->

	<property>

		<name>dfs.ha.fencing.methods</name>

		<value>sshfence</value>

	</property>

	<!-- 使用隔离机制时需要ssh无秘钥登录-->

	<property>

		<name>dfs.ha.fencing.ssh.private-key-files</name>

		<value>/home/atguigu/.ssh/id_rsa</value>

	</property>

	<!-- 声明journalnode服务器存储目录-->

	<property>

		<name>dfs.journalnode.edits.dir</name>

		<value>/opt/ha/hadoop-2.7.2/data/jn</value>

	</property>

	<!-- 关闭权限检查-->

	<property>

		<name>dfs.permissions.enable</name>

		<value>false</value>

	</property>

	<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->

	<property>

  		<name>dfs.client.failover.proxy.provider.mycluster</name>

	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

	</property>

</configuration>

8、分发ha文件夹 

sudo xsync /opt/ha/

其实到目前为止，手动切换的HA已经配置完成。

接下来继续配置自动切换(自动故障转移)的HA，也就是ZooKeeper。

9、进入配置文件的文件夹下，修改hdfs-site.xml, vim /opt/ha/hadoop-2.7.2/etc/hadoop/hdfs-site.xml 在原有的配置基础上追加如下内容： 

<property>

	<name>dfs.ha.automatic-failover.enabled</name>

	<value>true</value>

</property>

10、修改core-site.xml，在core-site.xml最后追加如下内容： 

<property>

	<name>ha.zookeeper.quorum</name>

	<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>

</property>

11、同步三台机器的配置文件 

xsync /opt/ha/hadoop-2.7.2/etc/hadoop/

到此配置完成，接下来开始第一次启动前的各种准备工作。

12、启动JournalNode 

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode

13、格式化namenode(注意，执行该命令需等待上条命令执行之后稍等片刻，因为JournalNode节点启动稍微需要些时间，而HDFS是建立在这个节点之上的) 

/opt/ha/hadoop-2.7.2/bin/hdfs namenode -format

14、启动namenode 

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode

此时执行jpsall应该有的进程是： 

-----------  hadoop102  -----------

10178 NameNode

10014 JournalNode

-----------  hadoop103  -----------

12740 JournalNode

-----------  hadoop104  -----------

12521 JournalNode

这样的结果的话代表目前执行正确

15、在hadoop103机器上执行： 

/opt/ha/hadoop-2.7.2/bin/hdfs namenode -bootstrapStandby

16、然后在hadoop103上启动namenode 

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode

这个时候执行jpsall应该是三个jn两个nn，如下所示： 

-----------  hadoop102  -----------

10178 NameNode

10014 JournalNode

-----------  hadoop103  -----------

12740 JournalNode

12981 NameNode

-----------  hadoop104  -----------

12521 JournalNode

17、启动ZooKeeper集群

在所有机器同时发送命令： 

$ZOOKEEPER_HOME/bin/zkServer.sh start

可以通过命令： $ZOOKEEPER_HOME/bin/zkServer.sh start 查看ZooKeeper各个节点的状态。

18、需要格式化一下Zkfc需要在ZooKeeper中用到的数据信息。 

/opt/ha/hadoop-2.7.2/bin/hdfs zkfc -formatZK

19、在配置了namenode节点的机器上启动zkfc

在hadoop102和hadoop103分别执行：

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start zkfc

此时执行jpsall，显示结果应该为： 

-----------  hadoop102  -----------

10432 QuorumPeerMain

10178 NameNode

10650 DFSZKFailoverController

10014 JournalNode

-----------  hadoop103  -----------

13363 DFSZKFailoverController

12740 JournalNode

12981 NameNode

13151 QuorumPeerMain

-----------  hadoop104  -----------

12772 QuorumPeerMain

12521 JournalNode

20、然后启动数据节点datanode，切换到hadoop102 

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start datanode

这个时候执行jpsall 

-----------  hadoop102  -----------

10432 QuorumPeerMain

10817 DataNode

10178 NameNode

10650 DFSZKFailoverController

10014 JournalNode

-----------  hadoop103  -----------

13665 DataNode

13363 DFSZKFailoverController

12740 JournalNode

12981 NameNode

13151 QuorumPeerMain

-----------  hadoop104  -----------

12772 QuorumPeerMain

13092 DataNode

12521 JournalNode

21、至此，已经配置完成。

以后启动的话就一条启动命令即可： 

/opt/ha/hadoop-2.7.2/sbin/start-dfs.sh

关闭同理： 

/opt/ha/hadoop-2.7.2/sbin/stop-dfs.sh

相关阅读

目录[+]