正文

hadoop集群操作常用命令

IP云
IP云V管理员/4 阅读
11/25
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

一、HDFS相关

1、启动NameNode 

sbin/hadoop-daemon.sh start namenode

2、启动DataNode 

sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode
  1. <code class="language-plain">3、启动多个DataNode</code> 
sbin/hadoop-<span style="color:#ff0000;">daemons</span>.sh start datanode
  1. <code class="language-plain">4、一次性启动Namenode和DataNode</code> 
sbin/start-dfs.sh

5、高可用集群NameNode节点切换

hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start zkfc

二、YARN相关

1、启动Resource Manager 
sbin/yarn-daemon.sh start resourcemanager

2、启动Node Manager 

sbin/yarn-daemon.sh start nodemanager
  1. <code class="language-plain">3、启动多个NodeManager</code> 
sbin/yarn-daemons.sh start nodemanager
  1. <code class="language-plain">4、一次性启动ResourceManager 和 所有NodeManager</code> 
sbin/start-yarn.sh

5、启动Job Histroty Server 

sbin/mr-jobhistory-daemon.sh start historyserver

三、查看服务

Hadoop主备查询和切换
（1）主备查询
hdfs haadmin -getServiceState nn1
yarn rmadmin -getServiceState rm1
（2）主备切换
在Hadoop的各种HA中，有个隐藏属性是很多人不知道的，就是强制切换，一般来说，我们通过命令行切换HA，需要去运行
hdfs haadmin -transitionToActive/transitionToStandby nn2
yarn rmadmin -transitionToActive/transitionToStandby rm2
但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。
hdfs haadmin -transitionToActive/transitionToStandby nn2 --forcemanual
但是这样做的后果是，ZKFC将停止工作（我实践发现没停止工作，为啥？），你将不会再有自动故障切换的保障，但是有些时候，这是必须的，特别是有时候，Hadoop的NN在ZKFC正常工作的情况下，也会出现两个standby，两个standby的问题就在于诸如Hive和Pig这种东西，会直接报一个什么 Operation category READ is not supported in state standby 什么什么的，甚至你看着明明一个是active，一个是standby，也会报这个错误，这时候就必须手动强制切换了，强制切换完以后，别忘了重新启动ZKFC就好了。这个强制切换的要求就是用户必须没有任何对元数据的操作，这样才能有效的防止脑裂的发生。应该来说，进入安全模式再切换会比较稳妥一些。
转自https://blog.csdn.net/lazythinker/article/details/47836097

相关阅读

目录[+]