Spark master节点HA配置

Spark master节点HA配置

1、介绍

Spark HA配置需要借助于Zookeeper实现，因此需要先搭建ZooKeeper集群。

2、配置

2.1 修改所有节点的spark-evn.sh文件

在spark-env.sh文件添加如下环境变量：

#需要将该条目注释掉
#export SPARK_MASTER_IP=master1 #导入
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s102:2181,s103:2181,s104:2181 -Dspark.deploy.zookeeper.dir=/spark"


2.2通过--master参数，指定多个master节点

$>spark-shell --master spark://s101:7077,s102:7077


2.3 查看各节点的webui

http://s101:8080
http://s102:8080