Spark3.0.1各种集群模式搭建

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

对于spark前来围观的小伙伴应该都有所了解，也是现在比较流行的计算框架，基本上是有点规模的公司标配，所以如果有时间也可以补一下短板。

简单来说Spark作为准实时大数据计算引擎，Spark的运行需要依赖资源调度和任务管理，Spark自带了standalone模式资源调度和任务管理工具，运行在其他资源管理和任务调度平台上，如Yarn、Mesos、Kubernates容器等。

spark的搭建和Hadoop差不多，稍微简单点，本文针对下面几种部署方式进行详细描述：

• Local：多用于本地测试，如在eclipse，idea中写程序测试等。

• Standalone：Standalone是Spark自带的一个资源调度框架，它支持完全分布式。

• Yarn：Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。

了解一个框架最直接的方式首先要拿来玩玩，玩之前要先搭建，废话少说，进入正题，搭建spark集群。

一、环境准备

搭建环境：CentOS7+jdk8+Hadoop2.10.1+Spark3.0.1

1. 机器准备，由于已经搭建过Hadoop，spark集群也是使用相同集群（个人电脑资源有限），可以参照Hadoop搭建博客：centos7中搭建hadoop2.10高可用集群
2. 需要安装jdk1.8、Scala2.12.12、hadoop2.10.1、spark3.0.1，其中jdk1.8和Hadoop2.10也都已经安装完成，这里只介绍Scala和spark环境配置
3. 机器免密登录，也在Hadoop部署时做过，可以参照Hadoop搭建博客：centos7中搭建hadoop2.10高可用集群
4. 下载Scala2.12.12（https://www.scala-lang.org/download/2.12.12.html）、下载spark3.0.1(http://spark.apache.org/downloads.html)

二、配置环境变量

1.配置Scala环境

测试是否正常

正常

2.配置spark环境变量

由于各个部署方式都需要该步骤，在此单独配置，各个部署方式不再配置

三、搭建步骤

1.本地Local模式

上述已经解压配置好spark环境变量，本地模式不需要配置其他配置文件，可以直接使用，很简单吧，先测试一下运行样例：

可以计算出结果

测试spark-shell

启动成功，说明Local模式部署成功

2.Standalone模式

1>修改Spark的配置文件spark-env.sh

添加如下配置：

2>修改配置文件slaves（从节点配置）

删除原有节点，添加从节点主机如下配置：

3>将spark目录发送到其他机器，可以使用scp一个一个机器复制，这里使用的是自己写的批量复制脚本xrsync.sh（hadoop批量命令脚本xrsync.sh传输脚本）

4>在各个机器中建立spark软连接，可以进入各个机器的/opt/soft目录

这里使用的是批量执行命令脚本xcall.sh（hadoop批量命令脚本xcall.sh及jps找不到命令解决）

5>启动spark集群

可以看到master和worker进程已经启动成功

6>查看集群资源页面(webUI:http://192.168.30.141:8080/)，如果8080端口查不到可以看一下master启动日志，可能是8081端口

7>进入集群shell验证

也是正常的，说明Standalone模式部署成功

3.yarn集群模式

1>修改配置文件spark-env.sh

在Standalone模式下搭建yarn集群模式很简单，只需要在spark-env.sh配置文件加入如下内容即可。

将spark-env.sh分发到各个机器

4>启动spark集群

先启动Hadoop的yarn集群

再启动spark集群，和Standalone模式一样有两种方式

查看master和worker进程正常

5>查看集群资源页面(webUI:http://192.168.30.141:8080/)，如果8080端口查不到可以看一下master启动日志，可能是8081端口

6>进入集群shell验证

启动也正常