spark-2.2.0安装和部署——Spark集群学习日记

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

前言

在安装后hadoop之后，接下来需要安装的就是Spark。

scala-2.11.7下载与安装

具体步骤参见上一篇博文

Spark下载

为了方便，我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0

wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

Spark安装之前的准备

文件的解压与改名

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

rm -rf spark-2.2.0-bin-hadoop2.7.tgz

为了我后面方便配置spark，在这里我把文件夹的名字给改了

mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

配置环境变量

vi /etc/profile

在最尾巴加入

export SPARK_HOME=/usr/local/spark-2.2.0export PATH=$PATH:$SPARK_HOME/bin

配置Spark环境

打开spark-2.2.0文件夹

cd spark-2.2.0

此处需要配置的文件为两个

spark-env.sh和slaves

首先我们把缓存的文件spark-env.sh.template改为spark识别的文件spark-env.sh

cp conf/spark-env.sh.template conf /spark-env.sh

修改`spark-env.sh`文件

vi conf/spark-env.sh

在最尾巴加入

export JAVA_HOME=/usr/java/jdk1.8.0_141export SCALA_HOME=/usr/scala-2.11.7export HADOOP_HOME=/usr/local/hadoop-2.7.2export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoopexport SPARK_MASTER_IP=SparkMasterexport SPARK_WORKER_MEMORY=4gexport SPARK_WORKER_CORES=2export SPARK_WORKER_INSTANCES=1

变量说明

JAVA_HOME：Java安装目录
SCALA_HOME：Scala安装目录
HADOOP_HOME：hadoop安装目录
HADOOP_CONF_DIR：hadoop集群的配置文件的目录
SPARK_MASTER_IP：spark集群的Master节点的ip地址
SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小
SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目

修改`slaves`文件

vi conf/slaves

在最后面修成为

SparkWorker1 SparkWorker2

同步`SparkWorker1`和`SparkWorker2`的配置

在此我们使用rsync命令

rsync -av /usr/local/spark-2.2.0/ SparkWorker1:/usr/local/spark-2.2.0/

rsync -av /usr/local/spark-2.2.0/ SparkWorker2:/usr/local/spark-2.2.0/

启动`Spark`集群

因为我们只需要使用hadoop的HDFS文件系统，所以我们并不用把hadoop全部功能都启动。

启动`hadoop`的`HDFS`文件系统

start-dfs.sh

但是在此会遇到一个情况，就是使用start-dfs.sh，启动之后，在SparkMaster已经启动了namenode，但在SparkWorker1和SparkWorker2都没有启动了datanode，这里的原因是：datanode的clusterID和namenode的clusterID不匹配。是因为SparkMaster多次使用了hadoop namenode -format格式化了。