基于Mesos运行Spark

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

背景介绍

Spark有多种集群运行模式，例如：Standalone,Yarn,Mesos。
      下面就说一下如何在Mesos上运行Spark，这也是官方推荐的一种运行方式。
      在运行Spark之前咱们先简略介绍一下Mesos。
      Mesos计算框架是一个集群管理器，提供了有效的、跨分布式的应用或框架的资源隔离和共享，可以运行Haoop,Spark,Marathon等多种框架。使用Zookeeper实现容错机制，使用Linux Containers来隔离任务，支持多种资源计算分配，基于Mesos我们可以实现多种服务混布，更细粒度、更高效的提高资源利用率，避免资源的浪费。
      关于Mesos的安装详细信息这里不再赘述，详情可以查看http://get.dataman.io。
      下图是Spark集群的工作模式，当我们使用Mesos的时候Mesos  Master将替换Spark  Master成为集群管理器。

环境以Ubuntu 14.04为例

1.准备工作

(1)安装JDK  1.7
    (2)安装Scala  2.11
    (3)安装libcurl4-nss-dev    （注：这是我自己安装过程遇到的一个错误）
    (4)下载Spark二进制包http://spark.apache.org/downloads.html
    (5)Spark Driver可以安装在任意机器上，如果安装Spark Driver的已经安装了Mesos，可以找到/usr/local/lib/libmesos.so  这是Spark Driver需要加载的Mesos的库，如果机器上没有安装Mesos可以从安装Mesos的机器上复制过来。

2.配置Spark Driver

(1)下载Spark二进制包

wget http://mirror.reverse.net/pub/apache/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz

(2)解压

tar -zxf spark-1.4.0-bin-hadoop2.6.tgz

(3)进入目录

cd spark-1.4.0-bin-hadoop

(4)复制配置文件

cp conf/spark-defaults.conf.template conf/spark-defaults.conf && cp conf/spark-env.sh.template conf/spark-env.sh

(5)修改spark-env.sh配置选项，我主要修改了如下配置

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so #加载Mesos库的路径export MASTER=mesos://zk://192.168.100.7:2181,192.168.100.8:2181,192.168.100.9:2181/mesos #如果是单主节点可以用mesos://ip:host，如果是用zookeeper管理的多主节点就需要mesos://zk://192.168.100.7:2181,192.168.100.8:2181,192.168.100.9:2181/mesos export SPARK_LOCAL_IP=`ifconfig eth0 | awk '/inet addr/{print substr($2,6)}'` export SPARK_LOCAL_HOSTNAME=`ifconfig eth0 | awk '/inet addr/{print substr($2,6)}'` export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:jre/bin/java::")export SPARK_EXECUTOR_URI=<URL of spark-1.4.0.tar.gz uploaded above> #这个是spark二进制包所在的位置，当mesos在计算节点运行任务的时候，计算节点必须有spark的二进制包来建立spark的运行环境。

(6)运行spark-shell 现在Spark Driver的配置基本已经配置完了，我们可以运行bin目录下的spark-shell，当运行成功以后查看Mesos的Web页面Active Frameworks如果出来如下图所示的进程，就表示我们已经配置成功了。
现在我们就可以编写属于我们自己的Spark程序了。