正文

Spark1.3.0安装

IP云
IP云V管理员/6 阅读
09/06
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

之前在用Hadoop写ML算法的时候就隐约感觉Hadoop实在是不适合ML这些比较复杂的算法。记得当时写完kmeans后，发现每个job完成后都需要将结果放在HDFS中，然后下次迭代的时候再从文件中读取，对于kmeans这种高迭代的算法，感觉Hadoop的瓶颈会出现在IO上，后来又写了个Naive bayes，这种非常简单的算法，用Hadoop写，由于只有一种mapreduce范式，完全感觉到力不从心，为了处理这些简单的格式，总共用了4个mapreduce才完成，哭了。后面的logistics Regress等等只会让Hadoop更加难堪。

之前一直听spark如何虐Hadoop，但是舍友说spark只是因为在内存上跑，必然玩爆Hadoop，所以当时潜意识认为spark是内存版的Hadoop，昨天无意中看到关于spark的RDD的论文，感觉spark很适合写ML，并且性能比Hadoop好也并不全是因为在内存上跑，他所解决的问题刚好也是我在写Hadoop时候不想遇到的问题。同时spark最近这段时间这么火爆，没有理由不尝试下。

总的来说安装spark是比较简单的，可能是因为之前已经装了Hadoop。

由于我已经装了Hadoop2.4了，所以下了spark-1.3.0-bin-hadoop2.4。安装spark还需要有jdk，python，scala。因为装Hadoop的时候已经装了jdk和python了，所以只介绍下安装scala和spark

1 安装scala

下载scala-2.10.5

将其放置你的某个目录下，我这里是/home/Scala

接着解压缩

tar -xvzf scala-2.10.5.tgz

接着就是添加路径名

vi /etc/profile

增加两行

export SCALA_HOME=/home/Scala/scala-2.10.5

export PATH=$PATH:$SCALA_HOME/bin

接着便是立即生效

source /etc/profile

验证方式和java很像

scala -version

如果正确安装了，就会出现

Scala code runner version 2.10.5 --Copyright 2002-2013等信息

接着就可以将scala拷贝到另外几个节点上，我这里是两个节点,并且记得修改对应节点的profile文件

安装spark

同理，下载spark-1.3.0-bin-hadoop2.4。这里的Hadoop是根据你机子上的Hadoop版本来的，目前最新的spark版本是1.4，相比1.3最明显的就是增加了对R语言的支持，由于目前还用不到R，加之实验室机房不让用外网，安装R语言又比较麻烦，所以下载1.3.0了。

将spark-1.3.0-bin-hadoop2.4放置到你的某个目录下。例如我这里是/home/Spark/

解压缩

tar -xvzf spark-1.3.0-bin-hadoop2.4.tgz

接着是增加路径

vi /etc/profile

export SPARK_HOME=/home/Spark/spark-1.3.0-bin-hadoop2.4

export PATH=$PATH:$SPARK_HOME/bin

然后令其生效

source /etc/profile

接着是修改配置文件

1 添加从节点IP

vi slaves

我这里添加了两个节点

10.107.8.110

10.107.8.120

2

修改spark的环境，主要是jdk，scala以及Hadoop的路径，master的IP

添加：

export JAVA_HOME=（你自己的jdk路径，如果不清楚可以在shell中打$JAVA_HOME）

export SCALA_HOME=(你的scala路径)

export SPARK_MASTER_IP=(master的hostname)

export SPARK_WORKER_MEMORY=4g(这个具体看你节点的配置了)

export HADOOP_CONF_DIR=(如果不清楚可以在shell打$HADOOP_CONF_DIR)

接着就是将spark复制到另外的节点上就好了。

如果一切顺利，spark就算是安装完了。

简要验证

1 在浏览器上输入masterIP:8080例如我这里是http://10.107.8.110:8080/

会出现各个worker的节点状况

输入http://10.107.8.110:4040则会出现spark的jobs

2 进入到spark下的bin目录运行spark-shell

运行论文上的例子

我们先把一段文件放到HDFS中

hadoop fs -copyFromLocal /home/sunrye/words.txt hdfs://10.107.8.110:9000/spark_test/

接着运行

var lines=sv.textFile(“hdfs://10.107.8.110:9000/sprak_test/words.txt”)

此时相当于生成了一个RDD，接着就可以在RDD上实现各自action了，例如我们统计他的字数就可以

lines.count()

当然可也可查询某个关键字的字数，例如

lines.filter(_.contains(“the”)).count()