ubuntu 在下面 hadoop 安装

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

这两天已经安装hadoop 这些道路是曲折的，记录它

在redhat安装后一直无法开始datanode,因为jdk 问题，换了一个jdk后问题依然，自己猜測是redhat版本号太低的原因，于是仅仅好舍弃，换ubuntu

ubantu版本号是13.04.比較稳定。

安装前首先准备好材料。

vmare 虚拟机，准备好jdk 和hadoop

由于是虚拟机安装所以放到vmvare 共享目录以下。

=====================================================================================================

在安装这些之前要先安装ssh 我在開始装的时候没有发现ubantu没有装ssh 的server端仅仅有client。

然后直接apt-get 发现又不能直接下，所以每次启动hadoop后仅仅有namenode的进程，datanode进程报错链接被拒绝，后来换了非常多个数据源包含国内国外都有，都是在更新数据源(sudo
apt-get update）。失败。不知什么原因找了好久也没有解决方式（有知道的大牛能够告诉我）。最后没有办法仅仅能自己手动安装ssh了。

安装ssh 准备好材料：

1 安装zlib

解压zlib 进入文件夹

编译安装（1 ./configure 2 make 3 make install）

2 安装openssl

步骤同上(./configure 改为./config)

3 安装openssh

同1

4 getdit /etc/passwd

增加以下一行

sshd:x:74:74:Privilege-separated
SSH:/var/empty/sshd:/sbin/nologin

5 启动ssh。ssh默认安装在/usr/local/sbin/文件夹下。使用
/usr/local/sbin/sshd 启动ssh服务，该服务默认侦听22port。

6 检查ssh服务是否启动监听port是否为22：netstat
-tnlp|grep :22

==============================================================================

以上为安装ssh

以下进入安装HADOOP正题：

1 安装java

jdk 解压到/usr/java/jdk

cd 到指定文件夹

/mnt/hgfs/Ubantu/jdk-6u24-linux-i586.bin

2 解压Hadoop安装包

hadoop 解压到/usr

cd
到指定文件夹

tar -zxvf /mnt/hgfs/Ubantu/hadoop-1.2.1.tar

3 配置环境变量

vi /etc/profile

增加下面

export JAVA_HOME=/usr/java/jdk1.6.0_24

export HADOOP_HOME=/usr/hadoop-1.2.1

export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

CLASSPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export CLASSPATH

4编辑conf/hadoop-env.sh

增加 export
JAVA_HOME=/usr/java/jdk1.6.0_24

5伪分布式模式下Hadoop的配置例如以下（共同拥有三个文件要配置位置在/conf下）

（2）hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

（3）mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

6
免passwordSSH设置

生成密钥对 ssh-keygen
-t rsa

进入.ssh文件夹
运行 sp id_ras.pub authorized_keys

运行ssh
localhost 发现能够实现SSH链接不须要password

7
创建tmp文件每次进行第八步都会生成一个tmp文件（注意每次又一次格式化的时候要删除tmp 由于当中tmp存有上次的namenode的namespaceID,但每次又一次format
会生成新的namenode namespaceID造成版本号不一致，从而下次运行9时。会造成namenode进程起不来）

步骤5中core-site.xml中已经将tmp文件指向配置。

8 格式化分布式文件系统

bin/hadoop namenode -format

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

9 启动Hadoop守护进程

bin/start-all.sh

jps命令能够发现有除了jps以外五个线程

10 停止Hadoop守护进程

bin/stop-all.sh

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

正文