hadoop环境搭建（linux单机版）

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

一、在Ubuntu下创建hadoop用户组合hadoop用户

1、创建hadoop用户组

addgroup hadoop

2、创建hadoop用户

adduser -ingroup hadoop hadoop

3、为hadoop用户添加权限

vim /etc/sudoers

4、切换到hadoop用户

su - hadoop

二、ssh安装与设置

1、安装ssh

sudo apt-get install openssh-server

2、启动服务

sudo /etc/init.d/ssh start

3、查看启动

ps -e | grep ssh

4、设置免密码登录，生成私钥与公钥

ssh-keygen -t rsa -P ""

此时会在／home／hadoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。

将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5、ssh登录

ssh localhost

6、退出登录

exit

三、安装java环境

1、安装java

sudo apt-get install openjdk-7-jdk

2、查看java版本

java -version

3、查看java安装路径

update-alternative --config java

四、安装hadoop2.7.1

1、下载hadoop2.7.1.tar.gz

2、解压：sudo tar xzf hadoop-2.7.1.tar.gz

3、复制到：sudo mv hadoop-2.7.1 /usr/local/hadoop

4、权限设置：sudo chmod 774 /usr/local/hadoop

5、配置.bashrc文件

 #HADOOP VARIABLES START

     export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64

     export HADOOP_INSTALL=/usr/local/hadoop

     export PATH=$PATH:$HADOOP_INSTALL/bin

     export PATH=$PATH:$HADOOP_INSTALL/sbin

     export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

     export HADOOP_COMMON_HOME=$HADOOP_INSTALL

     export HADOOP_HDFS_HOME=$HADOOP_INSTALL

     export YARN_HOME=$HADOOP_INSTALL

     export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

     export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 #HADOOP VARIABLES END

6、环境变量生效

source ~/.bashrc

7、编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh