windows下安装hadoop，windows平台下安装配置hadoop

windows不能执行hadoop吗为什么非要用linux执行hadoop

可以这么说，因为不管是在linux系统，还是在windows系统上， 搭建集群环境，都需要提供linxu系统，linux系统本省不必说了。windows下运行hadoop的话，无非两种方法，一是搭建虚拟机，然后安装linxu系统。

【答案】：你最好不要这么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中，Windows通常不会被使用，因为会出现各种各样的问题。因此，Windows绝对不是Hadoop的推荐系统。

老师给出的建议操作系统是Linux。诚然Linux下Hadoop的集群开发是有优势的，但是在编写代码时Linux下的Java配合Hadoop的debug属实是过于复杂，相比之下课程的考察点是对MapReduce的使用，因此使用Windows环境开发也不是不能理解。

支持windows平台，但是没有在windows平台上面进行过严格测试，最好只作为开发平台。可以使用cygwin+ssh+windows+hadoop来搭建开发环境，具体请参考其他资料，百度谷歌之。

相关问答

Q1: 如何配置spark

1、在Spark中采用本地模式启动pyspark的命令主要包含以下参数：master：这个参数表示当前的pyspark要连接到哪个master，如果是local[*]，就是使用本地模式启动pyspark，其中，中括号内的星号表示需要使用几个CPU核心(core)。

2、）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。

3、● 将“spark-defaults.conf”中的“spark.executor.memory”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_MEMORY”配置项设置为合适大小。● 在使用spark-submit命令时，添加“--executor-memory MEM”参数设置内存。

4、运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非你要用到HDFS）。

Q2: 我已经成功在windows下配置了hadoop,启动成功后,利用jps命令,居然发现什...

jps是java的工具，能够显示系统当前运行的java程序及其进程号。运行jps没有显示，应该是没有配置好系统的path、java_home和classpath。执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。

启动 HDFS 和 YARN 后，如果启用 jps 只有 jps，可能是因为没有正确配置 Hadoop。您可以尝试以下步骤： 确认 Hadoop 相关进程是否启动成功。您可以通过 jps 命令来查看 Hadoop 相关进程是否启动成功。

检查配置是否有错，如果检查感觉无误的话直接查看错误日志，有针对的去修改。

commandnotfound指的是，你没有把HADOOP_HOME放到.bashrc这个文件中，就像windows下的环境变量一样。当然你也可以进到hadoop安装的目录下的bin，目录下执行hadoop。模式是结构主义用语。指用来说明事物结构的主观理性形式。

这说明你没有配置成功。jsp：是查看当前系统中用java的进程，没有即没成功。

用jps命令查看Java进程：cy@slave2：~$ jps 2913 TaskTracker 2731 DataNode 3147 Jps 如果三台虚拟机用jps命令查询时如上面显示的那样子，就说明hadoop安装和配置成功了。

Q3: 求助,在windows下安装hadoop遇到的一个问题

不建议先在window/cygwin上测试，直接用这个环境有很多问题，都是不好理解的。

先Telnet看看端口开启了没有 如果确认开启了，应该是防火墙的问题，需要开放相关端口。

直接通过windows上Eclipse右击main程序的java文件，然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。

（1）：终极办法强制退出安全模式(safemode)hadoop dfsadmin -safemode leave 这种方式虽然快，但会有遗留问题，我在用habse的时候就遇到过，很麻烦，然后你就用“hadoop fsck /”工具慢慢恢复吧。

下载安装JDK，以及Eclipse 具体看此链接：http：//blog.csdn.net/weixuehao/article/details/17715793 新建JAVA Project 去cloudera网站下载hadoop的CDH3u6版本。

在windows下安装Eclipse Hadoop插件主要安装编译Eclipse-hadoop插件即可。

关于windows下安装hadoop和windows平台下安装配置hadoop的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。