hadoop开发环境搭建windows，hadoop开发环境搭建心得体会

如何在win7下的eclipse中调试Hadoop2.2.0的程序

1、Input path does not exist： hdfs：//localhost：9000/user/root/input 解决方法，在eclipse下面建输入目录，配置到程序输入参数中即可。

2、具体步骤，改写YARNRunner源码中的一些方法（YARNRunner.java源码类在hadoop-mapreduce-client-jobclient的maven项目中的org.apache.hadoop.mapred包下）需要在src下建同样的包名，类名，覆盖原来jar包里面自带的类。

3、安装JDK hadoop是java写的，编译hadoop必须安装jdk。从oracle官网下载jdk 执行以下命令解压缩jdk tar -zxvf jdk-7u45-linux-x6tar.gz 会生成一个文件夹jdk0_45，然后设置环境变量中。

4、Eclipse中调试MapReduce程序方法步骤如下： 下载Hadoop包：JDK建议用7的~ 解压Hadoop包：注意最好不要放在带中文或空格及特殊字符的目录。

5、我们在编写java程序的过程中，经常会遇到各种莫名其妙的问题，为了检测程序是哪里出现问题，经常需要增加日志，看变量的值，这样调试很麻烦。

相关问答

Q1: window上的myeclipse怎么配置hadoop

1、首先要安装Myeclipse，在Ubuntu下安装Myeclipse和windows环境下安装的方法一样，下载myeclipse-1-offline-installer-linux.run然后双击运行就ok了。

2、若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。

3、) 重启MyEclipse5 添加Mapreduce视图 “windows”- open perspective - other，会看到一只小象map/reduce(如无，请勾上“show all”)。

4、首先要安装jdk。打开MyEclipse，点击工具栏上的window -- preferences选项，如图所示。在打开的页面点击 Java--Installed JREs ，然后点击Add按钮。如图所示。在新的页面选择standard VM，然后点击Next。

Q2: 为什么hadoop要配windows依赖

hadoop是java写的，因此hadoop存储的数据的方式使用的也是java的方式。

【答案】：你最好不要这么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中，Windows通常不会被使用，因为会出现各种各样的问题。因此，Windows绝对不是Hadoop的推荐系统。

第一点结论就是： windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。二 在Linux上的通过以下命令触发MapReduce程序的测试。

Q3: 如何配置Hadoop环境

1、安装 Java 运行环境（JRE）或 Java 开发工具包（JDK）。Hadoop 是使用 Java 语言开发的，因此需要安装 Java 运行环境才能运行。配置 Java 环境变量。

2、解压完后进入/home/hadoop/hadoop-0.2/conf目录进行配置。

3、设置Hadoop 可以通过附加下面的命令到 ~/.bashrc 文件中设置 Hadoop 环境变量。export HADOOP_HOME=/usr/local/hadoop 在进一步讨论之前，需要确保Hadoop工作正常。

4、安装虚拟机环境 Vmware，收费产品，占内存较大。或 Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。我选Vmware。安装操作系统 Centos，红帽开源版，接近于生产环境。

5、l JDK环境（本文使用jdk6，网上很多配置方法，本文省略）l Hadoop安装包（本文使用Hadoop0.4）搭建目标 210作为主机和节点机，211作为节点机。

Q4: 求助,在windows下安装hadoop遇到的一个问题

1、不建议先在window/cygwin上测试，直接用这个环境有很多问题，都是不好理解的。

2、换了台机器，问题解决，hadoop-0.2-test.jar TestDFSIO 和 hadoop-0.2-examples.jar sort测试通过，期间又遇到了2个问题。

3、直接通过windows上Eclipse右击main程序的java文件，然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。

4、由于我电脑里没有cygwin，所以只能给个大概，不过建议学习hadoop还是在linux环境下学习，然后用windows下的eclipse最开发这样的比较好，希望我的回答对你有帮助。如果感兴趣可以加hadoop技术群（227866205），大家一起学习讨论。

5、修改完重启下hadoop的进程才能生效。ps，个人开发方便故如此设置，谨慎的还是要创建个用户并授予权限。

6、先Telnet看看端口开启了没有 如果确认开启了，应该是防火墙的问题，需要开放相关端口。

Q5: 如何在Hadoop环境下搭建Python?

1、首先我们在Map程序中会接受到这批文档每一行的数据，然后我们编写的Map程序把这一行按空格切开成一个数组。并对这个数组遍历按1用标准的输出输出来，代表这个单词出现了一次。在Reduce中我们来统计单词的出现频率。

2、搭建 Python 框架的方法因框架而异。以下是一些常见的步骤： 确定框架类型：选择适合自己需求的框架类型（Web应用程序、桌面应用程序或移动应用程序）和对应的框架。 安装依赖库：安装所选框架所需的依赖库（如果有）。

3、什么是python？python的10大Web框架有哪些，以及它们各自的特点？本文只是这10大框架做了简单介绍，让你对它们有个初步的了解。Python 是一门动态、面向对象语言。

4、在进入官网后，我们可以看到它显示了三个版本：可嵌入的压缩文件、可执行的安装文件以及基于外部的安装文件，我们只需下载“可执行的安装文件”即可。

5、卸载完成后回到第一步开头重新开始本教程的步骤。第一步完成后，本电脑已经是没有python环境的电脑，大家都在相同的无python环境下，接下来，跟着本教程正式开启python环境搭建，车已经发动，赶紧上车。

hadoop开发环境搭建windows的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hadoop开发环境搭建心得体会、hadoop开发环境搭建windows的信息别忘了在本站进行查找喔。