
正文
windows下搭建hadoop,Windows下搭建gtest环境
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
求助,在windows下安装hadoop遇到的一个问题
不建议先在window/cygwin上测试,直接用这个环境有很多问题,都是不好理解的。
换了台机器,问题解决,hadoop-0.2-test.jar TestDFSIO 和 hadoop-0.2-examples.jar sort测试通过,期间又遇到了2个问题。
直接通过windows上Eclipse右击main程序的java文件,然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。
由于我电脑里没有cygwin,所以只能给个大概,不过建议学习hadoop还是在linux环境下学习,然后用windows下的eclipse最开发这样的比较好,希望我的回答对你有帮助。如果感兴趣可以加hadoop技术群(227866205),大家一起学习讨论。
修改完重启下hadoop的进程才能生效。ps,个人开发方便故如此设置,谨慎的还是要创建个用户并授予权限。
相关问答
Q1: 如何在Windows下面运行hadoop的MapReduce程序
1、直接通过windows上Eclipse右击main程序的java文件,然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。
2、考虑以后扩展到分布式,请用MPI。只有大量分布式存储的数据,并且计算量不大,hadoop才是正确的选择。hadoop注重分布式存储,核心是存储,计算往存储迁移。hadoop的mapreduce编程方式和你现在的代码很不一样,不是能直接调用的。
3、inputformat在分配任务之前会对输入进行切片。最终启动的map数目,就是切片的结果数目。
Q2: 关于分布式Hadoop在WINDOWS上操作问题
1、第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。
2、因为其是基于windows操作系统设计的。通过写代码的方式来操作hdfs,虽然hdfs是在linux里面搭建的,通过配置windows环境去连接linux,就可以操作hdfs。整个hadoop工作之时需要依赖windows操作系统的平台。下载hadoop。
3、运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。执行hadoopfs-ls等同于hadoopfs-ls.该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。
4、根据楼主的描述hadoop应该已经启来了。jps是java的工具,能够显示系统当前运行的java程序及其进程号。运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。
windows下搭建hadoop的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于Windows下搭建gtest环境、windows下搭建hadoop的信息别忘了在本站进行查找喔。





