
正文
hadoopwindows配置,window hadoop
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
如何在win7下的eclipse中调试Hadoop2.2.0的程序
Input path does not exist: hdfs://localhost:9000/user/root/input 解决方法,在eclipse下面建输入目录,配置到程序输入参数中即可。
具体步骤,改写YARNRunner源码中的一些方法(YARNRunner.java源码类在hadoop-mapreduce-client-jobclient的maven项目中的org.apache.hadoop.mapred包下)需要在src下建同样的包名,类名,覆盖原来jar包里面自带的类。
安装JDK hadoop是java写的,编译hadoop必须安装jdk。从oracle官网下载jdk 执行以下命令解压缩jdk tar -zxvf jdk-7u45-linux-x6tar.gz 会生成一个文件夹jdk0_45,然后设置环境变量中。
相关问答
Q1: 关于分布式Hadoop在WINDOWS上操作问题
第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。
因为其是基于windows操作系统设计的。通过写代码的方式来操作hdfs,虽然hdfs是在linux里面搭建的,通过配置windows环境去连接linux,就可以操作hdfs。整个hadoop工作之时需要依赖windows操作系统的平台。下载hadoop。
运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。执行hadoopfs-ls等同于hadoopfs-ls.该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。
根据楼主的描述hadoop应该已经启来了。jps是java的工具,能够显示系统当前运行的java程序及其进程号。运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。
单机多核运行请用openmp,舍得花大气力改代码的话,TBB/std:thread。考虑以后扩展到分布式,请用MPI。只有大量分布式存储的数据,并且计算量不大,hadoop才是正确的选择。hadoop注重分布式存储,核心是存储,计算往存储迁移。
yarn.nodemanager.vmem-check-enabled:意思是忽略虚拟内存的检查,如果安装在虚拟机上,这个配置很有用,配上去之后后续操作不容易出问题。
Q2: hadoop配置好之后怎么访问端口出现那个页面
crt转发端口访问hadoop页面关闭防火墙试试。启动hadoop后,要看哪些界面或功能之前,建议先用jps或是netstat -ano看下相应的端口是否已经开启了,如果端口没开启,是肯定看不了相应的界面的。
将hadoop中所有的hostname改成IP的方式。
will listen on.而不是我们想要的19162129。所以,从笔记本windows不能访问dfs的web界面。
nginx配置hadoop集群端口的原因是为了实现负载均衡和反向代理。通过使用nginx作为hadoop集群的代理服务器,可以将外部请求分发到不同的hadoop节点上,从而实现负载均衡,避免单个节点负载过重。
Q3: 求助,在windows下安装hadoop遇到的一个问题
1、不建议先在window/cygwin上测试,直接用这个环境有很多问题,都是不好理解的。
2、换了台机器,问题解决,hadoop-0.2-test.jar TestDFSIO 和 hadoop-0.2-examples.jar sort测试通过,期间又遇到了2个问题。
3、直接通过windows上Eclipse右击main程序的java文件,然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。
关于hadoopwindows配置和window hadoop的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。





