
正文
包含hdfs在windows的词条
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
window上的myeclipse怎么配置hadoop
) 进入与dropins同目录下的configuration,删除org.eclipse.update(删除后,重启myeclipse5,便会自动加载插件)3) 重启MyEclipse5 添加Mapreduce视图 “windows”- open perspective - other,会看到一只小象map/reduce(如无,请勾上“show all”)。
源文件在:hadoop-x.y.z/src/contrib/eclipse-plugin 下,注意:需要下载源目录的包,如查下载的是bin的压缩包,里面是没有eclipse插件的源文件的。
安装并激活Myeclipse后的一项重要工作就是进行Myeclipse的配置。首先,打开Myeclipse2014。找到Myeclipse2014中Window这个选项。在Window这个选项中找到Preferences这个选项。打开Preferences这个选项后,然后找到MyEclipse这个选项 在MyEclipse这个选项中找到Servers这个选项。
之后就是调出mapreduce视图,操作流程是MyEclipse-Window-OpenPerspective-other-勾选show all-看见一个小象Map/Reduce 就是它了。到目前你已经安装成功好hadoop插件了,接下来就是配置hadoop插件使它连上你的hadoop平台。在Map/Reduce Locations中新建一个Hadoop Location。
相关问答
Q1: window中怎么打开hadoop网页解决方法
使用命令查看如下:可见,The address and the base port(0.0.0.0:50070) where the dfs namenode web ui will listen on.而不是我们想要的19162129。所以,从笔记本windows不能访问dfs的web界面。
在Ubuntu上: 通过Unbuntu软体中心安装 开启Applications(应用程式)Ubuntu Sofare Center(Unbuntu软体中心),开启Ubuntu软体中心。 然后点选Edit(编辑)Sofare Sources(软体源)。选择Other Sofare(其他软体)选项卡,点选Add(新增)。
先尝试点击开始运行中输入regsvr32 shimgvw.dll注入一下,看能不能打开。如果不能的话,在其他的电脑上打开C:/windows/system32目录,找到shimgvw.dll文件,把它复制到电脑相同目录下,再运行regsvr32 shimgvw.dll命令。
Q2: 请问hadoop的hdfs文件系统和本地windows文件系统或linux文件系统是什么...
hdfs的数据实际上是存储在本地文件系统中的。在配置hadoop时你需要配置hdfs的存储文件夹,如果你的用户名为root,文件夹位置是/root/tmp。那么你的hdfs的数据存储在/root/tmp/dfs/data/current中。其中block是块文件,也就是数据文件,.meta是元数据。
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。
HDFS,全称Hadoop Distributed File System,意思是分布式文件系统。Hadoop分布式文件系统是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。
Q3: 如何在win7下的eclipse中调试Hadoop2.2.0的程序
在win7下配置eclipse的hadoop环境:配置插件 打开Windows-Open Perspective中的Map/Reduce,在此perspective下进行hadoop程序开发。打开Windows-Show View中的Map/Reduce Locations,如下图右键选择New Hadoop location…新建hadoop连接。确认完成以后如下,eclipse会连接hadoop集群。
右键hadoop src项目,右键“Debug As”,选择“Debug Configurations”,选择“Remote Java Application”,添加一个新的测试,输入远程host ip和监听端口,上例为8883,然后点击“Debug”按钮。此时应该连接到远程tasktracker child进程,并进入断点位置,可以单步调试了。
步骤如下:安装CentOS 把软件下载后全部复制到/usr/local目录下,以下命令执行的路径是在/usr/local目录下。请读者在阅读时,一定要注意路径。安装JDK hadoop是java写的,编译hadoop必须安装jdk。
Q4: 求助,在windows下安装hadoop遇到的一个问题
这个问题,你可不应该在这里问,你的这个问题,基乎每篇hadoop的配置博文上都会涉及到的,就是要在/conf/hadoop-env.sh中将JAVA_HOME重新配置一下,因为hadoop是纯java编写的,所以要用到jdk环境才行,应该是在该文件的前几行当中,改一下路径就可以了。试试吧。
不建议先在window/cygwin上测试,直接用这个环境有很多问题,都是不好理解的。比较合理的做法,如果没有真正的linux的环境下,先用vmware上虚拟2-3台linux虚拟机,在其上按照网上的教程,搞出来,把各个属性配置和细节都搞明白,再往cygwin上转就非常简单了。再考查下吧。
先Telnet看看端口开启了没有 如果确认开启了,应该是防火墙的问题,需要开放相关端口。
第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。(我有个需求是要windows上触发一个mapreduce分布式运行)第二点就是: Linux上,只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。
一般这个问题是由本地hadoop环境变量照成的。需要设置hadoop_home变量的值。注意hadoop安装目录下,bin目录中缺少hadoop.dll和winutils.exe等动态库。还要增加bin目录到path路径。另外编辑器需要添加hadoop环境 还要注意jdk等是否正确安装。
下载安装JDK,以及Eclipse 具体看此链接:http://blog.csdn.net/weixuehao/article/details/17715793 新建JAVA Project 去cloudera网站下载hadoop的CDH3u6版本。
Q5: 为什么hadoop要配windows依赖
具体来看 如果使用是自定义的inputformat,那么启动多少个map 需要获取mapreduce的执行资讯,比如执行状态,map,reduce的执行进度. hadoop 50030埠提供web ui服务,没找到提供json或者xml的服务方式. 于是,查询hadoop 50030的载入 linux为什么不能执行windows程式 首先系统是不一样的。
【答案】:你最好不要这么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中,Windows通常不会被使用,因为会出现各种各样的问题。因此,Windows绝对不是Hadoop的推荐系统。
在配置hadoop时你需要配置hdfs的存储文件夹,如果你的用户名为root,文件夹位置是/root/tmp。那么你的hdfs的数据存储在/root/tmp/dfs/data/current中。其中block是块文件,也就是数据文件,.meta是元数据。hadoop是java写的,因此hadoop存储的数据的方式使用的也是java的方式。
前言 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过Cygwin模拟Linux环境。
第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。(我有个需求是要windows上触发一个mapreduce分布式运行)第二点就是: Linux上,只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。
VMware可以在个人本地一台笔记本机器上同时运行二个或更多Windows、DOS、Linux系统。与“多启动”系统相比,VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统,在系统切换时需要重新启动机器。VMWare是真正“同时”运行,多个操作系统在主系统的平台上,就象标准Windows应用程序那样切换。
hdfs在windows的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于、hdfs在windows的信息别忘了在本站进行查找喔。






