
正文
hdfs架构设计详解,画出hdfs的架构图
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
HDFS架构
Hadoop系列之HDFS架构HadoopDistributedFileSystem(HDFS)是高容错、高吞吐量、用于处理海量数据的分布式文件系统。HDFS一般由成百上千的机器组成,每个机器存储整个数据集的一部分数据,机器故障的快速发现与恢复是HDFS的核心目标。
HadoopDistributedFileSystem(HDFS)是高容错、高吞吐量、用于处理海量数据的分布式文件系统。HDFS一般由成百上千的机器组成,每个机器存储整个数据集的一部分数据,机器故障的快速发现与恢复是HDFS的核心目标。
HDFS是ApacheHadoopCore项目的一部分。Hadoop分布式文件系统架构1NameNode(名称节点)HDFS命名空间采用层次化(树状——译者注)的结构存放文件和目录。
HDFS 具有以下 优点 :当然 HDFS 也有它的 劣势 ,并不适合以下场合:HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。
相关问答
Q1: HDFS架构和原理
1、HDFS:分布式文件系统。用于存储文件,通过目录树来定位文件。由多台服务器联合起来实现其功能,集群中的服务器有各自的角色。适合一次写入,多次读出的场景,且不支持文件修改。适合做数据分析,不适合做网盘应用。
2、HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。
3、HDFS是Apache Hadoop Core项目的一部分。Hadoop分布式文件系统架构 1 NameNode(名称节点)HDFS命名空间采用层次化(树状——译者注)的结构存放文件和目录。
4、因此HDFS的部署复杂度完全是因为namenode HA导致的。
Q2: HDFS的高可用架构是怎样工作的?
1、Hadoop在x的版本引入了联邦HDFS(HDFS Federation),通过在集群中添加namenode实现。
2、在配置好Hadoop集群之后,可以通过浏览器访问http://[NameNodeIP]:9870,查询HDFS文件系统。通过该Web界面,可以查看当前文件系统中各个节点的分布信息。
3、可通过该方式将NameNode快速切换到另外一个节点上。ZooKeeper在大数据体系中非常重要,协调不同组件的工作,维护并传递数据,例如上述高可用下自动故障转移就依赖于ZooKeeper组件。
关于hdfs架构设计详解和画出hdfs的架构图的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。







