正文
HBase、HDFS和MapReduce架构异同简解
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
HBase、HDFS和MapReduce架构异同
| .. | HBase（公司架构模型） | HDFS2.0（公司架构模型） | MR2.0（公司架构模型） | MR1.0（公司架构模型） |
|---|---|---|---|---|
| 中央 | HMaster | NameNode(NN) | ResourceManger(RM) | JobTracker(JT) |
| 地方 | HRegionServer(HRS) | DataNode(DN) | NodeManager(NM) | TaskTracker(TT) |
| 监控协调者 | ZooKeeper | ZooKeeper | ZooKeeper | 无 |
| 是否有HA | HMaster-backups | NN（Standby） | RM（Standby） | 无，存在单点故障 |
| 故障转移方式 | 1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯 | NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active） | RM直接与ZK直接通讯，谁先建立znode，则谁为active | 无，存在单点故障 |
| 地方故障谁负责恢复和转移 | HMaster | NameNode | ResourceManager | JobTracker |
| 中央与地方的通讯 | HRegionServer与ZK心跳，HMaster从ZK获取HRS状态 | DN周期性向NN汇报 | NM周期性向RM汇报 | TT周期性向JT汇报 |
| 中央的共同职责 | 1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配 | |||
| 中央各特点 | 分配HRegionServer上的Region | 分配DN的block | 分配NM上container上的任务 | 分配TaskTracker上的task |
| 负载均衡 | HRS上region的负载均衡 | block的负载均衡 | ||
| 特点 | 1.Region的预分区、分裂和合并 2.Compaction机制 3.WAL机制 4.读写流程 | 1.副本策略 2.数据写入的副本管道传输机制 3.联邦制 | 1.资源调度和应用管理独立进程 2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务 3.container概念 | 1.将资源划分为等量以slot为单位 2.maptask和reducetask独立分配 |
