hbase读写频繁，hbase读写性能

如何加快hbase读取数据的效率

region下的StoreFile数目越少，HBase读性能越好 Hfile可以被压缩并存放到HDFS上，这样有助于节省磁盘IO，但是读写数据时压缩和解压缩会提高CPU的利用率。

Bloom Filter是一种快速的数据过滤技术，可以帮助HBase快速地过滤掉无效的查询请求，提高查询效率。MemStore是一种缓存机制，可以帮助HBase加速数据写入，提高数据写入效率。

从根本上讲，hbase是列式数据库，不是以行为连续存储的，二是以列为连续存储的。因此对列可以将从磁盘上连续地读取所有记录的某一列。

RegionServer里面有block Cache可以缓存磁盘的数据，加速查询。如果block Cache里面有，就将缓存和MemStore的数据merge然后取最新时间戳，没有就是把磁盘读的和MemStore里面的合并。所以hbase大多数读要走磁盘，所以读很慢。

为每执行一条SQL后写入到日志并同步到磁盘，I/O开销大，执行完SQL要等待日志读写，效率低。2代表只把日志写入到系统缓存区，再每秒同步到磁盘，效率很高，如果服务器故障，才会丢失事务数据。

另外一个变种就是支持遍历的主键，比如hbase的rowkey。如果查询的是一个基于rowkey的范围，那么像hbase这样的数据库就可以支持只读取到这个范围内的数据，而不用读取不再这个范围内的额外数据，从而提高速度。

相关问答

Q1: 深入理解HBASE(3.4)RegionServer-Memstore

理想情况下，在不超过hbase.regionserver.global.memstore.upperLimit的情况下，Memstore应该尽可能多的使用内存(配置给Memstore部分的，而不是真个Heap的)。

MemStore 是 HBase 非常重要的组成部分，MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。

regionServer 其实是hbase的服务，部署在一台物理服务器上，region有一点像关系型数据的分区，数据存放在region中，当然region下面还有很多结构，确切来说数据存放在memstore和hfile中。

RegionServer 拆分 Region的步骤是：先将该 Region 下线，然后拆分，将其子 Region 加入到 META 元信息中，再将他们加入到原本的 RegionServer 中，最后汇报 Master。 执行split 的线程是 CompactSplitThread。

一个MemStore大小通常在128~256MB，见参数： hbase.hregion.memstore.flush.size 。

上图是RegionServer数据存储关系图。上文提到，HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入HLog和MemStore。

Q2: 为什么说HBase是列式数据库?

实际上，HBase是一个列族数据库，而不是真正的列式数据库。因为允许存放非结构化数据，所以HBase的数据类型只有简单的字符串类型，如果需要细分类型，需要用户自己处理。

从根本上讲，hbase是列式数据库，不是以行为连续存储的，二是以列为连续存储的。对列可以将从磁盘上连续地读取所有记录的某一列。

关于hbase的描述正确的是是Google的BigTable的开源实现；运行于HDFS文件系统之上；HBase是一个开源的非关系型分布式数据库；主要用来存储非结构化和半结构化的松散数据。

HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文“Bigtable”：一个结构化数据的分布式存储系统。

hbase是非关系型分布式数据库。Hbase是一个面向列存储的分布式存储系统，可以实现高性能的并发读写操作，同时Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。

hbase的意思如下：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

Q3: HBase是什么呢,都有哪些特点呢?

1、hbase的特点：高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

2、容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作。

3、非关系型数据库，列存储和文档存储(查询低延迟)，hbase是nosql的一个种类，其特点是列式存储。

Q4: HBase性能优化-Rowkey&列族设计

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上， 避免数据热点现象。

我这里只分了三个region，用hbase shell命令创建表，设置预分区数量为3 下图中，可以看到，预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题。

HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对影片《泰坦尼克号》的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。

关于hbase读写频繁和hbase读写性能的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。