hbase的几种blockcahe，hbase用法

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

hbaseshell转换时间类型

hbaseshell转换时间类型的方法是：根据namespace、表名和rowkey在meta表中找到对应的region信息。找到这个region对应的regionserver，查找对应的region。先从MemStore找数据，如果没有，再到BlockCache里面读。

Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据。 HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。

布尔类型（Boolean）：HBase支持的布尔类型只有true和false两个取值。日期类型（Date）：HBase中的日期类型表示一个日期，它是以毫秒为单位存储的。

遇到首字母为0的字符串，shell正常的除法不能自动将其转换为数字（是的，虽然你看不到有数据类型，但是他是分数字和字符串类型的，并且使用的时候一般都隐含了类型转换，lua也有这个问题，被坑过无数次）。

hbase shell：HBase是一个分布式的、面向列的开源数据库，源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。

步骤4：启动HBase 执行命令`start-hbase.sh`启动HBase集群，执行命令`jps`可以查看HBase的进程是否正常启动。HBase的基本操作创建表使用HBaseShell或HBaseAPI可以创建表，需要指定表的名称和列族。

Q1: hbase-BucketCache剖析

一种Bucket存储一种指定BlockSize的数据块，每个Bucket的大小默认为2M，不同大小的Bucket之间的内存是可以互相使用的，从而保证的内存的使用率。

HBase数据按照block块存储，默认是64K，HBase中提供两种BlockCache的实现：默认on-heap LruBlockCache和BucketCache(通常是off-heap)。

hbase的主键就是row key，可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

默认配置下，对于整个BlockCache的内存，又按照以下百分比分配给Single、Multi、InMemory使用：0.50和0.25。

Q2: HBase性能优化-Rowkey&列族设计

1、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

3、排序 HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对影片《泰坦尼克号》的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。

4、像这样预先创建hbase表分区的方式，称之为预分区。hash(主键) + 年月日时(2019062315)这里只取hash(主键)的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

5、HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。

6、rowkey的设计主要为了方便后期的查询（条件查询语句），如果设计的合理，查询速率可以大大提升分区的设计，主要考量的是入库HBase的速率。如果设计的不合理，会导致局部入库数据过热，严重的有可能出现入库失败的情况。

Q3: 如何查看hbase的blockcache的大小

当Memstore的总大小超过限制时（heapsize * hbase.regionserver.global.memstore.upperLimit * 0.9），会强行启动flush进程，从最大的Memstore开始flush直到低于限制。

首先从RAMCache中查找。对于还没有来得及写入到bucket的缓存block，一定存储在RAMCache中。如果在RAMCache中没有找到，再在BackingMap中根据blockKey找到对应物理偏移地址offset。

其实就是增大查询时候的缓存。HBase数据按照block块存储，默认是64K，HBase中提供两种BlockCache的实现：默认on-heap LruBlockCache和BucketCache(通常是off-heap)。

如果业务请求以Get请求为主，可以考虑将块大小设置较小；如果以Scan请求为主，可以将块大小调大。LRUBlockCache是HBase目前默认的BlockCache机制。

Q4: 淘宝为什么使用HBase及如何优化的

数据查询模式已经确定，且不易改变，就是说hbase使用在某种种特定的情况下，且不能变动。告诉插入，大量读取。因为分布式系统对大量数据的存取更具优势。尽量少的有数据修改。

HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方面读写你的大数据内容。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。金融方面：消费信息，贷款信息，信用卡还款信息等电商：淘宝的交易信息等，物流信息，浏览信息等移动：通话信息等，都是基于HBase的存储。

消息/订单存储：因为HBase提供低延时、高并发的访问能力，所以可以用于电商平台等场景的消息和订单存储。金融方面：HBase可以用于存储消费信息、贷款信息、信用卡还款信息等。

别把重要的信息用特色的符合包括或者代表起来，少用特殊符号标题中可以添加商品的属性，但是不要故意去模仿其他的商品或者店铺有些敏感词会自动被过滤掉的违反以上规则宝贝可能会被淘宝网索引降权。

hbase的几种blockcahe的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase用法、hbase的几种blockcahe的信息别忘了在本站进行查找喔。