hbase一个列簇上百万列，hbase 列族里面添加列

region下所有的hfile默认存放

1、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

2、每一个hfile当达到一定大小的时候就会拆分成两个hfile所以一个store目录中会包含多个hfile。

3、依次加载各部分的HFileBlock(load-on-open所有部分都是以HFileBlock格式存储)：data index block、meta index block、FileInfo block、generate bloom filter index、和delete bloom filter。HFileBlock的格式会在下面介绍。

4、即HFile和region不在同一个DataNode。这种情况会在major compaction 之后得到解决。

5、这个参数默认是10，如果某个hfile跨越的region数超过10个就会报上述Exception。解决方案：将hbase.bulkload.retries.number这个参数设置为更大的值，比如目标表的region数量或者将这个参数设置成0，0表示不断重试直到成功。

6、遍历当前region下的MemStore做一个快照，然后新一个ConcurrentSkipListMap接受新的数据请求。

相关问答

Q1: 为什么说HBase是列式数据库?

1、HBase是一个高可扩展性的列式数据库，它是基于Google的Bigtable论文开发的。在HBase中，数据是以列族的形式进行存储的，而不是行。每个列族可以包含多个列，这些列在物理存储上是聚集在一起的。

2、HBase是一个基于Apache Hadoop的面向列的NoSQL数据库，是Google BigTable的开源实现。它运行在HDFS之上，为Hadoop提供类似于BigTable规模的服务。

3、HBase是一种分布式、面向列的NoSQL数据库，而传统数据库通常是基于关系模型的关系型数据库。这两种数据库在数据存储方式上有所区别。HBase采用了列式存储的方式，将数据按列存储，适合存储大规模、稀疏的数据。

4、（1）HBase是一个高可扩展性的列式存储数据库，它使用Hadoop的HDFS作为其底层存储，可以轻松处理大量的数据。HBase的数据模型是基于Google的Bigtable，数据以列族的方式进行存储，每个列族下面可以包含多个列。

5、Redis是k-v型数据库，目标是做高效的分布式缓存。数据一般不实时落地。也不适合做存储和分析。HBase是列式数据库，BigTable的一种实现，目标是高效存储大量数据，支持列压缩，行事务。适合Schema-less的数据。

Q2: 在hase中数据表中行的组成是什么

但在HBase中，数据表的行组成是由多个列族组成的，每个列族下面又有许多列。列族是HBase中存储数据的最小单位，而列则是列族中的最小单位。每个列族下面可以有多个列，每个列都可以存储多个版本的数据。

Excel2010的单元格是由行标与列标组成。单元格是表格中行与列的交叉部分，它是组成表格的最小单位，可拆分或者合并。单个数据的输入和修改都是在单元格中进行的。

表是由行和列组成的，行也可以称为记录，列可以称为字段。在关系数据库模型中，二维表的列称为属性或者说是字段，二维表的行称为记录或者说是元组。

行和列分别表示“图例项”和“水平轴标签”。

具体如下：二维表定义：在关系模型中，数据结构表示为一个二维表，一个关系就是一个二维表，二维表名就是关系名。表中的第一行通常称为属性名，表中的每一个元组和属性都是不可再分的，且元组的次序是无关紧要的。

Q3: HBase是否有列数量限制?

1、表字段：传统数据库中的表字段不能超过30个，而HBase中的表字段不作限制。可延伸性：传统数据库中的列是固定的，需要先确定列有多少才会增加数据去存储，而HBase是根据数据存储的大小去动态的增加列，列是不固定的。

2、建议将Hbase列族的数量设置的越少越好。当强，对于两个或两个以上的列族hbase并不能处理的很好。这是由于HBase的Flushing和压缩是基于Region的。

3、HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出；列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。

Q4: hbase每个列对应一个列簇与一个列簇下有多列查询速度对比

在HBase中 一个row对应的相同的列只会有一行。

列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。在引擎中，HBase将列簇存储在它自己的数据文件中，所以，它们需要事先被定义，此外，改变列簇并不容易。

column：列，与关系型数据库中的列不同，HBase 中的 column 由 column family（列簇）以及 qualifier（列名）两部分组成，两者中间使用：相连。比如 contents：html，其中 contents 为列簇，html 为列簇下具体的一列。

关于hbase一个列簇上百万列和hbase 列族里面添加列的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。