hbase修改表保留时间，hbase如何保证数据不丢失

六、HBase写入流程

1、整个写入顺序图流程如下：1 客户端查找对应region 客户端根据要操作rowkey，查找rowkey对应的region。查找region的过程为通过zk获取到hbase：meta表所在region。通过查找hbase：meta可以找到要更新的表每个region的startkey、endkey以及所处机器。

2、对HBase的读写操作，实际上就是对这张表进行增删改查操作。 对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。例如，我们可以创建一个Put对象，指定行键，然后添加需要写入的列族、列限定符和值，最后通过Table对象的put方法将其写入HBase。

3、首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互。 RegionServer管理了很多的Region(表)，RegionServer里面的WAL(HLog)是预写入日志，功能是防止内存中的数据没有来的及落盘时丢失。

相关问答

Q1: Hbase安全基线中日志存储最少保留多少人

两人。在安全基线中，Hbase对日志存储要求最少保留两个人，只保留一个人时不能够完成日常存储，力量过于单薄，安全基线要求高追求品质第一。

人WAL意为write ahead log，HBase中的预写日志，用来做灾难恢复使用，底层实现是HLog，HLog记录数据的所有变更。使用WAL的原因：因为MemStore存储的数据是驻留在内存中的，是不稳定的(比如宕机时)，所以采用了WAL预写日志来解决这个问题。

天。Hbase安全基线日志默认保留7天，对于SSD作为存储介质，随着业务增长，需要大数据处理工具来做，工存储成本过于高昂，增加大老Hbase集群压力。

一般默认保存时间是7天，时间一到它会自动删除的，但是保存时间长短是可以设置的。日志文件通常是系统或者某些软件对已完成的某种处理的记录，以便将来做为参考，它并没有固定的格式，通常是文本文件，可以用记事本打开以查看内容。

系统数据审计日志保留6个月。数据库安全审计支持将在线和归档的审计数据至少保存180天的功能。根据《网络安全法》第二十一条规定，采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关网络日志不少于六个月。

Q2: HBase调优:预分区与行键设计

1、一个regionserver可以管理的region数量和列族数量与每个列族缓存的大小有关，计算公式如下：我这里只分了三个region，用hbase shell命令创建表，设置预分区数量为3 下图中，可以看到，预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题。

2、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。rowkey：行键设计的三个原则唯一必须在设计上保证其唯一性。

3、HBase 在创建表的时候，会自动为表分配一个Region，当一个 Region 达到拆分条件时(shouldSplit 为 true)，HBase 中该 Region 将会进行 split，分裂为2个 Region，以此类推。表在进行 split 的时候，会耗费很多的资源，有大量的 io 操作，频繁的分区对 HBase 的性能有很大的影响。

4、优化建议：检查RowKey设计以及预分区策略，保证写入请求均衡。 KeyValue大小对写入性能的影响巨大，一旦遇到写入性能比较差的情况，需要考虑是否由于写入KeyValue数据太大导致。KeyValue大小对写入性能影响曲线图如下： 图中横坐标是写入的一行数据(每行数据10列)大小，左纵坐标是写入吞吐量，右坐标是写入平均延迟(ms)。

5、目前我们已经确定了hbase存储，并且采用预分区的方式并且采用rowkey进行过滤查询，那么现在考虑rowkey的设计。

6、HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

Q3: Hbase分区

具体步骤如下：需要知道要查询的表名和分区的起始行键或结束行键。可以使用scan命令来扫描hbase：meta表，这个表存储了所有分区的元数据信息。可以使用PrefixFilter或RowFilter来过滤出要查询的分区的记录。可以查看info：requestscount这个列限定符的值，表示该分区的请求数。

HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性：StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。

HBase 在创建表的时候，会自动为表分配一个Region，当一个 Region 达到拆分条件时(shouldSplit 为 true)，HBase 中该 Region 将会进行 split，分裂为2个 Region，以此类推。表在进行 split 的时候，会耗费很多的资源，有大量的 io 操作，频繁的分区对 HBase 的性能有很大的影响。

个人理解，hbase中的预分区，是为了防止要插入的数据的rowkey设计不太合理导致，数据热写（集中写到某一台或者几台机器上）给服务器造成太大压力以及更严重后果，所以在建表的时候，根据已知的rowkey规则创建出来部分预分区以防止在热写过程中频繁的split等。

这个需要根据具体的业务场景来做判断 rowkey的设计主要为了方便后期的查询（条件查询语句），如果设计的合理，查询速率可以大大提升 分区的设计，主要考量的是入库HBase的速率。如果设计的不合理，会导致局部入库数据过热，严重的有可能出现入库失败的情况。当然，分区如果设计的合理，查询速率也会提升。

关于hbase修改表保留时间和hbase如何保证数据不丢失的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。