HBase备份恢复练习

一.冷备

1. 创建测试表并插入测试数据

[root@weekend05 ~]# hbase shell

hbase(main):005:0> create 'scores','grade','course'

0 row(s) in 0.4940 seconds

=> Hbase::Table – scores

put 'scores','Tom','grade:','5'

hbase(main):006:0> put 'scores','Tom','course:math','97'

0 row(s) in 0.0710 seconds

hbase(main):007:0> put 'scores','Tom','course:art','87'

0 row(s) in 0.0100 seconds

hbase(main):008:0> put 'scores','Tom','course:english','80'

0 row(s) in 0.0100 seconds

hbase(main):009:0> put 'scores','Jim','grade:','4'

0 row(s) in 0.0210 seconds

hbase(main):010:0> put 'scores','Jim','course:chinese','89'

0 row(s) in 0.0410 seconds

hbase(main):011:0> put 'scores','Jim','course:english','80'

0 row(s) in 0.0090 seconds

hbase(main):012:0> scan 'scores'

ROW COLUMN+CELL

Jim column=course:chinese, timestamp=1465031482172, value=89

Jim column=course:english, timestamp=1465031493584, value=80

Jim column=grade:, timestamp=1465031470174, value=4

Tom column=course:art, timestamp=1465031443686, value=87

Tom column=course:english, timestamp=1465031459071, value=80

Tom column=course:math, timestamp=1465031419695, value=97

2 row(s) in 0.0920 seconds

2. 停止HBase

[root@master ~]# stop-hbase.sh

stopping hbase................

3. 进行备份

[root@weekend05 ~]# hadoop distcp /hbase /hbasebackup

。。。。。

内容太多

File System Counters

FILE: Number of bytes read=315885

FILE: Number of bytes written=456706

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=103581

HDFS: Number of bytes written=103581

HDFS: Number of read operations=943

HDFS: Number of large read operations=0

HDFS: Number of write operations=187

Map-Reduce Framework

Map input records=161

Map output records=22

Input split bytes=151

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=7

CPU time spent (ms)=0

Physical memory (bytes) snapshot=0

Virtual memory (bytes) snapshot=0

Total committed heap usage (bytes)=130547712

File Input Format Counters

Bytes Read=37917

File Output Format Counters

Bytes Written=2424

org.apache.hadoop.tools.mapred.CopyMapper$Counter

BYTESCOPIED=103581

BYTESEXPECTED=103581

BYTESSKIPPED=10257

COPY=139

SKIP=22

4. 启动HBase

[root@weekend05 ~]# start-hbase.sh

[root@weekend05 ~]#hbase shell

5. 删除测试数据

hbase(main):001:0> list

TABLE

hbase_student

my_data

myns1

new_scores

nyist

scores

user

7 row(s) in 0.2270 seconds

=> ["hbase_student", "my_data", "myns1", "new_scores", "nyist", "scores", "user"]

hbase(main):002:0> disable 'scores'

0 row(s) in 1.3210 seconds

hbase(main):003:0> drop 'scores'

0 row(s) in 0.4170 seconds

6. 停止HBase

[root@weekend05 ~]# stop-hbase.sh

stopping hbase...............

7. 恢复数据

[root@weekend05 ~]# hdfs dfs -mv /hbase /hbase_tmp’

[root@weekend05 ~]# hadoop distcp -overwrite /hbasebackup /

……… 上面省略

File System Counters

FILE: Number of bytes read=406438

FILE: Number of bytes written=500029

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=167648

HDFS: Number of bytes written=167648

HDFS: Number of read operations=1503

HDFS: Number of large read operations=0

HDFS: Number of write operations=313

Map-Reduce Framework

Map input records=211

Map output records=0

Input split bytes=152

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=44

CPU time spent (ms)=0

Physical memory (bytes) snapshot=0

Virtual memory (bytes) snapshot=0

Total committed heap usage (bytes)=159383552

File Input Format Counters

Bytes Read=53305

File Output Format Counters

Bytes Written=8

org.apache.hadoop.tools.mapred.CopyMapper$Counter

BYTESCOPIED=167648

BYTESEXPECTED=167648

COPY=211

8. 启动HBase

[root@weekend05 ~]# start-hbase.sh

[root@weekend05 ~]# hbase shell

9. 查看测试数据

hbase(main):001:0> scan 'scores'

ROW COLUMN+CELL

Jim column=course:chinese, timestamp=1465031482172, value=89

Jim column=course:english, timestamp=1465031493584, value=80

Jim column=grade:, timestamp=1465031470174, value=4

Tom column=course:art, timestamp=1465031443686, value=87

Tom column=course:english, timestamp=1465031459071, value=80

Tom column=course:math, timestamp=1465031419695, value=97

2 row(s) in 0.2320 seconds

二.热备

（1）使用export和import

1. 创建测试表并插入测试数据

hbase(main):006:0> create 'scores','grade','course'

0 row(s) in 0.4480 seconds

=> Hbase::Table - scores

hbase(main):007:0> put 'scores','Tom','grade:','5'

0 row(s) in 0.0910 seconds

hbase(main):008:0> put 'scores','Tom','course:math','97'

0 row(s) in 0.0240 seconds

hbase(main):009:0> put 'scores','Tom','course:art','87'

0 row(s) in 0.0130 seconds

hbase(main):010:0> put 'scores','Tom','course:english','80'

0 row(s) in 0.0100 seconds

hbase(main):011:0> put 'scores','Jim','grade:','4'

0 row(s) in 0.0100 seconds

hbase(main):012:0> put 'scores','Jim','course:chinese','89'

0 row(s) in 0.0130 seconds

hbase(main):013:0> put 'scores','Jim','course:english','80'

0 row(s) in 0.0210 seconds

hbase(main):014:0> scan 'scores'

ROW COLUMN+CELL

Jim column=course:chinese, timestamp=1465032277623, value=89

Jim column=course:english, timestamp=1465032284037, value=80

Jim column=grade:, timestamp=1465032263803, value=4

Tom column=course:art, timestamp=1465032250427, value=87

Tom column=course:english, timestamp=1465032257150, value=80

Tom column=course:math, timestamp=1465032242712, value=97

Tom column=grade:, timestamp=1465032224863, value=5

2 row(s) in 0.0320 seconds

2. 导出数据

a. 导出至Linux目录下

[root@weekend05 ~]# hbase org.apache.hadoop.hbase.mapreduce.Export scores /tmp/scores

. 。。。。

File System Counters

FILE: Number of bytes read=3658123

FILE: Number of bytes written=24070263

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=19940317

HDFS: Number of bytes written=385

HDFS: Number of read operations=138

HDFS: Number of large read operations=0

HDFS: Number of write operations=3

Map-Reduce Framework

Map input records=2

Map output records=2

Input split bytes=64

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=8

CPU time spent (ms)=0

Physical memory (bytes) snapshot=0

Virtual memory (bytes) snapshot=0

Total committed heap usage (bytes)=29687808

File Input Format Counters

Bytes Read=0

File Output Format Counters

Bytes Written=385

b. 导出至HDFS目录下

[root@weekend05 ~]# hbase org.apache.hadoop.hbase.mapreduce.Export scores hdfs://master:9000/myback_scores

. 。。。。。

File System Counters

FILE: Number of bytes read=3658123

FILE: Number of bytes written=24067137

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=19940317

HDFS: Number of bytes written=385

HDFS: Number of read operations=138

HDFS: Number of large read operations=0

HDFS: Number of write operations=3

Map-Reduce Framework

Map input records=2

Map output records=2

Input split bytes=64

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=8

CPU time spent (ms)=0

Physical memory (bytes) snapshot=0

Virtual memory (bytes) snapshot=0

Total committed heap usage (bytes)=29687808

File Input Format Counters

Bytes Read=0

File Output Format Counters

Bytes Written=385

3. 删除表

hbase(main):015:0> disable 'scores'

0 row(s) in 1.2200 seconds

hbase(main):016:0> drop 'scores'

0 row(s) in 0.1700 seconds4. 恢复数据

在HBase中创建表结构

hbase(main):017:0> create 'scores','grade','course'

0 row(s) in 0.4450 seconds

=> Hbase::Table – scores

导入数据（两种方法）

1 ）[root@weekend05~]#hbase org.apache.hadoop.hbase.mapreduce.Import scores /tmp/scores

2 ）[root@weekend05~]#hbase org.apache.hadoop.hbase.mapreduce.Import scores hdfs://master:9000/myback_scores

5. 测试数据

hbase(main):016:0> scan 'scores'

ROW COLUMN+CELL

Jim column=course:chinese, timestamp=1465032277623, value=89

Jim column=course:english, timestamp=1465032284037, value=80

Jim column=grade:, timestamp=1465032263803, value=4

Tom column=course:art, timestamp=1465032250427, value=87

Tom column=course:english, timestamp=1465032257150, value=80

Tom column=course:math, timestamp=1465032242712, value=97

Tom column=grade:, timestamp=1465032224863, value=5

2 row(s) in 0.0320 seconds

（2）使用CopyTable备份到本数据库内的表内

在HBase中创建表结构

hbase(main):020:0> create 'new_scores','grade','course'

0 row(s) in 1.2730 seconds

使用CopyTable进行备份

[root@weekend05~]#hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=new_scores scores

查看数据

hbase(main):025:0> scan 'new_scores'

ROW COLUMN+CELL

Jim column=course:chinese, timestamp=1464608884979, value=89

Jim column=course:english, timestamp=1464608885088, value=80

Jim column=grade:, timestamp=1464608884637, value=4

Tom column=course:art, timestamp=1464608875482, value=87

Tom column=course:english, timestamp=1464608875733, value=80

Tom column=course:math, timestamp=1464608875256, value=97

Tom column=grade:, timestamp=1464608875010, value=5

2 row(s) in 0.1120 seconds

疑难小结：

HBase 是一个基于LSM树（log-structured merge-tree）的分布式数据存储系统，它使用复杂的内部机制确保数据准确性、一致性、多版本等。因此，你如何获取数十个region server在HDFS和内存中的存储的众多HFile文件、WALs（Write-Ahead-Logs）的一致的数据备份？Snapshots（快照）

HBase 快照功能丰富，有很多特征，并且创建时不需要关闭集群。关于snapshot在文章《apache hbase snapshot介绍》中有更详细的介绍。

快照能通过在HDFS中创建一个和unix硬链接相同的存储文件，简单捕捉你的hbase表的某一时刻的信息（图1）。这些快照在几秒内就可以完成，几乎对整个集群没有任何性能影响。并且，它只占用一个微不足道的空间。除了在metadata文件中存储的极少目录数据，你的数据不会冗余，快照允许你的系统回滚到（创建快照）那个时刻，当然，你需要恢复快照。通过在HBase shell中运行如下命令来创建一个表的快照：

hbase(main):001:0> snapshot 'myTable', 'MySnapShot'

在执行这条命令之后，你将发现在hdfs中有一些小的数据文件。在 /hbase/.snapshot/myTable (CDH4) 或者hbase/.hbase-snapshots (Apache 0.94.6.1)，这些文件中存储着快照信息。想要恢复数据只需要执行在shell中执行如下命令：

hbase(main):002:0> disable 'myTable'

hbase(main):003:0> restore_snapshot 'MySnapShot'

hbase(main):004:0> enable 'myTable'

正如你看到的，恢复快照需要对表进行离线操作。一旦恢复快照，那任何在快照时刻之后做的增加/更新数据都会丢失。如果你的业务需求是这样的：你必须有数据的异地备份，你可以用exportSnapshot命令赋值一个表的数据到你的本地HDFS或者你选择的远程HDFS中。

HBase 复制（HBase Relication）

HBase 赋值是另外一个负载较轻的备份工具。复制有三种模式：主->从(master->slave)，主<->主(master<->master)和循环（cyclic）。这种方法给你灵活的从任意数据中心获取数据并且确保它能获得在其他数据中心的所有副本。在一个数据中心发生灾难性故障的情况下，客户端应用程序可以利用DNS工具，重定向到另外一个备用位置复制是一个强大的，容错的过程。它提供了“最终一致性”，意味着在任何时刻，最近对一个表的编辑可能无法应用到该表的所有副本，但是最终能够确保一致。

注：对于一个存在的表，你需要通过本文描述的其他方法，手工的拷贝源表到目的表。复制仅仅在你启动它之后才对新的写/编辑操作有效

HBase 的导出工具是一个内置的实用功能，它使数据很容易从hbase表导入HDFS目录下的SequenceFiles文件。它创造了一个 map reduce任务，通过一系列HBase API来调用集群，获取指定表格的每一行数据，并且将数据写入指定的HDFS目录中。这个工具对集群来讲是性能密集的，因为它使用了mapreduce和 HBase 客户端API。但是它的功能丰富，支持制定版本或日期范围，支持数据的筛选，从而使增量备份可用。

下面是一个导出命令的简单例子：

hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir>

一旦你的表导出了，你就可以复制生成的数据文件到你想存储的任何地方（比如异地/离线集群存储）。你可以执行一个远程的HDFS集群/目录作为命令的输出目录参数，这样数据将会直接被导出到远程集群。使用这个方法需要网络，所以你应该确保到远程集群的网络连接是否可靠以及快速。

拷贝表（CopyTable）

拷贝表功能在文章《使用CopyTable在线备份HBase》中有详细描述，但是这里做了基本的总结。和导出功能类似，拷贝表也使用HBase API创建了一个mapreduce任务，以便从源表读取数据。不同的地方是拷贝表的输出是hbase中的另一个表，这个表可以在本地集群，也可以在远程集群。

一个简单的例子如下：

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=testCopy test

这个命令将会拷贝名为test的表到集群中的另外一个表testCopy。

请注意，这里有一个明显的性能开销，它使用独立的“puts”操作来逐行的写入数据到目的表。如果你的表非常大，拷贝表将会导致目标region server上的memstore被填满，会引起flush操作并最终导致合并操作的产生，会有垃圾收集操作等等。

此外，你必须考虑到在HBase上运行mapreduce任务所带来的性能影响。对于大型的数据集，这种方法的效果可能不太理想。