kylin将数据写入hbase，kylin jdbc

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

六、HBase写入流程

1、整个写入顺序图流程如下：1 客户端查找对应region 客户端根据要操作rowkey，查找rowkey对应的region。查找region的过程为通过zk获取到hbase：meta表所在region。

2、对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

3、和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

4、首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互。

5、使用bulk load功能最简单的方式就是使用importtsv 工具。importtsv 是从TSV文件直接加载内容至HBase的一个内置工具。它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

6、业务需求 flume需要从kafka获取数据并写入hbase 开始写的想法：按照flume的流程：一个source ，三个channel，三个sink，因为我需要三个列族，如果使用官方的hbase sink那么需要三个sink。

Q1: hbase是怎么进行读写的

1、所以hbase大多数读要走磁盘，所以读很慢。每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

2、HBase应用举例 Hbase适合需对数据进行随机读操作或者随机写操作、大数据上高并发操作，比如每秒对PB级数据进行上千次操作以及读写访问均是非常简单的操作。淘宝指数是Hbase在淘宝的一个典型应用。

3、hbase客户端通过rpc调用将put、delete数据请求提交到对应的regionserver，regionserver对请求进行处理，并将数据最终写入hfile中，进行持久化保存。hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。

4、MemStore 无论是对 HBase 的写入还是读取性能都至关重要，其中 flush 操作又是 MemStore 最核心的操作。

5、HBase将数据分布在多台服务器上，通过水平扩展的方式来应对海量数据的存储需求。它使用了类似于Google的Bigtable的数据模型，将数据按照行和列的方式进行存储，支持快速的随机读写操作。

Q2: Kylin构建Cube及高级设置

为了缓解 Cube 的构建压力，减少生成的 Cuboid 数目，占用存储空间，同时提高查询性能，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。

Apache Kylin（麒麟）是由eBay开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。底层存储用的是HBase，数据输入与cube building用的是Hive，中间数据存储用的是HDFS。

那么就可以通过设置聚合组，使生成的 Cuboid 数目从 16 个缩减成 8 个（大大降低 Cube 膨胀率），如图 2 所示。

如果想新增一个Cube的话，需要在kylin02上操作，也就是预上线环境。所有业务方人员的cube数据模型定义都是在kylin02上做，没有问题后由管理员切到kylin01上。

Flink Cube Engine 是腾讯基于 Kylin 插件化的 Cube Engine 架构开发的一个高性能构建引擎，目前已具备了上线使用的能力，感兴趣的同学可以体验一下，目前该引擎已经在腾讯生产环境上线 1 个月+，非常稳定而且效果不错。

Q3: 如何将excel的数据导入hbase

Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的，与DistCp不同的时，它是利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。

可以使用Put 类的add()方法将数据插入到HBase。可以使用HTable类的put()方法保存。第1步：实例化配置类 Configuration类增加了 HBase 配置文件到它的对象。使用HbaseConfiguration类的create()方法，如下图所示的配置对象。

在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

kylin将数据写入hbase的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于kylin jdbc、kylin将数据写入hbase的信息别忘了在本站进行查找喔。