gps数据存储hbase，海量gps定位数据的存储

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

hbase适用于哪些场景

1、交通方面：船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。

2、Hbase适用于存储不太复杂但数据很大的数据。列如商城系统中：用户，商品，订单，店铺，卖家，这些数据关系复杂不适合用Hbase。这里面订单数据量很大，而且要频繁拿出来计算，可以考虑只将订单这项存入Hbase。

3、主要关注的是对数据的统计等方面。适合的场景：hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

4、对于hbase当前noSql数据库的一种，最常见的应用场景就是采集的网页数据的存储，由于是key-value型数据库，可以再扩展到各种key- value应用场景，如日志信息的存储，对于内容信息不需要完全结构化出来的类CMS应用等。

5、Hive使用Hadoop来分析处理数据，而Hadoop系统是批处理系统，因此不能保证处理的低迟延问题；而HBase是近实时系统，支持实时查询。

6、Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。

Q1: HBase支持的数据格式有哪些?

HBase 通过 Put 操作和 Result 操作支持 “byte-in / bytes-out” 接口，所以任何可以转换为字节数组的内容都可以作为一个值存储。输入可以是字符串、数字、复杂对象、甚至可以是图像，只要它们可以呈现为字节。

TEXTFILE默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

在底层实现上，HBase使用了基于Hadoop的分布式文件系统HDFS来存储数据，并且使用了一种称为LSM-Tree（Log-Structured Merge-Tree）的数据结构来管理数据。

Q2: hbase与关系型数据库的存储方式有哪些不同

扩展方式不同因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都需要通过提高计算机性能来客服。虽然SQL数据库有很大扩展空间，但最终肯定会达到纵向扩展的上限。而NoSQL数据库是横向扩展的。

数据存储方式不同。关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。

Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。

MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（本文全部以Innodb为例，不涉及别的存储引擎）。

)查询速度：nosql资料库将资料储存于快取之中，关系型资料库将资料储存在硬碟中，自然查询速度远不及nosql资料库。

Q3: HBase是什么呢,都有哪些特点呢?

hbase的特点：高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

非关系型数据库，列存储和文档存储(查询低延迟)，hbase是nosql的一个种类，其特点是列式存储。

列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。在引擎中，HBase将列簇存储在它自己的数据文件中，所以，它们需要事先被定义，此外，改变列簇并不容易。

HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据。

Q4: 如果存储了数据但是在用hbase运行查询不到

是因为：系统bug，使用软件hbase写代码时，当代码写入成功却查不出来，是系统bug的问题，将代码重新运行即可，HBase是一个分布式的。

数据丢失在，rowkey相同，我看你的程序用的是random ，这种情况下很容易出现rowkey相同的。

TableNotEnabledException，导致无法启用表。上网查询得知是由于中断操作导致zookeeper中记录的表状态不一致导致。通过以下方法解决。

ZooKeeper内存分配不足，尤其是大量数据导入的时候其他程序存在内存溢出bug CPU消耗过大节点失效timeout阈值过短经过逐步排查，我们定位故障原因为第4点，timeout阈值不足。

关于gps数据存储hbase和海量gps定位数据的存储的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。