POSTGRESQL百亿的简单介绍

有谁对高斯数据库了解的

基于postgresql改造的MPP分布式内存数据库，高斯是最新的名字，以前叫LibrA数据库。总体来说性能还可以，稳定性还需要提升。当对百亿级别的表做全表扫描的时候偶尔会出现节点通信异常的问题。

相关问答

Q1: 看大数据最大技术难关之模糊检索，PostgreSQL如何攻克

但是由于“大数据”和“Hadoop”这两个热门词，即使很多人实际上不需要Hadoop，他们也愿意穿上“紧身衣”。

一、如果我的数据量是几百兆，Excel可能没法加载它

对于Excel软件来说的“很大的数据”并非大数据，其实还有其它极好的工具可以使用——我喜欢的Pandas。Pandas构建于Numpy库 之上，可以以矢量格式的方式有效地把数百兆的数据载入到内存中。在我购买已3年的笔记本上，它可以用Numpy在一眨眼的功夫把1亿的浮点数乘在一起。 Matlab和R也是极好的工具。

对于几百兆的数据量，典型的做法是写一个简单的Python脚本按行读取文件行，并处理它，向另一个文件写入。

二、如果我的数据是10GB呢

我买了个新笔记本，它有16GB的内存和256GB的SSD。如果你要载入一个10GB的CSV文件到Pandas，它占用的内存实际上是很小的 ——其结果是以数字类型的字符串保存的，如“17284832583”作为4字节货8字节的整数，或存储“284572452.2435723”字符串作 为8字节的双精度浮点数。

最坏的情况是你或许不能把所有的数据都同时载入到内存中。

三、如果我的数据是100GB、500GB或1TB呢

买个2TB或4TB的硬盘，在桌面PC或服务器上安装一个Postgre来解决它。

四、Hadoop远远比不上SQL或Python脚本

在计算的表达方面，Hadoop弱于SQL，也弱于Python脚本。

SQL是一个很直接的查询语言，适合做业务分析，SQL的查询相当简单，而且还非常快——如果你的数据库使用了正确的索引，二级查询或多级查询另当别论。

Hadoop没有索引的概念，Hadoop只有全表扫描，Hadoop有高度泄露抽象——我花了很多时间来处理Java的内存错误、文件碎片以及集群竞争，这些时间远大于我花在数据分析上的时间。

如果你的数据并不是像SQL表那样的结构化数据（比如纯文本、JSON对象、二进制对象），通常是直接写一个小的Python脚本来按行处理你的数据。把数据存储于文件，处理每一个文件，等等。如果换成是Hadoop就很麻烦。

相比于SQL或Python脚本，Hadoop要慢的多。正确的使用索引后，SQL查询总是非快——PostgreSQL简单的查找索引，检索确 切的键值。而Hadoop是全表扫描的，它会把整个表进行重新排序。通过把数据表分片到多台计算机上后，重排序是很快的。另一方面，处理二进制对 象，Hadoop需要重复往返于命名节点，目的是查找和处理数据。这适合用Python脚本来实现。

五、我的数据超过了5TB

你应该考虑使用Hadoop，而无需做过多的选择。

使用Hadoop唯一的好处是可伸缩性非常好。如果你有一个包含了数TB数据的表，Hadoop有一个适合全表扫描的选项。如果你没有这样大数据量的表，那么你应该像躲避瘟疫那样避免使用Hadoop。这样使用传统的方法来解决问题会更轻松。

六、Hadoop是一个极好的工具

我并不讨厌Hadoop，当我用其它工具不能很好处理数据时我会选择Hadoop。另外，我推荐使用Scalding，不要使用Hive或Pig。Scalding支持使用Scala语言来编写Hadoop任务链，隐藏了其下的MapReduce。

Q2: postgresql数据库怎么才能删除大量数据？

你可以每天创建一个表，查询数据的时候用union all合并起来查询

这样做的好处是，删除的时候可以直接把表删掉即可

Q3: mysql查询插件路径

可以直接使用 rpm -qal |grep mysql查看mysql所有安装包的文件存储位置。

首先我们需要查看软件是否已经安装，或者说查看安装的软件包名称。如查找是否安装mysql接着根据 rpm -ql 列出软件包安装的文件。

综合上述以上的问题，可以直接使用 rpm -qal |grep mysql 查看mysql所有安装包的文件存储位置Yum查找除了rpm 查询还可以通过yum search 查找对应可以安装的软件包。

优势功能：

支持百亿边+快速导入，支持横向扩容。HugeGraph针对百亿级数据场景进行定制化优化，实现大数据环境下的快速导入和高效查询，同时能够对接Hadoop和Spark GraphX等已有大数据平台。

支持Gremlin图查询语言，Gremlin提供了标准、灵活、丰富的图查询语法。

支持多后端存储引擎，后端存储引擎可配置，可插件式扩展新的后端存储引擎。

支持快速的批量导入、批量导出功能，同时用户可灵活定义导入导出格式，支持CSV、TXT、JSON等格式，支持从HDFS、MySQL、SQL Server、Oracle、PostgreSQL等数据源直接导入数据。

Q4: 如何遍历几百万条postgresql表

1、通过命令行查询

\d 数据库 —— 得到所有表的名字

\d 表名 —— 得到表结构

2、通过SQL语句查询

"select * from pg_tables" —— 得到当前db中所有表的信息（这里pg_tables是系统视图）

"select tablename from pg_tables where schemaname='public'" —— 得到所有用户自定义表的名字（这里"tablename"字段是表的名字，"schemaname"是schema的名字。用户自定义的表，如果未经特殊处理，默认都是放在名为public的schema下）