MongoDB之分片

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

本文介绍分片的思想和MongoDB中的实现方法。

首先须要介绍一些主要的概念。

分片

分片。也叫做分区。是一种经常使用的数据库优化技术。其含义就是将数据拆分，将数据分散到不同机器上的过程。这样就能够使得系统能够存储很多其它的数据，处于更大的负载。

差点儿全部的数据库软件都能够进行手动分片，通过应用程序管理不同server上的不同数据，查询也须要寻找正确的server。这样尽管能够减轻负载，可是却难以维护，比方我们向集群加入节点或者删除节点。都须要相应的调整数据的分布。

MongoDB在这一点上做得不错，它支持自己主动分片，集群能够自己主动切分数据，达到负载均衡，从而使管理人员能够摆脱手动分片。

分片原理

以下说说分片的原理。MongoDB分片的基本思想就是将集合切分成小块，这些块分散到若干片里面。每一个片仅仅负责总数据的一部分。

应用程序不须要知道哪些片相应哪些数据，也不须要知道数据是否已经拆分。

MongoDB通过另外一个独立的路由进程mongos来实现这个功能。

mongos路由进程知道全部数据的存放位置，所以应用能够连接它来正常发送请求。而对于应用来说。自己仅仅知道连接了一个普通的mongod。

也就是说，mongos相应用隐藏了分片的细节。

为什么要隐藏了？事实上就是为了拓展的时候，不必改动应用程序的代码。

应用场景

说完了原理。那什么时候须要用到分片呢？有以下几种情况：

1. 机器的磁盘不够用了

2. 单个mongodb已经不再满足性能须要

3. 想将大量数据放入内存提高性能

一般来说，先从不分片開始。然后在须要的时候将其转换成分片。

片键

设置分片时,须要从集合里面选一个键,用该键的值作为数据拆分的根据。这个键成为片键。

假设有个文档集合表示的是人员,假设选择名字”name”做为片键,第一篇可能会存放名字以A-F开头的文档；第二片存G-P开头的文档；第三篇存Q-Z的文档。

随着添加或删除片,MongoDB会又一次平衡数据,使得每片的流量比較均衡,数据量也在合理范围内。

那么我们应该怎样选择片键呢？

假设我们选择了时间属性的键作为片键。那么随着时间增长。全部的文档都会以最后一片插入。这就不适合写入操作负载非常高的情况，可是查询起来就比較方便。

假设我们选择了分布均匀的片键，就会提高写入操作的负载能力，可是就会影响查询的性能。

我们也能够选择复合片键，将两个属性键结合为一个片键。

事实上和索引的原理类似，事实上，片键也是最经常使用的索引。

说了半天的概率，也累了，以下看看实际操作吧。

建立分片

建立分片有两步：启动server，然后决定怎么切分数据。

分片一般由三个部分组成：

1. 片

片就是保存子集合数据的容器。片能够是单个mongodserver。也能够是副本集。

2. mongos

路由进程，它接收全部的请求。然后将结果聚合，它本身并不存储数据或者配置信息，可是会缓存配置server的信息。

3. 配置server

存储集群的配置信息：数据和片的相应关系。

配置server是帮mongos存放分片的配置信息的，mongos自己不存放数据。直接同步配置server中数据就可以。

以下介绍具体过程：

首先要启动配置server和mongos。

配置server须要先启动，由于mongos会用到其上的配置信息。

第一步，启动配置server

配置server的启动就像普通的mongod一样：

mongod – config d:\mongodb\mongo.config --port 20000

第二步，建立mongos进程

建立mongos进程。以供应用程序连接。这样的路由server连接数据文件夹都不须要,但一定要指明配置server的位置:

mongos --port 30000 --configdb 127.0.0.1:20000

分片管理一般是通过mongos完毕的,完毕后效果例如以下：

第三步，加入片

加入片。片就是普通的mongod：

连接刚才启动的mongos,为集群加入一个片。

启动shell,连接mongos:

确定连接的是mongos而不是mongod,通过addshard命令加入片:

>mongo 127.0.0.1:30000 mongos> use admin switched to db admin mongos> db.runCommand( ... { ... "addshard":"127.0.0.1:10000", ... "allowLocal":1 ... } ... ) { "shardAdded" : "shard0000", "ok" : 1 } mongos> db.runCommand( ... { ... "addshard":"127.0.0.1:10001", ... "allowLocal":1 ... } ... ) { "shardAdded" : "shard0001", "ok" : 1 }

当在本机执行片的时候,得设定allowLocal键为true。MongoDB尽量避免由于错误的配置,将集群配置到本地,所以得让它知道这仅仅是开发,并且我们非常清楚自己在做什么。

假设是生产环境中,则要将其部署在不同的机器上。

想加入片的时候,就执行addshard，MongoDB会负责将片集成到集群。

第四步，切分数据

MongoDB不会将存储的每一条数据都直接公布,得先在数据库和集合的级别将分片功能打开。

假设是连接配置server,

E:\mongo\bin>mongo 127.0.0.1:20000 MongoDB shell version: 2.0.6 connecting to: 127.0.0.1:20000/test > use admin switched to db admin > db.runCommand({"enablesharding":"test"}) { "errmsg" : "no such cmd: enablesharding", "bad cmd" : { "enablesharding" : "test" }, "ok" : 0 }