mongodb的分片修改，mongodb分片规则

Mongodb添加数据后在分片数据失去平衡解决方案和原因

在MongoDB很早的版本，0之前，没有journal，加上默认不是安全写，系统一宕机就可能出现数据丢失，因为数据没有刷盘，也没有恢复日志恢复机制。这个问题倒默认启用journal以及安全写之后，没有问题了。选举机制造成的数据丢失。这里主要说这个。简单讲，MongoDB目前的选举机制是有缺陷的。

在分片后的数据库操作中，写入必须包含分片键，而查询、更新和删除操作则根据是否包含分片键有不同的路由策略。非增删改查命令也有其特定的处理逻辑，例如listDatabases命令会涉及所有Shard和Config Server的交互。总的来说，MongoDB的分片技术通过精细的路由和数据分布，实现了数据库的横向扩展和性能优化。

缺点是随机划分导致数据过于分散，当要查询某个范围内的数据时比如年龄大于20小于25的所有男生信息，如果直接使用范围划分的话，由于其具有良好的数据局部性特点，可能只要访问几个相邻的数据块就行了， 但是如果要使用哈希划分的方法很可能要访问所有的数据块。

相关问答

Q1: MongoDB分片片键如何选择

1、（1）使用片键的取值范围指定数据块 设置分片的时候，需要从集合里选出一个字段，用该字段的值作为数据拆分的依据，这个字段称为片键（shard key)，文档中的数据按照这个字段排序切分成块，分布到各个片上。

2、在分片后的数据库操作中，写入必须包含分片键，而查询、更新和删除操作则根据是否包含分片键有不同的路由策略。非增删改查命令也有其特定的处理逻辑，例如listDatabases命令会涉及所有Shard和Config Server的交互。总的来说，MongoDB的分片技术通过精细的路由和数据分布，实现了数据库的横向扩展和性能优化。

3、块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据 (3)拆分与迁移 块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。

4、分片(shard)是集群中存储集合数据子集的一台或者多台服务器。在生产环境中一个分片通常是一个副本集(replica set)。片键(key)，MongoDB以其作为依据来确定需要在不同分片服务器之间移动的数据。

Q2: mongodb-分片shard-原理

1、按照片键取值范围来作为数据块划分的区间依据，优点是按范围查询的时候它的效率很高，当给定一个查询范围，根据mongos中的映射表可以很快的定位到分片上的数据块。

2、分片是将MongoDB中的数据集分割成多个数据片，每片数据存放在不同的MongoDB实例中，可以理解为将一个MongoDB数据集拆分成多个小型数据集，而小数据集分布在相同或者不同的物理机器上，分割只是从物理层面进行分割，逻辑上仍然属于同一个数据集合。

3、在实际操作中，路由器根据用户查询智能地将请求路由到相应的数据shard节点，然后汇总结果返回给客户端。常见的划分算法有轮询（Round-Robin，如EMC Greenplum）、一致性哈希（Consistent Hashing，如Dynamo）以及基于范围的分区（Range-based Partitioning，MongoDB采用），它们都是实现高效分片的关键手段。

Q3: 怎么选择MongoDB的分片字段

1、更典型的就是type，status这类的字段，因为它们的选择性实在是太低，导致无法拆分。片键基比较小时，所有的键值相同导致MongoDB不能分裂Chunk，迁移这些不可分裂的Chunk将更加耗时，即使迁移后也难以保证数据在各个分片上的平衡。

2、$split split 是aggregate的管道操作符，用于字段拆分 基础语法： { $split： [ string expression， delimiter ] } string expression 是需要拆分的字段，为必需内容。 delimiter 是拆分的标记，为必需内容。

3、当写日志的服务节点越来越多时，日志存储的服务需要保证可扩展的日志写入能力以及海量的日志存储能力，这时就需要使用MongoDB sharding来扩展，将日志数据分散存储到多个shard，关键的问题就是shard key的选择。

Q4: 搭建MongoDB副本集&分片

keyfile 配置用于 MongoDB 节点间复制行为的密钥文件。replSet 为副本集设置一个名称。接下来我们创建一个用于所有实例的密钥文件。这将会创建一个含有 MD5 字符串的密钥文件，但是由于其中包含了一些噪音，我们需要对他们清理后才能正式在 MongoDB 中使用。

MongoDB 部署在docker里，MongoDB的数据在创建docker时，通过逻辑卷进行管理和存储。当数据量过大（TB级）时，通过mongodump的逻辑备份方式，效率上已经能满足需求，所以需要提供物理备份的功能，本文主要整理MongoDB副本集通过磁盘快照的进行物理备份和恢复的方法。

虚拟机中副本初始化失败原因如下：IP错误引起MongoDB副本集初始化失败。PRIMARY与SECONDARY主机mongodb-keyfile文件内容不一致，导致在PRIMARY上添加副本集失败。备节点配置文件没有配置replSet，导致添加副本集失败。

Q5: 分片技术

分片技术其实并不是什么新概念，起初是针对大型中心数据库提出的优化方案，具体来说就是将大型数据库中的数据划按照某种规则分成很多数据分片（shard），再将这些数据分片分别存放在不同的服务器中，以减小每个服务器的数据访问压力，从而提高整个数据库系统的性能。

分片技术是开发人员用来提高交易吞吐量的几种常见方法之一。简单地说，分片就是一种在点对点网络中分割计算能力和存储工作负载的分区方式，分片后每个节点不再需要负责处理整个网络的交易负载，而仅需处理其所在分区（或称分片）中的交易。

随机分片看似提高效率，却牺牲了性能和安全性，长期可能导致利益固化，需要定期重新调整。此外，交易历史问题和跨分片交易验证的复杂性，都考验着分片技术的适用性。然而，智能合约分片的场景颇具启示。比如足球菠菜合约，如果所有调用交易都需要各分片知悉，分片技术可能无法提供显著优势。

分片技术：库存的未来布局 我们的方案基于库存分片记录表，引入了热点标记，将原本的记录拆分为多个子记录，分散扣减操作。主分片记录保留核心库存信息，次分片记录则承载分片库存。通过限制每个分片的最小库存和分片数量，我们确保了性能提升的同时，避免了超卖风险。

在数据管理的世界中，分片技术如同魔法般地增强了数据库的威力。它将庞大数据库分解为多个独立的副本集，每个副本集独立运行，既提供了冗余保障，又提升了存储和处理能力，特别是在处理海量数据和高并发请求时显得尤为关键。

mongodb的分片修改的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于mongodb分片规则、mongodb的分片修改的信息别忘了在本站进行查找喔。