MongoDB学习笔记 - Go

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

MongoDB的学习目标（v.3.4.0）

1.MongoDB的概念，非关系型数据库NOSQL

2.学会MongoDB的搭建

3.熟悉MongoDB使用

最基本的文档的读写更新删除
各种不同类型的索引的创建与使用
复杂的聚合查询
对数据集合进行分片，在不同分片间维持数据均衡
数据备份与恢复
数据迁移

4.简单运维

部署MongoDBjiqun
处理多种常见的故障
- 单节点失效，如何恢复工作
- 数据库意外被杀死，如何进行数据恢复
- 数据库发生拒绝服务时，如何排查原因
- 数据库磁盘快满时，如何处理

关于数据库

什么是数据库?

存储数据的仓库，具有两个特点：1.能有组织的存储数据 2.能根据不同需求查询数据

数据库分类

根据数据库是否支持sql语言分类：

sql数据库：支持sql语言的数据库例如：oracle mysql
nosql数据库：不支持sql语言的数据库例如：redis mongodb

sql数据库和nosql数据库的优缺点？

MongoDB的优势

无数据机构限制，无表的概念，即每一条记录可以有不同数据结构
完全索引支持，执行单键、多键、复合、数组、全文索引
方便的冗余和扩展，复制集保证数据安全，分片保证数据扩展规模
良好的支持，文档支持和驱动支持

简单MongoDB服务搭建

github或者mongodb官网瞎下载源码
cd切换到mongodb源码目录，用scons all 命令进行编译
mkdir一个mongodb_demo目录，在mongodb_deml目录下创建bin(存放二进制文件gongod...) log(存放日志文件) conf(存放配置文件) data(存放用户数据) 目录
vim conf/mongod.conf,在文件里配置port=12345(mongodb服务端口号) dbpath = data (存放数据的目录) logpath = log/mongod.log(存放日子文件) fork =true
启动mongodb服务 ./bin/mongod -f ./conf/mongod.conf (第一次启动会有警告，只需要在启动命令前加numactl --interleave=all取消告警)
mongo客服端是mongodb自带的客服段，只需要把编译后的mongodb中的mongo复制到mongodb_demo/bin下，链接mongodb服务，bin/mongo 127.0.0.1:12345/test

mongodb基本操作命令

对数据库的操作命令

show dbs 查看数据库
use 数据库名切换数据库（如果数据库不存在就创建）
show tables 查看集合
db.dropDatabase() 删除数据库

对集合的操作命令（增删查改）

db.collectionName.insert({name:"demoName"}) 插入数据(如果集合不存在，就先创建集合，再插入数据)
db.collectionName.find() 查询所有记录
db.collectionName.find({name:"demoName"}) 查询name=demoName的所有记录
db.collectionName.find().count() 查询有多少条记录
db.collectionName.find().skip(3).limit(2).sort({name:1}) 查询出所有记录，skip(2)跳过前两条记录，limit(2)分页只显示2条记录，sort({name:1})根据name字段升序排序 1表示升序 -1表示降序
db.collectionName.update({name:"A"},{name:"B"}) name=A更新为B，如果该条记录还有其他字段，都会被覆盖，如果匹配到多条name=A的记录，只有修改第一条
db.collectionName.update({name:"A"},{$set:{name:"B"}}) name=A更新为B，如果改条记录还有其他字段，不会被覆盖，如果匹配到多条name=A的记录，只有修改第一条
db.collectionName.update({name:"A"},{name:"B"},true) name=A更新位B，如果不存在name=A的记录，就会先创建name=A记录再做更新
db.collectionName.update({name:"A"},{$set:{name:"B"}},false,true),更新多条name=A的记录为name=B
db.collectionName.remove({name:“A”})删除字段name=A的记录，如果匹配到多条，都会删除
db.collectionName.drop()删除整个集合

条件操作符

(>)大于 $gt
(<)小于 $lt
(>=)大于等于 $gte
(<=)小于等于 $lte
例如：db.collectionName.find({age:{$gt:10}}) 查询age大于10的记录

$type操作符

mongodb支持数据类型：

String：字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。
Integer：整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。
Boolean：布尔值。用于存储布尔值（真/假）。
Double：双精度浮点值。用于存储浮点值。
Min/Max keys：将一个值与 BSON（二进制的 JSON）元素的最低值和最高值相对比。
Arrays：用于将数组或列表或多个值存储为一个键。
Timestamp：时间戳。记录文档修改或添加的具体时间。
Object：用于内嵌文档。
Null：用于创建空值。
Symbol：符号。该数据类型基本上等同于字符串类型，但不同的是，它一般用于采用特殊符号类型的语言。
Date：日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。
Object ID：对象 ID。用于创建文档的 ID。
Binary Data：二进制数据。用于存储二进制数据。
Code：代码类型。用于在文档中存储 JavaScript 代码。
Regular expression：正则表达式类型。用于存储正则表达式。

mongodb支持数据类型对应数字：

例如：db.collectionName.find({name:{$type:2}}) 查询name字段数据类型为string类型的记录

索引

索引的种类与使用
索引的匹配规则
如何建立合适的suoyin
索引建立的情况评

索引的种类

_id索引
单键索引
多建索引
复合索引
过期索引
全文索引
地理位置索引

_id索引

_id索引是绝大多数集合默认建立的索引对于每一个插入的数据，mongodb都会自动生成一条唯一的_id字段
db.collectionName.getIndexes()查看索引信息

单键索引

单键索引，最普通的索引，不会自动创建
db.collectionName.ensureIndex({name:1}) 以字段name创建单键索引，1表示升序 -1为降序

多键索引

多键索引与单键索引创建形式相同，字段值不一样。单键索引，值为一个单一的值，如字符串数字日期；多键索引，值具有多个记录，如数组

复合索引

当我们的查询条件不只有一个时，就需要建立复合索引
db.conllectionName.ensureIndex({name:1,age:1}

过期索引

过期索引，在一段时间后会过期的索引，在索引过期后，相应的数据会被删除，这适合存储一些在一段时间之后会失效的数据，例如：用户的登录信息，存储的日志
db.collectionName.ensureIdex({time:1},{expireAfterSeconds:10}) expireAfterSeconds的值单位位秒为time字段建立了过期索引，10秒有time字段的记录就会被自动删除
过期索引的限制
- 存储过期索引字段的值必须是指定的时间类型。必须是ISODate或ISODate数组，不能使用时间戳
- 如果指定了Date数组，则按照最小的时间进行删除
- 过期索引不能是复合索引
- 删除时间不是精确的，删除过程是有后台程序每60s执行一次，而且删除也需要一些时间

全文索引

全文索引，对字符串或字符串数组创建全文搜索的索引。全文索引创建时，value是固定“text”
db.collectionName.ensureIndex({key:"text"}) 为一个字段创建全文索引
db.collectionName.ensureIndex({{key1:"text",key2:"text"}) 为连个字段创建全文索引
db.collectionName.ensureIndex({"$**":"text"}) 为整个集合创建全文索引
全文查询
- db.collectionName.find({$text:{$search:"xx"}})
- xx表示 aa bb cc，他们之间空格隔开的表示或，查询包含aa或者bb或者cc的记录
- xx表示aa bb -cc,查询不包含cc的记录
- \"aa\" \"bb\" \"cc\",\"转义“，表示查询同时包括aa bb cc的记录
全文索引相似度，$meta操作符{score:{$meta:"textScore"}},写在查询条件后面可以返回结果的相似度，再使用sort函数一起使用，就可以模拟一个简单版的百度搜索了。
例如：db.collectionName.find({$text:{$search:"xx"}},{score:{$meta:"textScore"}}).sort({score:{$meta:"textScore"}})
全文索引使用限制
- 每次查询，只能指定一个$text查询
- $text查询不能出现在$nor查询中
- 查询中如果包含了$text，hint不再起作用
- mongo全文索引，暂时不支持中文

索引属性

name:给索引取一个名称
例如：db.collectionName.ensureIndex({xx:1},{name:"单键索引"})
unique:唯一性
例如：db.collectionName.ensureIndex({xx:1},{unique:true})
sparse:稀疏性为没有某字段的记录就不创建索引
例如：db.collectionName.ensureIndex({xx:1},{sparse:true})
expireAfterSeconds:过期性
例如：db.collectionName.ensureIndex({xx:1},{expireAfterSeconds:10})

地理位置索引

概念：将一些点的位置存储在mongodb中，创建索引后，可以按照位置来查找其他点
子分类：
- 2d索引，用来存储和查找平面上的点
- 2dsphere索引，用来存储和查找球面上的点
查找方式：
- 查找距离某一个点距离内的点
- 查找包含在某区域内的点

2d索引：平面地理位置索引

创建方式：db.collectionName.ensureIndex({w:"2d"}) value:固定为2d
位置表示方式：经纬度【经度,维度】
取值范围：经度【-180,180】纬度【-90.90】
查询方式：
- $near查询：查询距离某个点最近的点，$maxDistance限制距离例如：db.collectionName.find({w:{$near:[1,1],$maxDistance:10}})查询距离【1,1】点内的点，限制距离W
- geoNear查询
- db.runCommand({geoNear:<collectionName>,near:[x,y],minDistance:x,maxDistance:x,num:x})

2dsphere索引

概念：球面地理位置索引
创建方式：db.collectionName.ensureIndex({w:"2dsphere"})
位置表示形式：
GeoJson:描述一个点，一条直线，多边形等形状
格式：{type:"",conrdinates:[<conrdinates>]}
查询方式与2d索引查询方式一样，并且支持$minDistance和$maxDistance

索引构建情况分析

索引好处：加快索引相关的查询
索引不好处：增加磁盘空间消耗，降低写入性能

如何评判当前索引构建情况

mongostat工具介绍
profile集合介绍
日志介绍
explain分析

mongostat工具

mongostat:查看mongodb运行状态的程序
使用说明：mongostat -h 127.0.0.1:12345
字段说明：
索引情况：idx miss
读写队列：qr | qw

profile集合

把profile运行级别设置为2，就能记录我们每次操作的情况，因为profile集合如果记录量比较大，就比较吃资源，所以一般用在一个产品上线做测试时。
db.getProfilingStatus()查看profile运行状态
db.getProfilingLevel()查看profile运行级别
db.setProfilingLevel(n)设置profile运行级别

mongodb日志

conf/mongod.log 配置文件中，verbose = vvvvv "v"越多信息越详细

explain分析

在查询后跟explain().就鞥查看详细的信息了

MongoDB安全

mongodb安全概念

最安全的是物理隔离
网络隔离其次
防火墙再其次
用户名密码在最后

创建用户名密码

auth开启权限认证，在conf/mongod.conf里配置auth=true
创建语法：db.createUser({user:"test",pwd:"test",customDate:"this is test",roles:[role:"read",db:"admin"]})
角色类型：内建类型（read,readWrite,dbAdmin,dbOwner userAdmin）

mongoDB用户角色详解

数据库角色：read readWrite dbAdmin dbOwner userAdmin
集群角色：clusterAdmin clusterManager
备份角色：backup restore
其他特殊权限：DBAdminAnyDatabase