Spider_Man_5.2 の Mongodb_使用

MongoDB中存储的文档必须有一个"_id"键。这个键的值可以是任意类型，默认是个ObjectId对象。在一个集合里，每个文档都有唯一的“_id”,确保集合里每个文档都能被唯一标识。不同集合"_id"的值可以重复，但同一集合内"_id"的值必须唯一#1、ObjectIdObjectId是"_id"的默认类型。因为设计MongoDb的初衷就是用作分布式数据库，所以能够在分片环境中生成唯一的标识符非常重要，而常规的做法：在多个服务器上同步自动增加主键既费时又费力，这就是MongoDB采用ObjectId的原因。ObjectId采用12字节的存储空间，是一个由24个十六进制数字组成的字符串 0|1|2|3| 4|5|6| 7|8 9|10|11 时间戳 机器 PID 计数器如果快速创建多个ObjectId，会发现每次只有最后几位有变化。另外，中间的几位数字也会变化（要是在创建过程中停顿几秒）。这是ObjectId的创建方式导致的，如上图时间戳单位为秒，与随后5个字节组合起来，提供了秒级的唯一性。这个4个字节隐藏了文档的创建时间，绝大多数驱动程序都会提供一个方法，用于从ObjectId中获取这些信息。因为使用的是当前时间，很多用户担心要对服务器进行时钟同步。其实没必要，因为时间戳的实际值并不重要，只要它总是不停增加就好。接下来3个字节是所在主机的唯一标识符。通常是机器主机名的散列值。这样就可以保证不同主机生成不同的ObjectId，不产生冲突接下来连个字节确保了在同一台机器上并发的多个进程产生的ObjectId是唯一的前9个字节确保了同一秒钟不同机器不同进程产生的ObjectId是唯一的。最后3个字节是一个自动增加的 计数器。确保相同进程的同一秒产生的ObjectId也是不一样的。#2、自动生成_id如果插入文档时没有"_id"键，系统会自帮你创建 一个。可以由MongoDb服务器来做这件事。但通常会在客户端由驱动程序完成。这一做法非常好地体现了MongoDb的哲学：能交给客户端驱动程序来做的事情就不要交给服务器来做。这种理念背后的原因是：即便是像MongoDB这样扩展性非常好的数据库，扩展应用层也要比扩展数据库层容易的多。将工作交给客户端做就减轻了数据库扩展的负担。

#1、增当第一个文档插入时，集合就会被创建> use database1switched to db database1> db.table1.insert({'a':1})WriteResult({ "nInserted" : 1 })> db.table2.insert({'b':2})WriteResult({ "nInserted" : 1 })#2、查> show tablestable1table2#3、删> db.table1.drop()true> show tablestable2

#1、没有指定_id则默认ObjectId,_id不能重复，且在插入后不可变#2、插入单条user0={ "name":"pp", "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'city':'BJ' }}db.test.insert(user0)db.test.find()#3、插入多条user1={ "_id":1, "name":"ww", "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'city':'weifang' }}user2={ "_id":2, "name":"wusir", "age":20, 'hobbies':['music','read','run'], 'addr':{ 'country':'China', 'city':'hebei' }}user3={ "_id":3, "name":"nazha", "age":30, 'hobbies':['music','drink'], 'addr':{ 'country':'China', 'city':'heibei' }}user4={ "_id":4, "name":"eva", "age":40, 'hobbies':['music','read','dancing','tea'], 'addr':{ 'country':'China', 'city':'BJ' }}user5={ "_id":5, "name":"ff", "age":50, 'hobbies':['music','read',], 'addr':{ 'country':'China', 'city':'henan' }}db.user.insertMany([user1,user2,user3,user4,user5])

#1、删除多个中的第一个db.user.deleteOne({ 'age': 8 })#2、删除国家为China的全部db.user.deleteMany( {'addr.country': 'China'} ) #3、删除全部db.user.deleteMany({})

update() 方法用于更新已存在的文档。语法格式如下：db.collection.update( <query>, <update>, { upsert: <boolean>, multi: <boolean>, writeConcern: <document> })参数说明：对比update db1.t1 set name='FFF',sex='Male' where name='fff' and age=18;query : 相当于where条件。update : update的对象和一些更新的操作符（如$,$inc...等，相当于set后面的upsert : 可选，默认为false，代表如果不存在update的记录不更新也不插入，设置为true代表插入。multi : 可选，默认为false，代表只更新找到的第一条记录，设为true,代表更新找到的全部记录。writeConcern :可选，抛出异常的级别。更新操作是不可分割的：若两个更新同时发送，先到达服务器的先执行，然后执行另外一个，不会破坏文档。update语法介绍

#注意：除非是删除，否则_id是始终不会变的#1、覆盖式:db.user.update({'age':20},{"name":"Wxx","hobbies_count":3})是用{"_id":2,"name":"Wxx","hobbies_count":3}覆盖原来的记录#2、一种最简单的更新就是用一个新的文档完全替换匹配的文档。这适用于大规模式迁移的情况。例如var obj=db.user.findOne({"_id":2})obj.username=obj.name+'SB'obj.hobbies_count++delete obj.agedb.user.update({"_id":2},obj)

#设置：$set通常文档只会有一部分需要更新。可以使用原子性的更新修改器，指定对文档中的某些字段进行更新。更新修改器是种特殊的键，用来指定复杂的更新操作，比如修改、增加后者删除#1、update db1.user set name="WXX" where id = 2db.user.update({'_id':2},{"$set":{"name":"WXX",}})#2、没有匹配成功则新增一条{"upsert":true}db.user.update({'_id':6},{"$set":{"name":"pp","age":18}},{"upsert":true})#3、默认只改匹配成功的第一条,{"multi":改多条}db.user.update({'_id':{"$gt":4}},{"$set":{"age":28}})db.user.update({'_id':{"$gt":4}},{"$set":{"age":38}},{"multi":true})#4、修改内嵌文档，把名字为alex的人所在的地址国家改成Japandb.user.update({'name':"ww"},{"$set":{"addr.country":"Japan"}})#5、把名字为alex的人的地2个爱好改成piaodb.user.update({'name':"ww"},{"$set":{"hobbies.1":"piao"}})#6、删除alex的爱好,$unsetdb.user.update({'name':"ww"},{"$unset":{"hobbies":""}})

增加和减少：$inc#1、所有人年龄增加一岁db.user.update({}, { "$inc":{"age":1} }, { "multi":true } )#2、所有人年龄减少5岁db.user.update({}, { "$inc":{"age":-5} }, { "multi":true } )

#添加删除数组内元素往数组内添加元素:$push#1、为名字为qwe的人添加一个爱好readdb.user.update({"name":"qwe"},{"$push":{"hobbies":"read"}})#2、为名字为qwe的人一次添加多个爱好tea，dancingdb.user.update({"name":"qwe"},{"$push":{ "hobbies":{"$each":["tea","dancing"]}}})按照位置且只能从开头或结尾删除元素：$pop#3、{"$pop":{"key":1}} 从数组末尾删除一个元素db.user.update({"name":"qwe"},{"$pop":{ "hobbies":1}})#4、{"$pop":{"key":-1}} 从头部删除db.user.update({"name":"qwe"},{"$pop":{ "hobbies":-1}})#5、按照条件删除元素,："$pull" 把符合条件的统统删掉，而$pop只能从两端删db.user.update({'addr.country':"China"},{"$pull":{ "hobbies":"read"}},{ "multi":true})

#避免添加重复："$addToSet"db.urls.insert({"_id":1,"urls":[]})db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})db.urls.update({"_id":1},{ "$addToSet":{ "urls":{ "$each":[ 'http://www.baidu.com', 'http://www.baidu.com', 'http://www.xxxx.com' ] } } })

#1、了解：限制大小"$slice"，只留最后n个db.user.update({"_id":5},{ "$push":{"hobbies":{ "$each":["read",'music','dancing'], "$slice":-2 } }})#2、了解：排序The $sort element value must be either 1 or -1"db.user.update({"_id":5},{ "$push":{"hobbies":{ "$each":["read",'music','dancing'], "$slice":-1, "$sort":-1 } }})#注意：不能只将"$slice"或者"$sort"与"$push"配合使用，且必须使用"$eah"

# SQL：=,!=,>,<,>=,<=# MongoDB：{key:value}代表什么等于什么,"$ne","$gt","$lt","gte","lte",其中"$ne"能用于所有数据类型#1、select * from db1.user where name = "pp";db.user.find({'name':'pp'})#2、select * from db1.user where name != "pp";db.user.find({'name':{"$ne":'pp'}})#3、select * from db1.user where id > 2;db.user.find({'_id':{'$gt':2}})#4、select * from db1.user where id < 3;db.user.find({'_id':{'$lt':3}})#5、select * from db1.user where id >= 2;db.user.find({"_id":{"$gte":2,}})#6、select * from db1.user where id <= 2;db.user.find({"_id":{"$lte":2}})

# SQL：and，or，not# MongoDB：字典中逗号分隔的多个条件是and关系，"$or"的条件放到[]内,"$not"#1、select * from db1.user where id >= 2 and id < 4;db.user.find({'_id':{"$gte":2,"$lt":4}})#2、select * from db1.user where id >= 2 and age < 40;db.user.find({"_id":{"$gte":2},"age":{"$lt":40}})#3、select * from db1.user where id >= 5 or name = "pp";db.user.find({ "$or":[ {'_id':{"$gte":5}}, {"name":"pp"} ]})#4、select * from db1.user where id % 2=1;db.user.find({'_id':{"$mod":[2,1]}})#5、上题，取反db.user.find({'_id':{"$not":{"$mod":[2,1]}}})

# SQL：in，not in# MongoDB："$in","$nin"#1、select * from db1.user where age in (20,30,31);db.user.find({"age":{"$in":[20,30,31]}})#2、select * from db1.user where name not in ('pp','nazha');db.user.find({"name":{"$nin":['pp','nazha']}})

# SQL: regexp 正则# MongoDB: /正则表达/i#1、select * from db1.user where name regexp '^j.*?(g|n)$';db.user.find({'name':/^e.*?(g|n)$/i})

# select name,age from db1.user where id=3;db.user.find({'_id':3},{'_id':0,'name':1,'age':1})

#1、查看有dancing爱好的人db.user.find({'hobbies':'dancing'})#2、查看既有dancing爱好又有tea爱好的人db.user.find({ 'hobbies':{ "$all":['dancing','tea'] }})#3、查看第4个爱好为tea的人db.user.find({"hobbies.3":'tea'})#4、查看所有人最后两个爱好db.user.find({},{'hobbies':{"$slice":-2},"age":0,"_id":0,"name":0,"addr":0})#5、查看所有人的第2个到第3个爱好db.user.find({},{'hobbies':{"$slice":[1,2]},"age":0,"_id":0,"name":0,"addr":0})> db.blog.find().pretty(){ "_id" : 1, "name" : "pp的女朋友", "comments" : [ { "name" : "pp", "content" : "ww是谁？？？", "thumb" : 200 }, { "name" : "glm", "content" : "我去，真的假的", "thumb" : 10000000... }, { "name" : "yxx", "content" : "吃喝嫖赌抽，欠下两个亿", "thumb" : 40 }, { "name" : "ff", "content" : "xxx", "thumb" : 0 } ]}db.blog.find({},{'comments':{"$slice":-2}}).pretty() #查询最后两个db.blog.find({},{'comments':{"$slice":[1,2]}}).pretty() #查询1到2

# 排序:--1代表升序，-1代表降序db.user.find().sort({"name":1,})db.user.find().sort({"age":-1,'_id':1})

# 分页:--limit代表取多少个document，skip代表跳过前多少个document。db.user.find().sort({'age':1}).limit(1).skip(2)

# 获取数量db.user.count({'age':{"$gt":30}}) 或者db.user.find({'age':{"$gt":30}}).count()

#1、{'key':null} 匹配key的值为null或者没有这个keydb.t2.insert({'a':10,'b':111})db.t2.insert({'a':20})db.t2.insert({'b':null})> db.t2.find({"b":null}){ "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }{ "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }#2、查找所有db.user.find() #等同于db.user.find({})db.user.find().pretty()#3、查找一个，与find用法一致，只是只取匹配成功的第一个db.user.findOne({"_id":{"$gt":3}})

import datetimefrom pymongo import MongoClient# 数据准备client = MongoClient()table = client['db1']['emp']l=[(','eat_god',7300.33,401,1), #以下是授业解惑的(','teacher',1000000.31,401,1),(','teacher',8300,401,1),(','teacher',3500,401,1),(','teacher',2100,401,1),(','teacher',9000,401,1),(','teacher',30000,401,1),(','teacher',10000,401,1),(','sale',3000.13,402,2),#以下是销售部门(','sale',2000.35,402,2),(','sale',1000.37,402,2),(','sale',3000.29,402,2),(','sale',4000.33,402,2),(','operation',10000.13,403,3), #以下是运营部门(','operation',20000,403,3),(','operation',19000,403,3),(','operation',18000,403,3),(','operation',17000,403,3)]for n,item in enumerate(l): d={ "_id":n, 'name':item[0], 'sex':item[1], 'age':item[2], 'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'), 'post':item[4], 'salary':item[5] } table.save(d)# 聚合框架：# 可以使用多个构件创建一个管道，上一个构件的结果传给下一个构件。# 这些构件包括（括号内为构件对应的操作符）：筛选($match)、投射($project)、分组($group)、排序($sort)、限制($limit)、跳过($skip)# 不同的管道操作符可以任意组合，重复使用# ################################################ 筛选# {"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等# select * from db1.emp where post='teacher'# db.emp.aggregate({'$match':{'post':'teacher'}})# """# { "_id" : 1, "name" : "ww", "sex" : "male", "age" : 78, "hire_date" : ISODate("2015-03-02T00:00:00Z"), "post" : "teacher", "salary" : 1000000.31 }# { "_id" : 2, "name" : "ff", "sex" : "male", "age" : 81, "hire_date" : ISODate("2013-03-05T00:00:00Z"), "post" : "teacher", "salary" : 8300 }# { "_id" : 3, "name" : "wusir", "sex" : "male", "age" : 73, "hire_date" : ISODate("2014-07-01T00:00:00Z"), "post" : "teacher", "salary" : 3500 }# { "_id" : 4, "name" : "peiqi", "sex" : "male", "age" : 28, "hire_date" : ISODate("2012-11-01T00:00:00Z"), "post" : "teacher", "salary" : 2100 }# { "_id" : 5, "name" : "eva_jing", "sex" : "female", "age" : 18, "hire_date" : ISODate("2011-02-11T00:00:00Z"), "post" : "teacher", "salary" : 9000 }# { "_id" : 6, "name" : "shaowei", "sex" : "male", "age" : 18, "hire_date" : ISODate("1900-03-01T00:00:00Z"), "post" : "teacher", "salary" : 30000 }# { "_id" : 7, "name" : "gaylao", "sex" : "male", "age" : 48, "hire_date" : ISODate("2010-11-11T00:00:00Z"), "post" : "teacher", "salary" : 10000 }# """# select * from db1.emp where id > 3 group by postdb.emp.aggregate({'$match':{'_id':{'$gt':3}}}, {'$group':{'_id':'$post'}} )"""{ "_id" : "sale" }{ "_id" : "operation" }{ "_id" : "teacher" }"""# select * from db1.emp where id > 3 group by post having avg(salary) > 10000;db.emp.aggregate( {'$match':{'_id':{'$gt':3}}}, {'$group':{'_id':'post','avg_salary':{'$avg':'$salary'}}},{'$match':{'avg_salary':{'$gt':10000}}})#{ "_id" : "post", "avg_salary" : 10578.685714285715 }############################################### 投射：{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}}#1、select name,post,(age+1) as new_age from db1.emp;db.emp.aggregate({ '$project':{'name':1,'post':1, 'new_age':{'$add':['$age',1]} }})'''{ "_id" : 0, "name" : "pp", "post" : "eat_god", "new_age" : 19 }{ "_id" : 1, "name" : "ww", "post" : "teacher", "new_age" : 79 }{ "_id" : 2, "name" : "ff", "post" : "teacher", "new_age" : 82 }{ "_id" : 3, "name" : "wusir", "post" : "teacher", "new_age" : 74 }{ "_id" : 4, "name" : "peiqi", "post" : "teacher", "new_age" : 29 }{ "_id" : 5, "name" : "eva_jing", "post" : "teacher", "new_age" : 19 }{ "_id" : 6, "name" : "shaowei", "post" : "teacher", "new_age" : 19 }{ "_id" : 7, "name" : "gaylao", "post" : "teacher", "new_age" : 49 }{ "_id" : 8, "name" : "歪歪", "post" : "sale", "new_age" : 49 }{ "_id" : 9, "name" : "丫丫", "post" : "sale", "new_age" : 39 }{ "_id" : 10, "name" : "丁丁", "post" : "sale", "new_age" : 19 }{ "_id" : 11, "name" : "星星", "post" : "sale", "new_age" : 19 }{ "_id" : 12, "name" : "格格", "post" : "sale", "new_age" : 29 }{ "_id" : 13, "name" : "张野", "post" : "operation", "new_age" : 29 }{ "_id" : 14, "name" : "程咬金", "post" : "operation", "new_age" : 19 }{ "_id" : 15, "name" : "程咬银", "post" : "operation", "new_age" : 19 }{ "_id" : 16, "name" : "程咬铜", "post" : "operation", "new_age" : 19 }{ "_id" : 17, "name" : "程咬铁", "post" : "operation", "new_age" : 19 }'''#2、表达式之数学表达式# {"$add":[expr1,expr2,...,exprN]} #相加# {"$subtract":[expr1,expr2]} #第一个减第二个# {"$multiply":[expr1,expr2,...,exprN]} #相乘# {"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果# {"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果#3、表达式之日期表达式￥year，$month，$week，$dayOfMonth，$dayOfWeek，$dayOfYear，$hour，$minute，$second#例如：select name,date_format("%Y") as hire_year from db1.empdb.emp.aggregate( {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}})"""> db.emp.aggregate(... {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}}){ "_id" : 0, "name" : "pp", "hire_year" : 2017 }{ "_id" : 1, "name" : "ww", "hire_year" : 2015 }{ "_id" : 2, "name" : "ff", "hire_year" : 2013 }{ "_id" : 3, "name" : "wusir", "hire_year" : 2014 }{ "_id" : 4, "name" : "peiqi", "hire_year" : 2012 }{ "_id" : 5, "name" : "eva_jing", "hire_year" : 2011 }{ "_id" : 6, "name" : "shaowei", "hire_year" : 1900 }{ "_id" : 7, "name" : "gaylao", "hire_year" : 2010 }{ "_id" : 8, "name" : "歪歪", "hire_year" : 2015 }{ "_id" : 9, "name" : "丫丫", "hire_year" : 2010 }{ "_id" : 10, "name" : "丁丁", "hire_year" : 2011 }{ "_id" : 11, "name" : "星星", "hire_year" : 2016 }{ "_id" : 12, "name" : "格格", "hire_year" : 2017 }{ "_id" : 13, "name" : "张野", "hire_year" : 2016 }{ "_id" : 14, "name" : "程咬金", "hire_year" : 1997 }{ "_id" : 15, "name" : "程咬银", "hire_year" : 2013 }{ "_id" : 16, "name" : "程咬铜", "hire_year" : 2015 }{ "_id" : 17, "name" : "程咬铁", "hire_year" : 2014 }"""# 查看每个员工工作了多久db.emp.aggregate( {'$project':{'name':1,'hire_period':{ '$subtract':[ {'$year':new Date()}, {'$year':'$hire_date'}'''> db.emp.aggregate(... {'$project':{'name':1,'hire_period':{... '$subtract':[... {'$year':new Date()},... {'$year':'$hire_date'}... ]... }}}){ "_id" : 0, "name" : "pp", "hire_period" : 1 }{ "_id" : 1, "name" : "ww", "hire_period" : 3 }{ "_id" : 2, "name" : "ff", "hire_period" : 5 }{ "_id" : 3, "name" : "wusir", "hire_period" : 4 }{ "_id" : 4, "name" : "peiqi", "hire_period" : 6 }{ "_id" : 5, "name" : "eva_jing", "hire_period" : 7 }{ "_id" : 6, "name" : "shaowei", "hire_period" : 118 }{ "_id" : 7, "name" : "gaylao", "hire_period" : 8 }{ "_id" : 8, "name" : "歪歪", "hire_period" : 3 }{ "_id" : 9, "name" : "丫丫", "hire_period" : 8 }{ "_id" : 10, "name" : "丁丁", "hire_period" : 7 }{ "_id" : 11, "name" : "星星", "hire_period" : 2 }{ "_id" : 12, "name" : "格格", "hire_period" : 1 }{ "_id" : 13, "name" : "张野", "hire_period" : 2 }{ "_id" : 14, "name" : "程咬金", "hire_period" : 21 }{ "_id" : 15, "name" : "程咬银", "hire_period" : 5 }{ "_id" : 16, "name" : "程咬铜", "hire_period" : 3 }{ "_id" : 17, "name" : "程咬铁", "hire_period" : 4 }'''#4、字符串表达式# {"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]}# {"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接# {"$toLower":expr}# {"$toUpper":expr#5、逻辑表达式# $and# $or# $not# 其他见Mongodb权威指南################################################# $group 分组# {"$group":{"_id":分组字段,"新的字段名":聚合操作符}}#1、将分组字段传给$group函数的_id字段即可{"$group":{"_id":"$sex"}} #按照性别分组{"$group":{"_id":"$post"}} #按照职位分组{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组，比如按照州市分组#2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符：$sum、$avg、$max、$min、$first、$last#例1：select post,max(salary) from db1.emp group by post;db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})#例2：去每个部门最大薪资与最低薪资db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})#例3：如果字段是排序后的，那么$first,$last会很有用,比用$max和$min效率高db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})#例4：求每个部门的总工资db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})#例5：求每个部门的人数db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})#3、数组操作符{"$addToSet":expr}：不重复{"$push":expr}：重复# $addToSet和$push的区别# 该两者的功能都是给数组添加一个值。但是两者之间有区别，$addToSet要添加的值如果不存在才进行添加操作，但是push只添加一个值；例如:## tags = [“tools”,”garden”]## 如果执行db.collection.update({},{$push:{tag:tools}}) 结果就是 [“tools”,”garden”，“tools”]## 如果执行db.collection.update({},{$addToSet:{tag:tools}}) 结果不变#例：查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post;db.emp.aggregate({'$group':{'_id':'$post','names':{'$push':'$name'}}}) # GROUP_CONCAT函数返回一个字符串结果，该结果由分组中的值连接组合而成。"""> db.emp.aggregate({'$group':{'_id':'$post','names':{'$push':'$name'}}}){ "_id" : "sale", "names" : [ "歪歪", "丫丫", "丁丁", "星星", "格格" ] }{ "_id" : "operation", "names" : [ "张野", "程咬金", "程咬银", "程咬铜", "程咬铁" ] }{ "_id" : "teacher", "names" : [ "ww", "ff", "wusir", "peiqi", "eva_jing", "shaowei", "gaylao" ] }{ "_id" : "eat_god", "names" : [ "pp" ] }"""db.emp.aggregate({'$group':{'_id':'$post','names':{'$addToSet':'$name'}}})"""> db.emp.aggregate({'$group':{'_id':'$post','names':{'$addToSet':'$name'}}}){ "_id" : "sale", "names" : [ "星星", "丁丁", "格格", "丫丫", "歪歪" ] }{ "_id" : "operation", "names" : [ "程咬铜", "程咬铁", "程咬金", "程咬银", "张野" ] }{ "_id" : "teacher", "names" : [ "peiqi", "eva_jing", "shaowei", "wusir", "gaylao", "ff", "ww" ] }{ "_id" : "eat_god", "names" : [ "pp" ] }"""# ########################################## 排序：$sort、限制：$limit、跳过：$skip{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序{"$limit":n}{"$skip":n} #跳过多少个文档# 取平均工资最高的前两个部门db.emp.aggregate({ '$group':{'_id':'$post','平均工资':{'$avg':'$salary'}}}, {'$sort':{'平均工资':-1}}, {'$limit':2} )'''{ "_id" : "teacher", "平均工资" : 151842.90142857144 }{ "_id" : "operation", "平均工资" : 16800.026 }'''#跳过一个db.emp.aggregate( {'$group':{'_id':'$post','平均工资':{'$avg':'$salary'}}}, {'$sort':{'平均工资':-1}}, {'$limit':2}, {'$skip':1})# { "_id" : "operation", "平均工资" : 16800.026 }# ########################################### 随机 $sample##集合users包含的文档如下{ "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true }{ "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false }{ "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true }{ "_id" : 4, "name" : "li", "q1" : true, "q2" : false }{ "_id" : 5, "name" : "annT", "q1" : false, "q2" : true }{ "_id" : 6, "name" : "li", "q1" : true, "q2" : true }{ "_id" : 7, "name" : "ty", "q1" : false, "q2" : true }#下述操作时从users集合中随机选取3个文档# db.users.aggregate(# [ { $sample: { size: 3 } } ]# )#练习： 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个db.emp.aggregate( {'$group':{'_id':'$post','平均工资':{'$avg':'$salary'}}}, {'$match':{'平均工资':{'$gt':10000}}}, {'$sort':{'平均工资':-1}}, {'$limit':1})# { "_id" : "teacher", "平均工资" : 151842.90142857144 }

from pymongo import MongoClient#1、链接client=MongoClient('mongodb://root:123@localhost:27017/')# client = MongoClient('localhost', 27017)#2、use 数据库db=client['db2'] #等同于：client.db1#3、查看库下所有的集合print(db.collection_names(include_system_collections=False))#4、创建集合table_user=db['userinfo'] #等同于：db.user#5、插入文档import datetimeuser0={ "_id":1, "name":"ff", "birth":datetime.datetime.now(), "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'city':'BJ' }}user1={ "_id":2, "name":"pp", "birth":datetime.datetime.now(), "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'city':'weifang' }}# res=table_user.insert_many([user0,user1]).inserted_ids# print(res)# print(table_user.count())#6、查找# from pprint import pprint#格式化细# pprint(table_user.find_one())# for item in table_user.find():# pprint(item)# print(table_user.find_one({"_id":{"$gte":1},"name":'ff'}))#7、更新table_user.update({'_id':1},{'name':'FF'})#8、传入新的文档替换旧的文档table_user.save( { "_id":2, "name":'ff_xxx' })

爬虫最常用的存储库就是Mongodb。 因为它的存储效率比mysql要高。lxml这个解析器，容错性要高MongoDB 是数据库，非关系型数据库。关系型数据库：如果要存数据，要先设计表结构，每个字段要有自己的数据类型，并且表之间有关联的要建立关联。 表与表之间，如果关系建立太多。插入数据或者删除数据的时候，都要先操作被关联表。 这样两张表，就被强耦合在一块。 盲沟迪比MongeDB和。。。是非关系型数据库。 不用设计表，就是没有表结构，全都是key：value结构。 特点： i. 能让应用层干的事，就让应用层干。 1) 数据库更精简 2) 扩展性更强（扩展应用程序永远比扩展数据库要简单的多。） ii. 本片文章中那张图 iii. 不需要创建表。 iv. 关系型里面的字段 就对应 非关的key 你要管理哪个库，就要在哪个库下面创建账号 use adim # 进入到admin db db.createUser ： 当前的库。 在mongodb里面，没有数据库被和表的命令，只有直接查数据的命令。关于数据库： 造数据库： use ： 如有，就进入。 如果没有，就创建。 1：有数据就显示。 2：没有数据，就不显示。但是已经创建。 增： use db1 改： 有表结构的概念，才会有改这个操作。 在mongodb里面，都没有表这个东西，哪来的表操作 mongodb表的概念其实就是 一个命名空间的概念。mongodb类型： a. 是基于json类型，又加了几种： i. 日期 1) new Date() 当前时间 ii. 正则 1) //数据集中在一台机器上 （纵向扩展）： 机器一旦出故障了，你就boomshakalaka了。 ○ 安全性差 ○ 计算速度慢把本来一个数据库应该干的事，分布出去。但是大家干的还是一件事。这就减小压力，并且不怕单击boom。如果两个用户，同时修改同一条数据： - 对于mysql来说，是通过加锁时间的。 - 在MongoDB如何保证： ○ ObjectId