1.
背景
mongoDB版本1.8.1
collection stats
|
> db.user.gift.stats()
{
"ns" : "statgame.user.gift",
"count" : 650,
"size" : 162804,
"avgObjSize" : 250.46769230769232,
"storageSize" : 696320,
"numExtents" : 4,
"nindexes" : 3,
"lastExtentSize" : 524288,
"paddingFactor" : 1.0099999999999576,
"flags" : 1,
"totalIndexSize" : 180224,
"indexSizes" : {
"_id_" : 40960,
"day_1_userId_1_fromId_1_sceneId_1" : 81920,
"idx_modified_time_long" : 57344
},
"ok" : 1
}
|
indexes
|
> db.user.gift.getIndexes()
[
{
"name" :
"_id_",
"ns" :
"statgame.user.gift",
"key" : {
"_id" : 1
}
},
{
"name" :
"day_1_userId_1_fromId_1_sceneId_1",
"ns" :
"statgame.user.gift",
"unique" : true,
"key" : {
"day" : 1,
"userId" :
1,
"fromId" :
1,
"sceneId" :
1
}
},
{
"name" :
"idx_modified_time_long",
"ns" :
"statgame.user.gift",
"key" : {
"modifiedTimeLong" : -1
}
}
]
|
stored data的结构
|
> db.user.gift.find().limit(1)
{ "_id" :
ObjectId("4dad7840c8b4ebc1064a1f25"), "day" :
ISODate("2011-04-18T16:00:00Z"), "earnMoney" :
NumberLong(18), "earnTimes" : NumberLong(1), "fromId" :
NumberLong(17441), "modifiedTimeLong" :
NumberLong("1303214144458"), "receiveMoney" :
NumberLong(30), "receiveTimes" : NumberLong(1), "sceneId"
: NumberLong("216172782113787850"), "userId" :
NumberLong(4037) }
|
2．在shell查询时不小心将sceneId的值直接输入了，mongoDB认为shell输入的都是double类型，而sceneId是长整型。216172782113787850为58bit。
|
db.user.gift.find({$query:{day:{$gte:new
Date(2011,03,05),$lte:new Date()}, sceneId:216172782113787850},
$orderby:{day:-1}})
|
这时这个查询会被block住。查看currentOp的执行情况。
|
> db.currentOp()
{
"inprog" : [
{
"opid" :
756,
"active" :
true,
"lockType"
: "read",
"waitingForLock" : false,
"secs_running" : 597,
"op" :
"query",
"ns" :
"statgame.user.gift",
"query" : {
"$query" : {
"day" : {
"$gte" : ISODate("2011-04-04T16:00:00Z"),
"$lte" : ISODate("2011-04-25T03:22:09.948Z")
},
"sceneId" :
216172782113787840
},
"$orderby" : {
"day" : -1
}
},
"client" :
"127.0.0.1:58166",
"desc" :
"conn"
}
]
}
|
用top看系统资源使用情况：
|
top - 11:34:04 up 2:57,
6 users, load average: 1.67,
1.13, 0.64
Tasks: 145 total, 3 running, 141 sleeping, 1 stopped, 0 zombie
Cpu(s): 50.2%us, 0.2%sy,
0.0%ni, 49.6%id, 0.0%wa, 0.0%hi,
0.0%si, 0.0%st
Mem:
4048136k total, 2092240k
used, 1955896k free, 213088k buffers
Swap:
3068404k total, 0k
used, 3068404k free, 936064k cached
PID USER PR NI
VIRT RES SHR S %CPU %MEM TIME+
COMMAND
3527 root 15
0 333m 21m
20m R 99.6 0.5
12:58.16 mongod
7050 root 19
0 1604m 655m 8512 S 2.3
16.6 2:53.05 java
|
占CPU接近100%，泪奔。
使用new NumberLong(“sceneId”)来查询，没有问题
|
>
db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()},
sceneId:new
NumberLong("216172782113787850")},$orderby:{day:-1}})
{ "_id" :
ObjectId("4db00226c8b4ebc1064a8b76"), "day" :
ISODate("2011-04-19T16:00:00Z"), "earnMoney" :
NumberLong(0), "earnTimes" : NumberLong(0), "fromId" : NumberLong(4124),
"modifiedTimeLong" : NumberLong("1303380518261"),
"receiveMoney" : NumberLong(50), "receiveTimes" :
NumberLong(1), "sceneId" :
NumberLong("216172782113787850"), "userId" :
NumberLong(4124) }
{ "_id" :
ObjectId("4db00226c8b4ebc1064a8b75"), "day" :
ISODate("2011-04-19T16:00:00Z"), "earnMoney" :
NumberLong(1005), "earnTimes" : NumberLong(113), "fromId"
: NumberLong(4042), "modifiedTimeLong" :
NumberLong("1303380518320"), "receiveMoney" :
NumberLong(3350), "receiveTimes" : NumberLong(113), "sceneId"
: NumberLong("216172782113787850"), "userId" :
NumberLong(4124) }
………………..
|
将userId的值直接输入查询，userId目前小于4字节。没有问题。4字节整数是可以输入直接查询的。
|
>
db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()},
userId:4124},$orderby:{day:-1}})
{ "_id" :
ObjectId("4db0021cc8b4ebc1064a86f3"), "day" :
ISODate("2011-04-20T16:00:00Z"), "earnMoney" :
NumberLong(1503), "earnTimes" : NumberLong(167), "fromId"
: NumberLong(4042), "modifiedTimeLong" :
NumberLong("1303380509069"), "receiveMoney" :
NumberLong(5010), "receiveTimes" : NumberLong(167),
"sceneId" : NumberLong("792633972503933553"),
"userId" : NumberLong(4124) }
{ "_id" :
ObjectId("4db00226c8b4ebc1064a8b76"), "day" :
ISODate("2011-04-19T16:00:00Z"), "earnMoney" :
NumberLong(0), "earnTimes" : NumberLong(0), "fromId" :
NumberLong(4124), "modifiedTimeLong" :
NumberLong("1303380518261"), "receiveMoney" :
NumberLong(50), "receiveTimes" : NumberLong(1), "sceneId"
: NumberLong("216172782113787850"), "userId" :
NumberLong(4124) }
{ "_id" :
ObjectId("4db00226c8b4ebc1064a8b75"), "day" :
ISODate("2011-04-19T16:00:00Z"), "earnMoney" :
NumberLong(1005), "earnTimes" : NumberLong(113), "fromId"
: NumberLong(4042), "modifiedTimeLong" :
NumberLong("1303380518320"), "receiveMoney" :
NumberLong(3350), "receiveTimes" : NumberLong(113),
"sceneId" : NumberLong("216172782113787850"),
"userId" : NumberLong(4124) }
………………….
|
浮点数一般用52bit的数表示精度，所以52bit的整型应该都没关系。
3.继续检查查询的哪步操作使得它block住了。
不用索引：dropIndex，或者查询时去掉day，用216172782113787850值可以查到。
|
> db.user.gift.find({sceneId:216172782113787850})
{ "cursor" :
"BasicCursor", "nscanned" : 650,
"nscannedObjects" : 650, "n" : 0, "millis" : 0,
"nYields" : 0, "nChunkSkips" : 0, "isMultiKey"
: false, "indexOnly" : false, "indexBounds" : { },
"allPlans" : [ { "cursor" : "BasicCursor",
"indexBounds" : { } } ], "oldPlan" : { "cursor"
: "BasicCursor", "indexBounds" : { } } }
>
db.user.gift.find({$query:{sceneId:new NumberLong(216172782113787850)},
$explain:true})
{ "cursor" :
"BasicCursor", "nscanned" : 650, "nscannedObjects"
: 650, "n" : 0, "millis" : 0, "nYields" : 0,
"nChunkSkips" : 0, "isMultiKey" : false,
"indexOnly" : false, "indexBounds" : { },
"allPlans" : [ { "cursor" : "BasicCursor",
"indexBounds" : { } } ], "oldPlan" : { "cursor"
: "BasicCursor", "indexBounds" : { } } }
>
db.user.gift.find({sceneId:216172782113787850}})
Mon Apr 25 13:55:47 SyntaxError: missing
) after argument list (shell):1
> db.user.gift.find({sceneId:216172782113787850})
{ "_id" :
ObjectId("4dad7840c8b4ebc1064a1f26"), "day" :
ISODate("2011-04-18T16:00:00Z"), "earnMoney" :
NumberLong(4218), "earnTimes" : NumberLong(35), "fromId"
: NumberLong(262), "modifiedTimeLong" :
NumberLong("1303214144775"), "receiveMoney" :
NumberLong(10505), "receiveTimes" : NumberLong(35),
"sceneId" : NumberLong("216172782113787850"),
"userId" : NumberLong(4042)
………………….
|
看样子在做全表扫描时，mongoDB将每行NumberLong转成了double和sceneId的值进行了比较。
不用orderby：用216172782113787850值可以查到，
|
>
db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()},
sceneId:216172782113787850}})
|
用916172782113787850查，不存在也不会死
|
>
db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()},sceneId:
916172782113787850},$orderby:{day:-1}})
|
4.java端
java端使用时不会出现问题，java
driver会将long型转换成NumberLong查询
5总结
看样子block是由于orderby+索引+NumberLong用double值引起的。为什么呢？查不到应该也不至于block住，应该是mongoDB用索引查询时的问题。
分享到：
相关推荐
基于MongoDB JSON的查询方法和字段限制 11.3.4。基于JSON的SpEL表达式查询 11.3.5。类型安全的查询方法 11.3.6。全文搜索查询 11.3.7。预测 11.4。杂 11.4.1。CDI集成 12.反应性MongoDB存储库 12.1。介绍 12.2。活性...
MongoDB中的分布式锁 该软件包提供了一个Go客户端，用于在MongoDB中创建分布式锁。 设置 使用“ go get”安装软件包。 go get "github.com/square/mongo-lock" 为了使用它，您必须有一个运行有可用于存储锁的集合...
db.eval可以用来模拟多文档事务:db.eval锁住数据库,然后执行javascript,再解锁.虽然没有内置的回滚机制,但这能确保一系列操作按照指定的数序发生. 发送代码有两种方式,封装一个函数或者不封装,如: 代码如下:
Iridium尝试采用一种难以置信的轻量级实现，而不是采用Mongoose和其朋友之类的ODM经常喜欢的“重新实现一切”方法，而是要求您学习全新的API并将您锁定为特定的编码样式，当您想做任何更复杂的事情时，它会变得很...
JFinal_MongoDB_Shiro_Demo部署* 配置 jfinal.properties* 运行 clean compile jetty:run* 访问 http://localhost/初始用户* 访问任意地址即可初始化用户 * 管理员： admin 密码123456 * 普通用户: user 密码123456...
这个Ansible角色将安装和锁定MongoDB v3.0 +的基本设置 角色变量 db_admin要创建的管理员用户名。 默认值：“ vagrant” db_pass —管理员用户的密码。 默认值：“ vagrant” mongodb_version要安装的MongoDB版本...
此并行程序使用细粒度记录锁定对 MongoDB 文档执行原子事务。 同步基于 Tera MTA 风格的 Full/Empty 内存语义和访问原语（readFE、writeEF），并且状态存储在 {full_empty:'empty'} 属性中（没有该属性意味着已满）...
开发人员可以正常处理对象和类，Hydrate负责繁琐的细节，例如将类序列化到文档，验证，类继承映射，乐观锁定，获取数据库集合之间的引用，更改跟踪以及通过批量管理持久性操作。 Hydrate受到其他项目（包括 ， 和 ...
实现是幼稚的，并且不强制执行锁定，而Mongo仅在文档级别上支持该锁定。 它尚未在生产中经过测试，性能特性未知。 有关经过验证的不可变数据库，请参见 。原料药createOne 将版本化的文档插入数据库，该数据库可以...
这旨在显示一些工作示例-一个Java工具，可帮助您管理MongoDB中的更改并将其与应用程序同步。 该概念与其他数据库迁移工具（例如Liquibase或Flyway）非常相似，但不使用XML / JSON / YML文件。 请注意，索引是在后台...
Trackoid Trackoid是专门用于MongoDB的分析跟踪系统，使用Mongoid作为ORM。 重要升级信息 Trackoid版本0.4.0已更新为可与Mongoid 3一起使用。... 如果您在使用Ruby 1.9.3时遇到问题，或者不使用Mongoid 3.
#使用 Express 4、MongoDB、AngularJS 和 JWT Auth 的全栈样板 ###（可能）工作功能的高级列表： 用户注册、登录、密码重置功能 密码重置和帐户注册的电子邮件确认 非常基本的用户管理（添加/删除用户、锁定帐户、...
使用MEVN Stack（Node.js，Express.js，Vue.js，MongoDB）构建时会考虑开发人员友好性和云集成。 之前曾为Veniqa纽约初创公司提供动力。 ⇨在全球Github趋势项目中排名第一（02/23/2020） ⇨被列为HackerNews的＃1...
Attrition 处理进程之间的任务锁定，因此您可以运行多个工作服务实例，任务在超时（默认 15 分钟）后解锁。 其工作函数引发错误的任务保留在队列中并被阻止，之后需要手动干预。 这里的目标是不应该丢失任何任务。...
SPMEAN SharePoint 和 MEAN Stack 演示项目###执行以下命令git clone yourWebApp cd yourWebApp 安装由于超时或锁定问题，您可能需要执行两次 npm install 上述命令将克隆（副本）演示 NodeJS 项目的当前主分支。...
gridfs-locks gridfs-locks实现了基于分布式，专门用于使 MongoDB 的文件存储。 它是一个建立在之上的 ，并且兼容原生的实现。 注意：如果您使用并需要此包的锁定功能（并且您可能这样做...请参阅本自述文件底部的...
将每个问题的答案写入mongodb 样式并通过 node.js/express.js 在本地显示答案 用 wkhtmltopdf 生成 pdf 请注意，此 pdf 中有锁定问题的答案。 原因是虽然问题已锁定，但问题的讨论却没有。 笔记 文档中的所有答案均...
我在锁定期间创建了这个网站，您输入您的兴趣以及您想要的任何消息或信息。该网站会检查数据库，以查找对您影响最大的人，并在其中显示消息。 在检查它。如果使用random选项，您将从数据库中获得一个随机值。
鲜花的展示（这个主要 是用到了webservice技术来调用了一组的鲜花展示接口，关于webservice的技术我还在练习阶段，并没有很深的研究，我在使用的过程中也遇到了一点小问题，不过最终还是被克服了，1.先是加入...
Portal 已经使用并稳定了很长时间，现在是时候考虑实现 v2，v1 分支可能包含错误修复和一些更小的功能，但通常会被锁定。 MVC 启发了 NodeJS Web 服务器 + Api 平台，用于在多个域名上托管多个网站包，旨在扩展多...