mongodb的join操作简析

来源:未知 责任编辑:责任编辑 发表时间:2013-11-17 14:41 点击:

 众所周知,mongodb是不支持join操作的,因此我们只能自己来实现这个功能。前段时间,我遇到这个一个业务场景:
     collection A 的数据格式:
{ "_id" : { "username" : "jifeng.zjd", "version" : 2 }, "value" : 1 }
     collection B 的数据格式:  www.2cto.com  
{ "user_id" : 12630, "username" : "jifeng.zjd" }
 
     A表的数据量为2w,B表的数据量为25w。为了说明简单,我简化下需求,就是计算A._id.username = B.username 的B表中的用户数据,也就是求A和B的交集。没有join,怎么办呢?
 
     相信大家都应该有自己的解答了,由于A表的数据量相对于B表来讲是少的,所以可以先取出A表的所有数据,然后去B表查询,看那些数据同时存在于A和B表中。当然在mongodb中对A和B建立适当的索引是非常必要的。我采用的方法是对B表的username字段进行索引。
如对mongodb索引不了解,可以参见视频教程《mongoDB的索引使用及索引机制》(http://blog.nosqlfan.com/html/758.html)一文。
     这里我使用的语言是nodejs,node_module采用的mongoskin,我刚开始写了一个简单的实现:
db.A.find({}, {}, function(err, adata){
  if (err) return callback(err);
  //得到A表中的所有数据
  adata.toArray(function(err, aArray){
    if (err) return callback(err);
    var len = aArray.length;
    var result = [];
    for (var i = 0; i < len; i++) {
      var item = aArray[i];
      var username = item._id.username;
      var op = {username: username};
      //查看B表中这条数据
      db.B.findOne(op, {}, function(err, data){
        allcount++;  www.2cto.com  
        if (data) {
          result.push(data.username); 
        }
        if (allcount === len) {
          callback(null, result); 
        } 
      })
    }
  })
})
      这段代码是能满足业务需求,但大家有没有发现它存在一个致命的问题?对,运行速度慢!
 
      原因很简单,我是从A表中批量取到所有数据,然后又用findOne方法一条条去B表中查询,A表中有2w数据,也就是要查B表2w次,虽然B表中已经建立索引,但这样的查询逻辑明显是不可接受。
知道问题所在,解决方案也就清楚了:对B表进行批量查询:
db.A.find({}, {}, function(err, adata){
  if (err) return callback(err);
  //得到A表中的所有数据
  adata.toArray(function(err, aArray){
    if (err) return callback(err);
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码:点击我更换图片
最新评论 更多>>

推荐热点

  • Request.ServerVariables 参数大全
  • 执行全文索引时出现权限不足的解决方法
  • 导入excel文件处理流程节点的解决方案
  • 查看sql修改痕迹(SQL Change Tracking on Table)
  • MongoDB安装为Windows服务方法与注意事项
  • App数据层设计及云存储使用指南
  • PostgreSQL启动过程中的那些事三:加载GUC参数
  • 写给MongoDB开发者的50条建议Tip1
  • Percolator与分布式事务思考(二)
网站首页 - 友情链接 - 网站地图 - TAG标签 - RSS订阅 - 内容搜索
Copyright © 2008-2015 计算机技术学习交流网. 版权所有

豫ICP备11007008号-1