1亿条记录的MongoDB数据库随机查询性能测试

mongdb性能压力测试,随机查询,数据量1亿条记录

操作系统centos6.4x64位

从测试结果看,当mongodb将数据全部载入到内存后,查询速度根据文档的大小,性能瓶颈通常会是在网络流量和CPU的处理性能(该次测试中当数据全部在内存后,纯粹的查询速度可以稳定在10W/S左右,系统load可以维持在1以下,由于此时CPU已经被使用到极限了,当并发再大时load值会直线飙升,性能急剧下降)。

压力生成服务器与Mongodb服务器基本配置

cpu型号:Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz

内存:64G

硬盘:10K转速 6块做RAID0,raid卡cache 1G(磁盘的IO性能决定MONGODB将非热点数据载入到内存的速度,当热点数据全部在内存后,IO性能可以忽略)

网卡速度:接入千兆交互机,速度1000MB

数据结构,user_id为索引键值为0-99999999,数据总大小约37G左右,全部载入内存后约32G

> db.thing.findOne();

{

"_id" : ObjectId("51fd6830c6db9d15676f89ef"),

"ip" : "192.168.168.254",

"g_roup" : "kiwi",

"mac" : "of:fd:67:8c:2f:8f",

"address" : "hongmei1801num",

"user_id" : 10000000,

"name" : "user10000000",

"title" : "system",

"database" : "mongodb",

"telphone" : NumberLong("15718441234"),

"mail" : "yj@chinapnr.com",

"os" : "win7",

"company" : "chinapnr"

}

压力生成脚本开启40个进程,并发随机查询

[root@mdb-166 app]# cat mselectmongodb.py

import time,pymongo,multiprocessing,random,string

class SqlToMongo:

def m_sql(self,x,y):

server="mongodb://python:oracle@192.168.4.167:27017/syslog"

conn=pymongo.Connection(server)

db=conn.syslog

col=db.thing

start=x*y

end=start+x

for i in xrange(start,end):

d=random.randint(start,end)

val=col.find({"user_id":d})

a=list(val)

def gen_load(x,taskid):

task=SqlToMongo()

print "task %s start!" % taskid

task.m_sql(x,taskid)

if __name__ == "__main__":

inser_number=2500000

pro_pool = multiprocessing.Pool(processes=101)

print time.strftime('%Y-%m-%d:%H-%M-%S',time.localtime(time.time()))

start_time=time.time()

manager = multiprocessing.Manager()

for i in xrange(40):

taskid=i

pro_pool.apply_async(gen_load,args=(inser_number,taskid))

pro_pool.close()

pro_pool.join()

elapsed = time.time()-start_time

print elapsed

time.sleep(1)

print "Sub-process(es) done."

压力生成服务器负载,同时开启80个并发时抗不住了

top - 17:12:59 up 2 days,  7:34,  4 users,  load average: 35.87, 29.41, 18.16

Tasks: 487 total,  64 running, 423 sleeping,   0 stopped,   0 zombie

Cpu0  : 88.1%us, 10.6%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu1  : 87.7%us, 10.9%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu2  : 87.7%us, 11.0%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu3  : 88.0%us, 10.3%sy,  0.0%ni,  1.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu4  : 87.7%us, 11.0%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu5  : 88.7%us,  9.9%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu6  : 40.2%us,  3.3%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi, 56.1%si,  0.0%st

Cpu7  : 89.7%us,  8.9%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu8  : 88.1%us, 10.6%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu9  : 89.7%us,  9.3%sy,  0.0%ni,  1.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu10 : 88.7%us,  9.9%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu11 : 88.4%us, 10.2%sy,  0.0%ni,  1.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:  65909128k total,  5409148k used, 60499980k free,    90680k buffers

Swap:  8388600k total,        0k used,  8388600k free,  4392420k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

13342 root      20   0  178m 9056 1480 R 15.9  0.0   5:15.79 python mselectmongodb.py

13430 root      20   0  178m 8976 1468 R 15.9  0.0   3:05.26 python mselectmongodb.py

13321 root      20   0  178m 9000 1464 R 15.6  0.0   5:17.26 python mselectmongodb.py

........

13311 root      20   0  178m 8980 1464 R 14.9  0.0   5:21.70 python mselectmongodb.py

系统负载,

[root@mdb-167 ~]# top

并发进程80的系统负载

[root@mdb-167 ~]# top

top - 17:08:33 up  4:49,  5 users,  load average: 0.00, 0.00, 1.05

Tasks: 287 total,   2 running, 285 sleeping,   0 stopped,   0 zombie

Cpu0  : 60.1%us, 31.4%sy,  0.0%ni,  8.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu1  : 57.8%us, 33.0%sy,  0.0%ni,  9.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu2  : 58.4%us, 31.4%sy,  0.0%ni, 10.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu3  : 54.8%us, 33.9%sy,  0.0%ni, 11.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu4  : 55.8%us, 31.8%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu5  : 53.4%us, 32.9%sy,  0.0%ni, 13.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu6  : 31.4%us, 12.7%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi, 55.9%si,  0.0%st

Cpu7  : 61.0%us, 31.7%sy,  0.0%ni,  7.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu8  : 59.7%us, 32.3%sy,  0.0%ni,  8.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu9  : 59.0%us, 32.4%sy,  0.0%ni,  8.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu10 : 59.4%us, 31.4%sy,  0.0%ni,  9.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu11 : 57.8%us, 32.1%sy,  0.0%ni, 10.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:  65909128k total, 34281160k used, 31627968k free,    50416k buffers

Swap:  8388600k total,        0k used,  8388600k free, 33502796k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

2924 mdb       20   0 80.7g  31g  31g S 1092.6 50.7 458:42.39 /app/mongodb/bin/mongod -f /app/mongodb/etc/mdb.conf

1967 root      20   0     0    0    0 S  0.3  0.0   0:05.40 [kondemand/6]

1996 root      20   0 10964  720  432 S  0.3  0.0   0:05.12 irqbalance

3045 mdb       20   0 84500  38m 7076 S  0.3  0.1   0:01.99 mongostat -h 127.0.0.1 --port 27017 -u root -p xxxxx

mongstat监控

insert  query update delete getmore command flushes mapped  vsize    res faults    locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0  92408     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    20|0     5m    28m    82   17:08:32

*0  92827     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    19|0     5m    28m    82   17:08:33

.......

*0  93717     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    25|0     5m    28m    82   17:08:38

*0  92193     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      0  syslog:0.1%          0       1|0    11|0     5m    28m    82   17:08:39

*0  92250     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    25|0     5m    28m    82   17:08:40

*0  93790     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       1|0    16|0     5m    28m    82   17:08:41

网络流量

[root@mdb-167 app]# ./check_netflow.py -l 1 -i p1p1 -t 1

IN 1 seconds network transmit and receive average(KB)

transmit=34101,receive=11370

transmit=34354,receive=11452

.....

transmit=33957,receive=11322

transmit=34045,receive=11353

transmit=34244,receive=11416

磁盘IO

[root@mdb-167 ~]# tail -f mselectmongodb

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     7.00    0.00    4.00     0.00    48.00    24.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

.....

sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     7.00    0.00    5.00     0.00    48.00    19.20     0.00    0.00   0.00   0.00

二、并发进程达到120的时候系统负载(由于CPU的处理能力,系统已经无法承受)

top - 16:57:57 up  3:47,  5 users,  load average: 58.18, 30.82, 16.40

Tasks: 288 total,   1 running, 287 sleeping,   0 stopped,   0 zombie

Cpu0  : 59.6%us, 40.2%sy,  0.0%ni,  0.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu1  : 59.3%us, 40.5%sy,  0.0%ni,  0.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu2  : 59.0%us, 40.8%sy,  0.0%ni,  0.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu3  : 58.7%us, 41.0%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu4  : 58.8%us, 40.9%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu5  : 58.8%us, 40.9%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu6  : 27.2%us, 13.1%sy,  0.0%ni,  0.1%id,  0.0%wa,  0.0%hi, 59.6%si,  0.0%st

Cpu7  : 60.5%us, 39.3%sy,  0.0%ni,  0.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu8  : 60.2%us, 39.5%sy,  0.0%ni,  0.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu9  : 59.8%us, 39.9%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu10 : 59.5%us, 40.2%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu11 : 59.4%us, 40.4%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:  65909128k total, 34278248k used, 31630880k free,    45652k buffers

Swap:  8388600k total,        0k used,  8388600k free, 33501056k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

2924 mdb       20   0 80.7g  31g  31g S 1193.2 50.4 165:06.51 /app/mongodb/bin/mongod -f /app/mongodb/etc/mdb.conf

mongstat监控

insert  query update delete getmore command flushes mapped  vsize    res faults    locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0 103334     *0     *0       0     1|0       0  40.1g  80.7g  31.7g      0  syslog:0.1%          0       0|0    56|0     6m    31m   122   16:55:19

*0 103299     *0     *0       0     3|0       0  40.1g  80.7g  31.7g      0  syslog:0.0%          0       0|0    55|0     6m    31m   122   16:55:20

......

*0 102858     *0     *0       0     3|0       0  40.1g  80.7g  31.7g      0  syslog:0.0%          0       0|0    66|0     6m    31m   122   16:55:26

*0 103201     *0     *0       0     1|0       0  40.1g  80.7g  31.7g      0  syslog:0.0%          0       0|0    60|0     6m    31m   122   16:55:27

*0 102381     *0     *0       0     3|0       0  40.1g  80.7g  31.7g      0  syslog:0.1%          0       1|0    89|0     6m    31m   122   16:55:28

磁盘IO

[root@mdb-167 ~]# tail -f mselectmongodb

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     7.00    0.00    4.00     0.00    48.00    24.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

.....

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00     7.00    0.00    5.00     0.00    48.00    19.20     0.00    0.00   0.00   0.00

网络流量

transmit=37567,receive=12525

......

transmit=37691,receive=12568

transmit=37592,receive=12534

transmit=37480,receive=12498

以下是mongodb从测试开始时的查询速度变化过程,当数据逐步载入内存后,查询速度也在逐步提高,大约会花费了20分钟将所有数据载入到了内存。

[mdb@mdb-167 ~]$ more  mselectmongodb

connected to: 127.0.0.1:27017

insert  query update delete getmore command flushes mapped  vsize    res faults   locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0    679     *0     *0       0     1|0       0  40.1g  80.6g   494m    671 syslog:1.0%          0       0|0     0|0    40k   213k    42   16:37:16

*0    562     *0     *0       0     3|0       0  40.1g  80.6g   500m    625 syslog:0.9%          0      36|0     2|0    33k   176k    42   16:37:17

..........

*0    626     *0     *0       0     1|0       0  40.1g  80.6g   550m    667 syslog:1.0%          0      36|0     1|0    36k   196k    42   16:37:24

*0    649     *0     *0       0     3|0       1  40.1g  80.6g   557m    671 syslog:0.9%          0      35|0     1|0    38k   202k    42   16:37:25

insert  query update delete getmore command flushes mapped  vsize    res faults   locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0    706     *0     *0       0     1|0       0  40.1g  80.6g   565m    709 syslog:1.0%          0      39|0     1|0    41k   221k    42   16:37:26

..........

*0    992     *0     *0       0     1|0       0  40.1g  80.6g   954m    751 syslog:1.1%          0       0|0     1|0    58k   309k    42   16:38:12

*0    942     *0     *0       0     3|0       0  40.1g  80.6g   964m    759 syslog:0.9%          0       0|0     0|0    55k   294k    42   16:38:13

*0   1026     *0     *0       0     1|0       0  40.1g  80.6g   974m    813 syslog:0.8%          0       0|0     0|0    60k   319k    42   16:38:14

*0   1062     *0     *0       0     3|0       0  40.1g  80.6g   985m    826 syslog:0.8%          0       0|0     0|0    62k   331k    42   16:38:15

*0   1044     *0     *0       0     1|0       0  40.1g  80.6g   995m    800 syslog:0.9%          0       0|0     0|0    61k   325k    42   16:38:16

insert  query update delete getmore command flushes mapped  vsize    res faults   locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0   1005     *0     *0       0     3|0       0  40.1g  80.6g  1005m    785 syslog:0.7%          0      30|0     1|0    59k   313k    42   16:38:17

*0   1008     *0     *0       0     1|0       0  40.1g  80.6g  1015m    737 syslog:0.9%          0       0|0     1|0    59k   314k    42   16:38:18

*0   1137     *0     *0       0     3|0       0  40.1g  80.6g     1g    853 syslog:0.7%          0       0|0     0|0    67k   354k    42   16:38:19

*0    993     *0     *0       0     1|0       0  40.1g  80.6g  1.01g    768 syslog:0.9%          0       0|0     0|0    58k   310k    42   16:38:20

*0   1114     *0     *0       0     3|0       0  40.1g  80.6g  1.02g    811 syslog:1.0%          0       0|0     0|0    65k   346k    42   16:38:21

*0   1001     *0     *0       0     1|0       0  40.1g  80.6g  1.03g    744 syslog:1.0%          0      10|0     1|0    59k   312k    42   16:38:22

..........

*0   1892     *0     *0       0     1|0       0  40.1g  80.6g  2.03g    900 syslog:0.7%          0       1|0     1|0   111k   587k    42   16:39:44

*0   1881     *0     *0       0     3|0       0  40.1g  80.6g  2.04g    894 syslog:0.7%          0       0|0     0|0   111k   583k    42   16:39:45

*0   1927     *0     *0       0     1|0       0  40.1g  80.6g  2.06g    902 syslog:0.8%          0       0|0     0|0   113k   598k    42   16:39:46

insert  query update delete getmore command flushes mapped  vsize    res faults   locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0   1950     *0     *0       0     3|0       0  40.1g  80.6g  2.07g    912 syslog:0.6%          0      37|0     1|0   115k   605k    42   16:39:47

*0   2086     *0     *0       0     1|0       0  40.1g  80.6g  2.09g    901 syslog:0.8%          0       0|0     1|0   123k   647k    42   16:39:48

*0   1774     *0     *0       0     3|0       0  40.1g  80.6g   2.1g    846 syslog:0.8%          0       0|0     0|0   105k   551k    42   16:39:49

.......

*0   2589     *0     *0       0     1|0       0  40.1g  80.6g  2.56g    933  syslog:0.8%          0       0|0     1|0   152k   803k    42   16:40:18

*0   2289     *0     *0       0     3|0       0  40.1g  80.6g  2.58g    849  syslog:0.9%          0       0|0     0|0   135k   710k    42   16:40:19

*0   2523     *0     *0       0     1|0       0  40.1g  80.6g  2.59g    930  syslog:0.7%          0       0|0     0|0   148k   781k    42   16:40:20

*0   2636     *0     *0       0     3|0       0  40.1g  80.6g  2.61g    878  syslog:0.8%          0       0|0     1|0   155k   817k    42   16:40:21

*0   2509     *0     *0       0     1|0       0  40.1g  80.6g  2.63g    889  syslog:0.7%          0       0|0     1|0   148k   777k    42   16:40:22

*0   2637     *0     *0       0     3|0       0  40.1g  80.6g  2.65g    916  syslog:0.7%          0       0|0     0|0   155k   817k    42   16:40:23

*0   2575     *0     *0       0     1|0       0  40.1g  80.6g  2.67g    911  syslog:0.8%          0       0|0     0|0   151k   798k    42   16:40:24

*0   2516     *0     *0       0     3|0       1  40.1g  80.6g  2.68g    873  syslog:6.5%          0      16|0     0|0   148k   779k    42   16:40:25

*0   2498     *0     *0       0     1|0       0  40.1g  80.6g   2.7g    879  syslog:0.8%          0       0|0     0|0   147k   774k    42   16:40:26

insert  query update delete getmore command flushes mapped  vsize    res faults    locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0   2536     *0     *0       0     3|0       0  40.1g  80.6g  2.72g    872  syslog:0.7%          0       0|0     0|0   149k   786k    42   16:40:27

*0   2826     *0     *0       0     1|0       0  40.1g  80.6g  2.74g    959  syslog:0.8%          0       0|0     1|0   166k   876k    42   16:40:28

*0   2676     *0     *0       0     3|0       0  40.1g  80.6g  2.75g    925  syslog:0.8%          0       0|0     0|0   158k   829k    42   16:40:29

.......

*0   8934     *0     *0       0     1|0       0  40.1g  80.6g  4.85g   1088  syslog:0.6%          0       0|0     1|0   527k     2m    42   16:41:50

*0   9583     *0     *0       0     3|0       0  40.1g  80.6g  4.89g   1161  syslog:0.6%          0       0|0     2|0   565k     2m    42   16:41:51

*0   8982     *0     *0       0     1|0       0  40.1g  80.6g  4.93g   1107  syslog:0.6%          0      23|0     3|0   530k     2m    42   16:41:52

*0   9950     *0     *0       0     3|0       0  40.1g  80.6g  4.97g   1067  syslog:0.5%          0       0|0     0|0   587k     3m    42   16:41:53

*0   9580     *0     *0       0     1|0       1  40.1g  80.6g  5.01g   1084  syslog:0.7%          0       0|0     1|0   565k     2m    42   16:41:54

.......

*0  92475     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      1  syslog:0.0%          0       0|0    18|0     5m    28m    82   16:53:28

insert  query update delete getmore command flushes mapped  vsize    res faults    locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time

*0  92832     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    19|0     5m    28m    82   16:53:29

*0  92077     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       0|0    12|0     5m    28m    82   16:53:30

*0  93296     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.1%          0       0|0    18|0     5m    28m    82   16:53:31

*0  91269     *0     *0       0     3|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%          0       1|0    10|0     5m    28m    82   16:53:32

*0  93878     *0     *0       0     1|0       0  40.1g  80.7g  31.9g      0  syslog:0.0%

时间: 2013-12-18

mongodb实现同库联表查询方法示例

前言 最近在工作中遇到一个问题,需要对mongodb数据库进行联表查询操作,发现网上这方面的资料较少,无奈只能自己来实现了,下面话不多说了,来一起看看详细的介绍: 注意:这里只对同库联表查询做介绍,跨库联表查询可能在之后也会介绍(因为公司架构变动,之后可能会联表查询) 我用到的联表查询有两种,一种是mongoose的populate,一种是$lookup 一.populate populate是使用外键关联子表 例如现在有一张订单表结构(动态外键): var orderSchema = new

Mongodb实现的关联表查询功能【population方法】

本文实例讲述了Mongodb实现的关联表查询功能.分享给大家供大家参考,具体如下: Population MongoDB是非关联数据库.但是有时候我们还是想引用其它的文档.这就是population的用武之地. Population是从其它文档替换文档中的特定路径.我们可以迁移一个单一的文件,多个文件,普通对象,多个普通的对象,或从查询中返回的所有对象 populate 方法 populate 方法可以用在 document 上. model 上或者是 query 对象上,这意味着你几乎可以在任

MongoDB查询技巧总结

在MongoDB中db.collection.find()方法用于从集合中检索文档.db.collection.find()方法返回一个检索到文档的游标.db.collection.findOne()方法也执行读操作,返回一条文档.在内部实现上,db.collection.findOne()方法是db.collection.find()使用limit 1. 查询集合中的所有文档: 1.一个空的query文档({})可以查出一个集合中的所有文档: 复制代码 代码如下: db.inventory.f

MongoDB各种查询操作详解

一.find操作 MongoDB中使用find来进行查询,通过指定find的第一个参数可以实现全部和部分查询. 1.查询全部 空的查询文档{}会匹配集合的全部内容.如果不指定查询文档,默认就是{}. 2.部分查询 3.键的筛选 键的筛选是查询时只返回自己感兴趣的键值,通过指定find的第二个参数来实现.这样可以节省传输的数据量,又能节省客户端解码文档的时间和内存消耗. 查询时,数据库所关心的查询文档的值必须是常量. 二.查询条件 1.比较查询 $lt,$lte,$gt,$gte,$ne和<,<

MongoDB下根据数组大小进行查询的方法

注意:作者使用的mongodb版本为2.4.7. 首先插入测试数据 复制代码 代码如下: db.data.insert({name:'a', num:[12,123,22,34,1]});db.data.insert({name:'b', num:[42,22]});db.data.insert({name:'c', num:[49]}); 键num对应的值是数组. 查询num的数组值具有指定大小的document 最好的方法是使用$size,例如指定大小为2,可以: 复制代码 代码如下: db

MongoDB查询操作限制返回字段的方法

映射(projection )声明用来限制所有查询匹配文档的返回字段.projection以文档的形式列举结果集中要包含或者排除的字段.可以指定要包含的字段(例如:{field:1})或者指定要排除的字段(例如:{field:0}).默认_id是包含在结果集合中的,要从结果集中排除_id字段,需要在projection中指定排除_id字段({_id:0}).除了_id字段,不能在一个projection中联合使用包含和排除语意. 返回匹配文档的所有字段: 如果没有指定projection,fin

PHP中MongoDB数据库的连接、添加、修改、查询、删除等操作实例

PHP 扩展mongon.mod.dll下载http://cn.php.net/manual/en/mongo.installation.php#mongo.installation.windows 然后php.ini添加 extension=php_mongo.dll 最后phpinfo() 查找到 表标PHP已经自带了mongo功能,你就可以操作下面的代码(但是你必须有安装mongodb服务器) 一.连接数据库 使用下面的代码创建一个数据库链接 复制代码 代码如下: <?php $conne

MongoDB快速入门笔记(四)之MongoDB查询文档操作实例代码

MongoDB简介 MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的. 下面给大家介绍MongoDB查询文档操作的实例 先把student删除,再重新插入数据 > db.student.drop() true > db.student.insert([{ "_id" : 1, "

Centos 7.2中MongoDB数据库的安装与卸载教程

一.前言 大家都知道,MongoDB 是由 C++ 语言编写的,是一个基于分布式文件存储的开源数据库系统. MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. MongoDB 将数据存储为一个文档,数据结构由键值(key-value)对组成,其文档类似于 JSON 对象,字段值可以包含其他文档,数组及文档数组.在高负载的情况下,添加更多的节点,可以保证服务器性能. 本文将给大家详细介绍关于在Centos 7.2中MongoDB的安装与卸载,下面话不多说了,来一起看看详细的介

给jqGrid数据行添加修改和删除操作链接(之一)

我这里用的不是jqGrid的自带的编辑和删除操作,我已经把分页导航栏下的编辑,删除,搜索都取消掉了,就是这句$("#list1").navGrid("#pager1",{edit:false,del:false, search:false}), 然后在数据加载完成后,给每行添加了 修改和删除链接 jqGrid完成的事件是gridComplete:function(){}(可以理解为数据都准备好了), 因为从数据库获取到的json数据没有带修改和删除两项,所以在之后的

JS动态添加option和删除option(附实例代码)

1.动态创建select 复制代码 代码如下: function createSelect(){ var mySelect = document.createElement("select"); mySelect.id = "mySelect"; document.body.appendChild(mySelect); } 2.添加选项option 复制代码 代码如下: function addOption(){ //根据id查找对象, var obj=docume

ASP.NET中的DataGridView绑定数据和选中行删除功能具体实例

首现我们拖入一个DataGridView控件到.aspx页面中,然后绑定你需要显示的列,具体代码如下. 复制代码 代码如下: <asp:GridView ID="gvDepartList" runat="server" AutoGenerateColumns="False"          Height="108px" Width="600px"  OnRowDeleting="gvDep

PHP操作MongoDB实现增删改查功能【附php7操作MongoDB方法】

本文实例讲述了PHP操作MongoDB实现增删改查功能.分享给大家供大家参考,具体如下: MongoDB的PHP驱动提供了一些核心类来操作MongoDB,总的来说MongoDB命令行中有的功能,它都可以实现,而且参数的格式基本相似.PHP7以前的版本和PHP7之后的版本对MongoDB的操作有所不同,本文主要以PHP7以前版本为例讲解PHP对MongoDB的各种操作,最后再简单说明一下PHP7以后版本对MongoDB的操作. 一.数据插入 //insert() //参数1:一个数组或对象 //参

node.js连接MongoDB数据库的2种方法教程

前言 MongoDB Node.js驱动程序是被官方所支持的原生node.js驱动程序,他是至今为止最好的实现, 并且得到了MongoDB官方的支持.MongoDB团队已经采用MongoDB Node.js驱动程序作为标准方法. npm install mongodb@1.4.3 // MongoDB Node.js驱动程序 npm install mongoose@3.8.8 //mongoose模块 要从Node.js连接MongoDB数据库我们有两种方法可选择: 通过实例化mongodb模

深入探讨:PHP使用数据库永久连接方式操作MySQL的是与非

PHP程序员应该都知道连接MySQL数据库可以使用mysql_pconnect(永久连接)函数,使用数据库永久连接可以提高效率,但是实际应用中数据库永久连接往往会导致出现一些问题,通常的表现就是在大访问量的网站上时常发生断断续续的无法连接数据库的情况,出现类似"Too many connections in ..."的错误提示信息,重新启动服务器又正常了,但过不了一会儿又出现同样的故障.对于这些问题的成因,恐怕就不是每个人都能说清楚的了,虽然PHP文档里有一些相关资料,但是解释的并不浅显易懂,这

JAVA 添加、修改和删除PDF书签的示例代码

当阅读篇幅较长的PDF文档时,为方便我们再次阅读时快速定位到上一次的阅读位置,可以插入一个书签进行标记:此外,对于文档中已有的书签,我们也可以根据需要进行修改或者删除等操作.本篇文章将通过Java编程来展示如何添加.修改以及删除PDF书签. 工具使用: •Free Spire.Pdf for Java 2.4.4 (免费版) •IntelliJ IDEA Jar包导入: 方式一:首先,从官网获取Free Spire.PDF for Java之后解压,以下是三种在IDEA中快速打开Project