How to analyze the problems of mongodb Database

如何进行mongodb数据库的问题分析，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它的特点是高性能、易部署、易使用，存储数据非常方便。公司在测试和生产环境使用了MONGODB数据库，日常在使用MONGODB数据库的过程中，遇到了一些问题，比较典型的三个问题现总结分享一下。

一、数据库最大连接数问题

当你在后台日志中，发现大量"connection refused because too many open connections: 819"信息时，一般跟你没有设置合适的最大连接数值有关。

默认情况下,在LINUX系统中，MONGODB默认连接数为819,你可以适当调大这个值，但注意这个值不是无限大，最多可设置成20000, 参见MONGODB的官方说明。

我们可以在数据库启动时加--maxConns 10000参数来指定最大连接数

也可以修改mongodb.conf配置文件，在其中加一句maxConns = 10000保存退出后再启动MONGODB就好了。

当然这个问题也跟ulimit限制有关, 可以手动修改ulimit -n 来改动open file 的数目.

如果想使open file的值永久生效的话,请在/etc/security/limits.conf中添加以下四行, 数目根据系统情况具体修改.

* soft nofile 102400 （*针对所有用户）

* hard nofile 102400

root soft nofile 102400 （针对ROOT用户）

root hard nofile 102400

然后在/etc/pam.d/login中添加

session required /lib64/security/pam_limits.so

....

reboot后即可永久生效.

环境变量

[root@localhost ~]# echo "PATH=$PATH:/app/mongodb/bin" >> /etc/profile

[root@localhost ~]# source /etc/profile

mongodb配置文件附例：

port=27017

dbpath=/backup/mongodbData

logpath=/app/mongodb/log/mongodb.log

logappend=true

directoryperdb=true

journal=true

fork=true

maxConns = 10000

二、虚拟内存限制问题

MongoDB主从配置后， 启动时报错"ERROR: mmap failed with out of memory"。 这是因为mongodb在设置为主从关系时，会创建"creating replication oplog of size: 944MB"，这个OPLOG日志应该是放在内存中的.

解决方法：

（1）设置oplog的大小，用参数--oplogSize来指定，不默认创建944M

（2）放开虚拟内存的限制（虚拟机默认设定512M ），编辑/etc/profile文件加入ulimit -v unlimited，使用source /etc/profile让设置生效。

再执行主从的启动命令就ok了

mongodb比较吃内存，也可以限制mongodb的内存使用量，操作如下

vi mongodb.conf

增加 ulimit -m 2560000 (约2.5G 内存)

需要注意的几点：

1. MongoDB在32位操作系统出现"mmap failed with out of memory"错误，这是因为在32位平台中MongoDB不允许数据库文件（累计总和）超过2G，而64位平台没有这个限制。如果在64位平台中也报这个错，一般是虚拟内存不足所致。可以编辑/etc/profile文件加入ulimit -v unlimited，使用source /etc/profile让设置生效或重启生效。

2. oplog的大小和内存没有太大关系，oplogSize相当于mysql数据库的binlog，从库复制的数据都是从oplog也就是local这个库读取的。

--oplopgSize，指定了slave同步时，更新日志保存的最大大小，最新版本的mongodb如果不指定参数的话默认是硬盘空间的5%，如果设置太小，slave同步和主库相差远超过了oplog的大小的话，有可能会数据不一致。

参看官方文档说明：

http://www.mongodb.org/display/DOCS/Replication+Oplog+Length

3、使用mongoDB建议使用高性能sas硬盘，追求性能可以考虑使用raid10硬盘。

三、mongodb占用空间过大的问题

1、空间的预分配：为避免形成过多的硬盘碎片，mongodb每次空间不足时都会申请生成一大块的硬盘空间，而且申请的量从64M、128M、256M那样的指数递增，直到2G为单个文件的最大体积。随着数据量的增加，你可以在其数据目录里看到这些整块生成容量不断递增的文件。

2、字段名所占用的空间：为了保持每个记录内的结构信息用于查询，mongodb需要把每个字段的key-value都以BSON的形式存储，如果value域相对于key域并不大，比如存放数值型的数据，则数据的overhead是最大的。一种减少空间占用的方法是把字段名尽量取短一些，这样占用空间就小了，但这就要求在易读性与空间占用上作权衡了。建议把字段名作个index，每个字段名用一个字节表示，这样就不用担心字段名取多长了。但这种索引方式需要每次查询得到结果后把索引值跟原值作一个替换，再发送到客户端，这个替换也是挺耗费时间的。

3、删除记录不释放空间：这个很容易理解，为避免记录删除后的数据的大规模挪动，原记录空间不删除，只标记"已删除"即可，以后还可以重复利用。

可以定期运行db.repairDatabase()来整理记录释放空间，但这个过程会比较缓慢。

补充:

1、mongodb客户端连接服务端出现异常

一般是因为机器异常重启或硬关机造成的，解决方法为：

①删除mongod.lock文件后，重新启动MongoDB即可。

rm -rf /data/mongodb/mongod.lock (此为mongodb数据存放的路径)

②修复mongodb

mongod -repair -dbpath=/data/mongodb/data

2、mongodb的启停

/opt/mongodb/bin/mongod -f /opt/mongodb/mongodb.conf 启动

/opt/mongodb/bin/mongo 停止

use admin

db.shutdownServer()

/opt/mongodb/bin/mongo 查看数据库状态

db.serverStatus()

操作补充：

以下是mongodb启动时的常用参数说明：

--bind_ip 绑定IP，绑定后只能绑定的IP访问服务--dbpath 指定数据库目录--port 指定数据库端口，默认是27107--logpath 指定日志存放目录--logappend 使用追加的方式写日志--pidfilepath 指定进程文件，不指定则不产生进程文件--journal 启用日志--maxConns 最大的并发连接数，默认2000--fork 将服务放到后台运行--notablescan 不允许表扫描

--syncdelay 数据写入硬盘的时间（秒），0是不等待，直接写入

shell操作数据库：

1. 超级用户相关：

1. #进入数据库admin

use admin

2. #增加或修改用户密码

db.addUser('name','pwd')

3. #查看用户列表

db.system.users.find()

4. #用户认证

db.auth('name','pwd')

5. #删除用户

db.removeUser('name')

6. #查看所有用户

show users

7. #查看所有数据库

show dbs

8. #查看所有的collection

show collections

9. #查看各collection的状态

db.printCollectionStats()

10. #查看主从复制状态

db.printReplicationInfo()

11. #修复数据库

db.repairDatabase()

12. #设置记录profiling，0=off 1=slow 2=all

db.setProfilingLevel(1)

13. #查看profiling

show profile

14. #拷贝数据库

db.copyDatabase('mail_addr','mail_addr_tmp')

15. #删除collection

db.mail_addr.drop()

16. #删除当前的数据库

db.dropDatabase()

2. 增删改 （其中下面的foo与user_addr为collection）

1. #存储嵌套的对象

db.foo.save({'name':'ysz','address':{'city':'beijing','post':100096},'phone':[138,139]})

2. #存储数组对象

db.user_addr.save({'Uid':'yushunzhi@sohu.com','Al':['test-1@sohu.com','test-2@sohu.com']})

3. #根据query条件修改，如果不存在则插入，允许修改多条记录

db.foo.update({'yy':5},{'$set':{'xx':2}},upsert=true,multi=true)

4. #删除yy=5的记录

db.foo.remove({'yy':5})

5. #删除所有的记录

db.foo.remove()

3. 索引 （其中下面的foo与user_addr为collection）

1. #增加索引：1(ascending),-1(descending)

2. db.foo.ensureIndex({firstname: 1, lastname: 1}, {unique: true});

3. #索引子对象

4. db.user_addr.ensureIndex({'Al.Em': 1})

5. #查看索引信息

6. db.foo.getIndexes()

7. db.foo.getIndexKeys()

8. #根据索引名删除索引

9. db.user_addr.dropIndex('Al.Em_1')

4. 查询 （其中下面的foo与user_addr为collection）

1. #查找所有

2. db.foo.find()

3. #查找一条记录

4. db.foo.findOne()

5. #根据条件检索10条记录

6. db.foo.find({'msg':'Hello 1'}).limit(10)

7. #sort排序

8. db.deliver_status.find({'From':'ixigua@sina.com'}).sort({'Dt',-1})

9. db.deliver_status.find().sort({'Ct':-1}).limit(1)

10. #count操作

11. db.user_addr.count()

12. #distinct操作,查询指定列，去重复

13. db.foo.distinct('msg')

14. #">="操作

15. db.foo.find({"timestamp": {"$gte" : 2}})

16. #子对象的查找

17. db.foo.find({'address.city':'beijing'})

5. 管理 （其中下面的deliver_status为collection）

1. #查看collection数据的大小

2. db.deliver_status.dataSize()

3. #查看colleciont状态

4. db.deliver_status.stats()

5. #查询所有索引的大小

6. db.deliver_status.totalIndexSize()

看完上述内容，你们掌握如何进行mongodb数据库的问题分析的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注行业资讯频道，感谢各位的阅读!