Mongodb学习手册 Secer's Blog - 记录互联网安全历程与个人成长经历

Mongodb学习手册

启动mongodb服务进程：

MongoDB默认的数据库文件的位置是/data/db，但是它不会自动的生产目录，所以如果采用默认的文件位置的话，我们需要自己先建立该目录，如下：

$ sudo mkdir -p /data/db/

$ sudo chown `id -u` /data/db

接下来可以启动 mongodb的服务了：

$ ./mongod

我们也可以用-dbpath选项来指定自己的数据库位置，如下：

$ ./mongod -dbpath ../../data/db

启动成功以后，会有如下界面显示：

[tsaip@ossesbwas bin]$ Mon May 30 12:17:16 [initandlisten] MongoDB starting :

pid=3662 port=27017 dbpath=../../data/db 64-bit

Mon May 30 12:17:16 [initandlisten] db version v1.8.2-rc2, pdfile version 4.5

Mon May 30 12:17:16 [initandlisten] git version:

373038f53049071fddb5404698c8bebf99e3b51f

Mon May 30 12:17:16 [initandlisten] build sys info: Linux bs-linux64.10gen.cc

2.6.21.7-2.ec2.v1.2.fc8xen #1 SMP Fri Nov 20 17:48:28 EST 2009 x86_64

BOOST_LIB_VERSION=1_41

Mon May 30 12:17:16 [initandlisten] waiting for connections on port 27017

Mon May 30 12:17:16 [websvr] web admin interface listening on port 28017

启动命令常用参数选项说明

mongod 启动数据库进程

--dbpath 指定数据库的目录

--port 指定数据库的端口,默认是27017

--bind_ip 绑定IP

--directoryperdb为每个db创建一个独立子目录

--logpath指定日志存放目录

--logappend指定日志生成方式(追加/覆盖)

--pidfilepath 指定进程文件路径，如果不指定，那么将不产生进程文件

--keyFile 集群模式的关键标识

--cpu 周期性的显示 CPU和IO的利用率

--journal 启用日志

--ipv6 启用IPV6支持

--nssize 指定.ns 文件的大小，单位MB，默认是16M，最大是 2GB

--maxConns 最大的并发连接数 10

--notablescan 不允许进行表扫描

--quota 限制每个数据库的文件个数，默认是 8个

--quotaFiles 每个数据库的文件个数，配合—quota参数

--noprealloc 关闭数据文件的预分配功能

更多的参数选项利用 mongod –help 进行查看启动客户端

服务端进程启动成功以后，就可以启动客户端，跟服务端进行连接，如下：

[tsaip@ossesbwas bin]$ ./mongo

MongoDB shell version: 1.8.2-rc2

connecting to: test

Mon May 30 12:36:18 [initandlisten] connection accepted from

127.0.0.1:59154 #1

6. 关闭mongodb服务

> use admin;

switched to db admin

> db.shutdownServer();

Mon May 30 12:41:52 [conn2] terminating, shutdown command received

Mon May 30 12:41:52 dbexit: shutdown called

Mon May 30 12:41:52 [conn2] shutdown: going to close listening sockets...

Mon May 30 12:41:52 [conn2] closing listening socket: 5

Mon May 30 12:41:52 [conn2] closing listening socket: 6

Mon May 30 12:41:52 [conn2] closing listening socket: 7

Mon May 30 12:41:52 [conn2] closing listening socket: 8

Mon May 30 12:41:52 [conn2] removing socket file: /tmp/mongodb-27017.sock

Mon May 30 12:41:52 [conn2] removing socket file: /tmp/mongodb-28017.sock

Mon May 30 12:41:52 [conn2] shutdown: going to flush diaglog...

Mon May 30 12:41:52 [conn2] shutdown: going to close sockets...

Mon May 30 12:41:52 [conn2] shutdown: waiting for fs preallocator...

Mon May 30 12:41:52 [conn2] shutdown: closing all files...

Mon May 30 12:41:52 closeAllFiles() finished

Mon May 30 12:41:52 [conn2] shutdown: removing fs lock...

Mon May 30 12:41:52 dbexit: really exiting now

Mon May 30 12:41:52 DBClientCursor::init call() failed

Mon May 30 12:41:52 query failed : admin.$cmd { shutdown: 1.0 } to: 127.0.0.1

server should be down...

Mon May 30 12:41:52 trying reconnect to 127.0.0.1

Mon May 30 12:41:52 reconnect 127.0.0.1 failed couldn't connect to server

127.0.0.1

Mon May 30 12:41:52 Error: error doing query: unknown shell/collection.js:150

六、 MongoDB 数据类型

MongoDB除了包含这些string, integer, boolean, double, null, array, and

object基本的数据类型外，还包含：date, object id, binary data, regular

expression, and code这些附加的数据类型。

1. Timestamp类型(时间戳)

Timestamp类型从 1.8 版本开始支持，Timestamp 有一个特殊的用法:timestamp类型的字段必须是位于文档的前两位.看下面例子:

//位于第三个字段

> db.coll.insert({_id:1,x:2,y:new Timestamp()});

> db.coll.findOne({_id:1});

{ "_id" : 1, "x" : 2, "y" : { "t" : 0, "i" : 0 } }

//位于第二个字段

> db.coll.insert({_id:2,y:new Timestamp(),x:2});

> db.coll.findOne({_id:2});

{ "_id" : 2, "y" : { "t" : 1306746538000, "i" : 1 }, "x" : 2 }

2. ObjectId类型

在 mongodb 中,几乎每个文档（除了某些 Collection 或者某些Capped Collection）都要求有一个主键:_id,用来唯一标识他们，通常它的值就是 ObjectId 类型。当用户往文档中插入一条新记录的时候，如果没有指定_id属性，那么MongoDB会自动生成一个ObjectId类型的值，保存为_id的值。

_id 的值可以为任何类型，除了数组，在实际应用中，鼓励用户自己定义_id值，但是要保证它的唯一性。如下有两个方案： Sequence Numbers：序列号传统的数据库中，通常用一个递增的序列来提供 MongoDB

中用ObjectId的来代替，我们可以通过如下的函数来获取主键：

function counter(name) {

var ret = db.counters.findAndModify({query:{_id:name},

update:{$inc : {next:1}}, "new":true, upsert:true});

return ret.next;

}

db.users.insert({_id:counter("users"), name:"Sarah C."}) // _id : 1

db.users.insert({_id:counter("users"), name:"Bob D."}) // _id :2

利用UUID

如果用UUID来提供主键，我们的应用需要自己去生成 UUID，考虑到效率，建议把UUID保存为BSON BinData类型，如果用例中对效率要求不是很高，也可以保存为字符串类型。

3. 数据库关联

在 MongoDB 中，通常的关联习惯有两种，一种是简单的手动关联，一种是用DBRef。

简单的手工关联

//查找

> db.post.save({title:'MongoDB Manual',author:'sam'});

> p = db.post.findOne();

{

"_id" : ObjectId("4de36b33282677bdc555a83a"),

"title" : "MongoDB Manual",

"author" : "sam"

}

//关联

> db.authors.findOne({name:p.author});

{

"_id" : ObjectId("4de36c14282677bdc555a83b"),

"name" : "sam",

"age" : 24,

"email" : "[email protected]"

}

利用 DBRef关联

DBRef 关联语法：

{ $ref : <collname>, $id : <idvalue>[, $db : <dbname>] }

例子：

> x = { name : 'Biology' }

{ "name" : "Biology" }

> db.courses.save(x)

> x

{ "name" : "Biology", "_id" :

ObjectId("4b0552b0f0da7d1eb6f126a1") }

> stu = { name : 'Joe', classes : [ new DBRef('courses',

x._id) ] }

// or we could write:

// stu = { name : 'Joe', classes :

[ {$ref:'courses',$id:x._id} ] }

> db.students.save(stu)

> stu

{

"name" : "Joe",

"classes" : [

{

"$ref" : "courses",

"$id" :

ObjectId("4b0552b0f0da7d1eb6f126a1")

}

"_id" : ObjectId("4b0552e4f0da7d1eb6f126a2")

}

> stu.classes[0]

{ "$ref" : "courses", "$id" : ObjectId("4b0552b0f0da7d1eb6f126a1") }

> stu.classes[0].fetch()

{ "_id" : ObjectId("4b0552b0f0da7d1eb6f126a1"), "name" : "Biology" }

七、 GridFS文件系统

由于在MongoDB 中，1.7版本之前，BSON 对象的大小只有 4MB 的限制，1.7-1.8版本，大小限制是16MB，将来的版本，这个数值还会提高，不适合存储一些大型文件。但是MongoDB提 GridFS 文件系统，为大型文件的存储提供了解决方案

八、索引

MongoDB 的索引跟传统数据库的索引相似，一般的如果在传统数据库中需要建立索引的字段，在MongoDB 中也可以建立索引。MongoDB中_id字段默认已经建立了索引，这个索引特殊，并且不可删除，不过Capped Collections 例外。

1. 建立索引

建立索引的函数：ensureIndex()

例子：

>$ db.persons.ensureIndex({name:1});

2. 使用索引

a) 普通索引

>$ db.persons.find({name sam // fast - uses index

>$ db. persons.find({age: 3}); // slow - has to check all

because 'age' isn't indexed

b) 嵌入式索引

>$ db.things.ensureIndex({"address.city": 1})

c) 文档式索引

>$db.factories.insert( { name: "xyz", metro: { city: "New

York", state: "NY" } } );

>$db.factories.ensureIndex( { metro : 1 } );

d) 组合索引

>$db.things.ensureIndex({j:1, name:-1});

e) 唯一索引

>$db.things.ensureIndex({firstname: 1, lastname: 1},

{unique: true});

当一个记录被插入到唯一性索引文档时，缺失的字段会以 null 为默认值被插入文档

例子：

>$db.things.ensureIndex({firstname: 1}, {unique: true});

>$db.things.save({lastname: "Smith"});

//下面这个操作将会失败，因为 firstname 上有唯一性索引，值为 null

>$db.things.save({lastname: "Jones"});

3. 查看索引

> db.persons.getIndexes();

[

{

"name" : "_id_",

"ns" : "test.persons",

"key" : {

"_id" : 1

"v" : 0

{

"_id" : ObjectId("4de39060282677bdc555a83d"),

"ns" : "test.persons",

"key" : {

"name" : 1

"name" : "name_1",

"v" : 0

}

]

4. 删除索引

a) 删除所有索引

db.collection.dropIndexes();

b) 删除单个索引

db.collection.dropIndex({x: 1, y: -1})

c) 用运行命令的方式删除索引

// note: command was "deleteIndexes", not "dropIndexes",

before MongoDB v1.3.2

// remove index with key pattern {y:1} from collection foo

db.runCommand({dropIndexes:'foo', index : {y:1}})

// remove all indexes:

db.runCommand({dropIndexes:'foo', index : '*'})

5. 重建索引

db.myCollection.reIndex()

// same as:

db.runCommand( { reIndex : 'myCollection' } )

这个操作是个加锁操作，并且如果集合很大，这个操作会很耗时。

注：用repair 命令修复数据库的时候，会重建索引

九、主（Master）/从（slave）数据库同步

需要启动的两个 MongoDB 文档数据库，一个是以主模式启动，另一个属于从模式启动。因此，主服务器进程将创建一个 local.oplog，将通过这个“交易记录”同 Slave服务器中。

1. 建立主/从服务器

主服务器：132.129.31.213:10111（A）

从服务器：132.129.31.213:10112（B）

启动Master数据库服务器：

$./mongod –master -port=10111 -dbpath=/home/tsaip/mongodb/data/10111 -nohttpinterface &

启动Slave数据库服务器：5s 同步一次

$./mongod –slave –source=132.129.31.213:10111 -port=10112 -dbpath=/home/tsaip/mongodb/data/10112 –slavedelay 5 -nohttpinterface &

测试同步结果：

//登录master 数据库服务器

$ ./mongo -host 132.129.31.213 -port 10111

MongoDB shell version: 1.8.2-rc2

connecting to: 132.129.31.213:10111/test

> use test;

switched to db test

> db.user.insert({_id:1,name:'samlee',age:80});

> db.user.find();

{ "_id" : 1, "name" : "samlee", "age" : 80 }

//登录slave 数据库服务器

$ ./mongo -host 132.129.31.213 -port 10112

MongoDB shell version: 1.8.2-rc2

connecting to: 132.129.31.213:10112/test

> use test;

switched to db test

> db.user.find();

{ "_id" : 1, "name" : "samlee", "age" : 80 }

数据同步成功！！

在slave数据库服务器上执行如下操作：

> db.user.insert({_id:2,name:'Jack',age:23});

not master

提：not master，所以slave服务器只可以执行读操作，不可以执行写操作，如下图所示：

2. 相关参数说明

Master

--master #master 模式

--oplogSize arg #size limit (in MB) for op log

Slave

--slave #slave 模式

--source arg #source 指定 master 位置

--only arg #单独指定备份某一 database

--slavedelay arg #指定与Master 延迟时间(秒)

--autoresync #当Slave数据过时后自动重连

3. Slave顶替 Master

如果上面的主服务器A宕了，此时需要用B机器来顶替master服务，步骤如下：

停止B 进程(mongod)，删除B 数据目录中的 local.*，以--master模式启动 B

4. 切换Master/Slave 角色

a) 假设已经具备主机A 和从机B，此时想切换它们的角色，步骤如下：（假设A 是健康的）

b) 用fsync命令暂停A上的写操作

c) 确定B 是从机，关闭 B上的服务

d) 清空B 上的local.*文件

e) 用-master选项重启B 服务

f) 在B上执行一次写操作，初始化 oplog，获得一个同步起始点

g) 关闭B 服务，此时B 已经有了信的local.*文件

h) 关闭A 服务，并且用 B上新的local.*文件来代替 A上的 local.*文件（拷贝之前，记得先压缩，因为文件可能很大）

i) 用-master选项重启B 服务

j) 在平时的slave选项上加一个-fastsync选项来重启 A服务如果 A 不是健康的，但是硬件是健康的，那么跳过上面的前两步，并且用 B 上所有文件去替换A 上的文件，重启服务。

5. 更新主服务器位置

假设现有从机启动方式如下：

$ mongod --slave --source 132.129.31.213:10000

此时如果想更换主机的位置，可以通过以下的步骤来完成：

重启mongod服务，不要加-slave 和–source选项：

$ mongod

启动shell，执行如下操作：

> use local

switched to db local

> db.sources.update({host : "132.129.31.213：10000"},

{$set : {host : "132.129.31.213：10001"}})

接着重启从机上的服务：

$ ./mongod --slave --source 132.129.31.213:10001

$ # or

$ ./mongod –slave

十、 MongoDB 分片和集群

1. 简单分片实例

MongoDB的数据分块称为 chunk。每个 chunk 都是Collection中一段连续的数据记录，通常最大尺寸是 200MB，超出则生成新的数据块。

要构建一个 MongoDB Sharding Cluster，需要三种角色：

* 实例，用于存储实际的数据块。

* 实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。

* 实例，前端路由，客户端由此接入，且让整个集群看上去像单一进程数据库。Route 转发请求到实际的目标服务进程，并将多个结果合并回传

给客户端。Route 本身并不存储任何数据和状态，仅在启动时从Config Server 获取信息。Config Server 上的任何变动都会传递给所有的 Route Process。在实际使用中，为了获取高可用、高性能的集群方案，我们会将Shard Server 部署成 Replica Sets，然后用 LVS 部署多个 Route。

我们先构建一个简单的 Sharding Cluster，以熟悉相关的配置。

1) 启动 Shard Server

//server_1

$ ./mongod -shardsvr -port 10000 -dbpath /home/tsaip/mongodb/data/10000 -fork -logpath

/home/tsaip/mongodb/data/logs/null

all output going to: /home/tsaip/mongodb/data/logs/null

forked process: 9347

//server_2

$ ./mongod -shardsvr -port 10011 -dbpath /home/tsaip/mongodb/data/10011 -fork -logpath

/home/tsaip/mongodb/data/logs/null

all output going to: /home/tsaip/mongodb/data/logs/null

forked process: 9383

2) 启动Config Server

$ ./mongod -configsvr -port 20000 -dbpath /home/tsaip/mongodb/data/config -fork -logpath

/home/tsaip/mongodb/data/logs/null

all output going to: /home/tsaip/mongodb/data/logs/null

forked process: 9399

3) 启动Route Process

./mongos -configdb 132.129.31.213:20000 -fork -logpath /home/tsaip/mongodb/data/logs/null

all output going to: /home/tsaip/mongodb/data/logs/null

forked process: 9431

注：可以用 -chunkSize 参数指定分块大小

4) 开始配置

Mongodb学习手册

Hacking more