目标

在3台CentOS 6服务器上部署mongodb分片集群,其中副本集(replica set)部署在不同的服务器上,每个服务器有一个配置(config)副本集,两个分片(sharding)副本集,以及一个mongos服务。所以3台服务器总共需要部署12个服务。3台服务器IP分别是:172.16.66.113,172.16.66.114,172.16.66.115,下面以113,114,115来代表某台服务器。

mongodb_server

准备工作

首先要保证各个服务器之间是连通的,并且防火墙策略中能访问到下面的端口,简单方式关闭各服务器防火墙,如:service iptables stop

保证下面使用的端口号没有被占用

保证个目录整洁干净,如果有历史数据先清空历史数据,主要是dbs目录

主目录

/usr/local/mongodb

mongodb  
--bin  
----mongd  
----mongo  
----mongos  
----...  
--deploy  
----dbs  
------config  
------shard1  
------shard2  
----etc  
------configsvr.conf  
------shardsvr1.conf  
------shardsvr2.conf  
------mongos.conf  
----logs  
----pids

bin目录

所有mongodb可执行程序,如:mongod,mongo, mongos...
/usr/local/mongodb/bin

deploy目录

所有部署操作统一在这个目录下进行 /usr/local/mongodb/deploy

dbs目录

存放所有数据库数据 /usr/local/mongodb/deploy/dbs

包含三个子目录,分别是:配置服务,分片1服务,分片2服务

  • /usr/local/mongodb/deploy/dbs/config
  • /usr/local/mongodb/deploy/dbs/shard1
  • /usr/local/mongodb/deploy/dbs/shard2

logs目录

存放所有日志
/usr/local/mongodb/deploy/logs

pids目录

存放各个服务的进程ID
/usr/local/mongodb/deploy/pids

etc目录

存放各个服务启动的配置信息
/usr/local/mongodb/deploy/etc

有三个配置文件,分别是:配置服务,分片1服务,分片2服务,mongos服务的启动配置

  • /usr/local/mongodb/deploy/etc/configsvr.conf
    #bind_ip=127.0.0.1
    port=27020
    auth=false
    configsvr=true
    replSet=cfgset
    dbpath=/usr/local/mongodb/deploy/dbs/config
    logpath=/usr/local/mongodb/deploy/logs/config.log
    pidfilepath=/usr/local/mongodb/deploy/pids/config.pid
    fork=true
    
  • /usr/local/mongodb/deploy/etc/shardsvr1.conf
    #bind_ip=127.0.0.1
    port=27031
    auth=false
    shardsvr=true
    replSet=shardset1
    dbpath=/usr/local/mongodb/deploy/dbs/shard1
    logpath=/usr/local/mongodb/deploy/logs/shard1.log
    pidfilepath=/usr/local/mongodb/deploy/pids/shard1.pid
    fork=true
    
  • /usr/local/mongodb/deploy/etc/shardsvr2.conf
    #bind_ip=127.0.0.1
    port=27032
    auth=false
    shardsvr=true
    replSet=shardset2
    dbpath=/usr/local/mongodb/deploy/dbs/shard2
    logpath=/usr/local/mongodb/deploy/logs/shard2.log
    pidfilepath=/usr/local/mongodb/deploy/pids/shard2.pid
    fork=true
    
  • /usr/local/mongodb/deploy/etc/mongos.conf
    #bind_ip=127.0.0.1
    port=27017
    configdb=cfgset/172.16.66.113:27020,172.16.66.114:27020,172.16.66.114:27020
    logpath=/usr/local/mongodb/deploy/logs/mongos.log
    pidfilepath=/usr/local/mongodb/deploy/pids/mongos.pid
    fork=true
    

    port:服务启动的端口号
    auth:需不需要授权
    configsvr:配置服务
    shardsvr:分片服务
    replSet:所属副本集的名字
    dbpath:数据存放路径
    logpath:日志存放路径
    pidfilepath:进程ID存放路径
    fork:daemon方式启动
    configdb:mongos指定分片集群的配置服务

文件准备

每个服务器都将mongodb安装在/usr/local目录下

下载mongodb版本为:mongodb-linux-x86_64-rhel62-3.4.9.tgz
解压到/usr/local目录下,更名为mongodb,此时它只有一个bin目录

每台服务器上准备deploy目录

点击下载上面的deploy目录结构放到mongodb目录下

部署分片集群

注意,所有的操作都在deploy目录下进行,按下面的顺序执行。

创建配置服务副本集

每台服务器上启动一个配置服务

  • 113机器上执行:../bin/mongod -f etc/configsvr.conf
  • 114机器上执行:../bin/mongod -f etc/configsvr.conf
  • 115机器上执行:../bin/mongod -f etc/configsvr.conf

初始化配置服务副本集

在113机器上操作,连接到配置服务(其中一个都可以)
每个服务的端口号请看etc目录下面的配置文件
../bin/mongo --port 27020

初始化配置服务副本集,注意initiate要在primary副本集中操作,某个副本集开始可能不是primary,用rs.status()多查看几次

rs.initiate({_id: "cfgset", configsvr: true, members: [{_id: 0, host: "172.16.66.113:27020"}, {_id: 1, host: "172.16.66.114:27020"}, {_id: 2, host: "172.16.66.115:27020"}]})

创建分片1服务副本集

  • 113机器上执行:../bin/mongod -f etc/shardsvr1.conf
  • 114机器上执行:../bin/mongod -f etc/shardsvr1.conf
  • 115机器上执行:../bin/mongod -f etc/shardsvr1.conf

初始化分片1服务副本集

在113机器上操作,连接到分片1服务(其中一个都可以)
../bin/mongo --port 27031

rs.initiate({_id: "shardset1", members: [{_id: 0, host: "172.16.66.113:27031"}, {_id: 1, host: "172.16.66.114:27031"}, {_id: 2, host: "172.16.66.115:27031"}]})

创建分片2服务副本集

  • 113机器上执行:../bin/mongod -f etc/shardsvr2.conf
  • 114机器上执行:../bin/mongod -f etc/shardsvr2.conf
  • 115机器上执行:../bin/mongod -f etc/shardsvr2.conf

初始化分片2副本集

在113机器上操作,连接到分片2服务(其中一个都可以)
../bin/mongo --port 27032

rs.initiate({_id: "shardset2", members: [{_id: 0, host: "172.16.66.113:27032"}, {_id: 1, host: "172.16.66.114:27032"}, {_id: 2, host: "172.16.66.115:27032"}]})

每台服务器上的副本集都是对等的,我们只需要在其中一台服务器上进行初始化就可以了,其他的副本集会将配置信息自动同步过去,所以上面我们只在113机器上进行副本集的初始化。

启动mongos服务

在每台服务器上启动mongos服务

  • 113机器上执行:../bin/mongos -f etc/mongos.conf
  • 114机器上执行:../bin/mongos -f etc/mongos.conf
  • 115机器上执行:../bin/mongos -f etc/mongos.conf

连接到mongos

在113机器上操作
mongos使用的是默认端口27017,所以后面可以不加--port参数
../bin/mongo

  • 添加所有分片到集群,目前只有两个分片

    sh.addShard("shardset1/172.16.66.113:27031,172.16.66.114:27031,172.16.66.115:27031")
    sh.addShard("shardset2/172.16.66.113:27032,172.16.66.114:27032,172.16.66.115:27032")
    
  • 为数据库启用分片(test数据库)

    sh.enableSharding("test")
    
  • 使用hash分片某个集合(test数据库中的users集合,username是文档中的key)

    sh.shardCollection("test.users", {username: "hashed"})
    

    如果数据库是空的shardCollection会自动创建索引,如果数据库不是空的执行shardCollection之前必须先创建索引

到这里就部署完成了。

集群简单验证

连接到其中一个mongos服务

如:我在本机上连接,mongo --host 172.16.66.113

使用test数据库

use test

往test数据库的users集合中插入10000条数据

for (var i = 1; i <= 10000; i++) { db.users.insert({username: "name" + i}) }

查看users集合状态

db.users.stats()
可以看到sharded:true,count:10000,shardset1中的count为4963,shardset2中的count为5037

聊天