MongoDB分布式集群分片

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MongoDB分布式集群分片，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6353字，纯文字阅读大概需要10分钟。

内容图文

MongoDB高可用集群搭建

一、环境准备

# 启动时需要使用非root用户，所有创建一个mongo用户：
useradd mongo

# 为mongo用户添加密码：
echo 123456 | passwd --stdin mongo

# 将mongo添加到sudoers
echo "mongo ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/mongo
chmod 0440 /etc/sudoers.d/mongo
#解决sudo: sorry, you must have a tty to run sudo问题，在/etc/sudoer注释掉 Default requiretty 一行
sudo sed -i ‘s/Defaults    requiretty/Defaults:chiansun !requiretty/‘ /etc/sudoers

# 创建一个mongo目录
mkdir /mongo

# 给相应的目录添加权限
chown -R mongo:mongo /mongo

# 配置mongo的yum源
cat >> /etc/yum.repos.d/mongodb-org-4.0.repo << EOF
[mongodb-org-4.0]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/\$releasever/mongodb-org/4.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-4.0.asc
EOF

# 关闭selinux
sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/‘ /etc/selinux/config
setenforce 0

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld

二、主机规划

192.168.33.14   node-1
192.168.33.15   node-2
192.168.33.16   node-3

node-1    node-2       node-3 
mongos    mongos       mongos     路由服务器，寻址
config    config       config     配置服务器，保存配置
shard1主  shard2主     shard3主    分片：保存数据
shard2从  shard3从     shard1从    副本集：备份数据，可以配置读写分离（主负责写，从负责同步数据和读）
shard3从  shard1从     shard2从

三、安装部署

# 分别在多台机器上使用mongo用户登录
sudo yum install -y mongodb-org 

# 分别在多台机器上创建mongo config server对应的目录
mkdir -p /mongo/config/{log,data,run}

# 分别在多台机器上修改config server的配置文件
cat > /mongo/config/mongod.conf << EOF
systemLog:
  destination: file
  logAppend: true
  path: /mongo/config/log/mongod.log
storage:
  dbPath: /mongo/config/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /mongo/config/run/mongod.pid
net:
  port: 27100
  bindIp: 0.0.0.0
replication:
  replSetName: config
sharding:
  clusterRole: configsvr
EOF

# 启动所有的mongo config server服务
mongod --config /mongo/config/mongod.conf

# 登录任意一台配置服务器，初始化配置副本集
mongo --port 27100

# 创建配置
# id名要和replSetName名保持一致
config = {
   _id : "config",
    members : [
        {_id : 0, host : "192.168.33.14:27100" },
        {_id : 1, host : "192.168.33.15:27100" },
        {_id : 2, host : "192.168.33.16:27100" }
    ]
}

# 初始化副本集配置
rs.initiate(config)

# 查看分区状态
rs.status()

# 注意:其中，"_id" : "config"应与配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 为三个节点的ip和port

1.配置第一个分片和副本集

# 修改mongo shard1 server的配置文件
mkdir -p /mongo/shard1/{log,data,run}

# 分别在多台机器上修改shard1 server的配置文件
cat > /mongo/shard1/mongod.conf << EOF
systemLog:
  destination: file
  logAppend: true
  path: /mongo/shard1/log/mongod.log
storage:
  dbPath: /mongo/shard1/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /mongo/shard1/run/mongod.pid
net:
  port: 27001
  bindIp: 0.0.0.0
replication:
  replSetName: shard1
sharding:
  clusterRole: shardsvr
EOF

# 启动所有的shard1 server
mongod --config /mongo/shard1/mongod.conf

# 登陆任意一台shard1服务器，初始化副本集
mongo --port 27001

# 使用admin数据库
use admin

# 定义副本集配置
config = {
   _id : "shard1",
    members : [
        {_id : 0, host : "192.168.33.14:27001" },
        {_id : 1, host : "192.168.33.15:27001" },
        {_id : 2, host : "192.168.33.16:27001" }
    ]
}

# 初始化副本集配置
rs.initiate(config);

# 查看分区状态
rs.status()

2.配置第二个分片和副本集

# 修改mongo shard2 server的配置文件
mkdir -p /mongo/shard2/{log,data,run}

# 分别在多台机器上修改shard2 server的配置文件
cat > /mongo/shard2/mongod.conf << EOF
systemLog:
  destination: file
  logAppend: true
  path: /mongo/shard2/log/mongod.log
storage:
  dbPath: /mongo/shard2/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /mongo/shard2/run/mongod.pid
net:
  port: 27002
  bindIp: 0.0.0.0
replication:
  replSetName: shard2
sharding:
  clusterRole: shardsvr
EOF

# 启动所有的shard2 server
mongod --config /mongo/shard2/mongod.conf

# 登陆任意一台shard2服务器，初始化副本集
mongo --port 27002

# 使用admin数据库
use admin

# 定义副本集配置
config = {
   _id : "shard2",
    members : [
        {_id : 0, host : "192.168.33.14:27002" },
        {_id : 1, host : "192.168.33.15:27002" },
        {_id : 2, host : "192.168.33.16:27002" }
    ]
}

# 初始化副本集配置
rs.initiate(config)

# 查看分区状态
rs.status()

3.配置第三个分片和副本集

# 修改mongo shard3 server的配置文件
mkdir -p /mongo/shard3/{log,data,run}

# 分别在多台机器上修改shard3 server的配置文件
cat > /mongo/shard3/mongod.conf << EOF
systemLog:
  destination: file
  logAppend: true
  path: /mongo/shard3/log/mongod.log
storage:
  dbPath: /mongo/shard3/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /mongo/shard3/run/mongod.pid
net:
  port: 27003
  bindIp: 0.0.0.0
replication:
  replSetName: shard3
sharding:
  clusterRole: shardsvr
EOF

# 启动所有的shard3 server
mongod --config /mongo/shard3/mongod.conf

# 登陆任意一台的shard3服务器，初始化副本集
mongo --port 27003

# 使用admin数据库
use admin

# 定义副本集配置
config = {
   _id : "shard3",
    members : [
        {_id : 0, host : "192.168.33.14:27003" },
        {_id : 1, host : "192.168.33.15:27003" },
        {_id : 2, host : "192.168.33.16:27003" }
    ]
}

# 初始化副本集配置
rs.initiate(config)

# 查看分区状态
rs.status()

4.配置mongos路由器

##### 注意：启动mongos是守候进程是因为/mongo/mongos/mongod.conf缺少了fork: true这个配置#######
------------------------------------------------------------------------------------------

mkdir -p /mongo/mongos/{log,data,run}

# 添加mongs的配置文件
cat > /mongo/mongos/mongod.conf << EOF
systemLog:
  destination: file
  logAppend: true
  path: /mongo/mongos/log/mongod.log
processManagement:
  fork: true
  pidFilePath: /mongo/mongos/run/mongod.pid
net:
  port: 27200
  bindIp: 0.0.0.0
sharding:
  configDB: config/192.168.33.14:27100,192.168.33.15:27100,192.168.33.16:27100
EOF

# 注意，这里configDB后面的config要与配置服务器的_id保持一致

# 启动路由服务器
mongos --config /mongo/mongos/mongod.conf

# 登录其中的一台路由节点，手动启用分片
mongo --port 27200

# 添加分片到mongos
sh.addShard("shard1/192.168.33.14:27001,192.168.33.15:27001,192.168.33.16:27001")
sh.addShard("shard2/192.168.33.15:27002,192.168.33.16:27002,192.168.33.14:27002")
sh.addShard("shard3/192.168.33.16:27003,192.168.33.14:27003,192.168.33.15:27003")

# 设置slave可读
rs.slaveOk()

5.常用操作

#没有分片是因为没有开启分片规则

# 对bike这个数据库开启分片功能
use admin
db.runCommand({"enablesharding":"bike"}) 

# 对bike数据库下的users集合按id的hash进行分片
db.runCommand({"shardcollection":"bike.users","key":{_id:‘hashed‘}})

# 启动所有的config server
mongod --config /mongo/config/mongod.conf

# 启动所有的shard1
mongod --config /mongo/shard1/mongod.conf

# 启动所有的shard2
mongod --config /mongo/shard2/mongod.conf

# 启动所有的shard3
mongod --config /mongo/shard3/mongod.conf

# 启动所有的mongos
mongos --config /mongo/mongos/mongod.conf

# 关闭服务
mongod --shutdown --dbpath /mongo/shard3/data
mongod --shutdown --dbpath /mongo/shard2/data
mongod --shutdown --dbpath /mongo/shard1/data
mongod --shutdown --dbpath /mongo/config/data

原文：http://blog.51cto.com/hzde0128/2299602

内容总结

以上是互联网集市为您收集整理的MongoDB分布式集群分片全部内容，希望文章能够帮你解决MongoDB分布式集群分片所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1115766.html

来源：【匿名】

【上一篇】mongodb版本管理【下一篇】在MongoDB上如何进行数据的导入与导出

更多 ►

【MongoDB分布式集群分片】教程文章相关的互联网学习教程文章

MongoDB 分布式架构复制分片适用性范围【图】

转载自 http://www.mongoing.com/archives/3573原文：http://www.cnblogs.com/wangshouchang/p/6919942.html

MongoDB高可用集群搭建一、环境准备# 启动时需要使用非root用户，所有创建一个mongo用户： useradd mongo# 为mongo用户添加密码： echo 123456 | passwd --stdin mongo# 将mongo添加到sudoers echo "mongo ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/mongo chmod 0440 /etc/sudoers.d/mongo #解决sudo: sorry, you must have a tty to run sudo问题，在/etc/sudoer注释掉 Default requiretty 一行 sudo sed -i ‘s/Default...

玩转mongodb（九）：通过log4jmongo来实现分布式系统的日志统一管理【代码】【图】

。二是因为它与大型的关系型数据库相比有很多优势，比如查询快速、bson存储结构利于扩展、免费等。解决方案整合mongodb和log4j 1、安装mongodb数据库，并在本地启动，默认端口是27017，详细请参考：玩转mongodb（一）：初识mongodb 2、新建一个maven（maven版本要求3.0以上）工程，选择maven-archetype-quickstart，工程名：log4j2mongo 3、在pom.xml文件中，添加log4j、log4mongo-java、mongo-java-driver三个依赖。具体代码如下...

基于MongoDB分布式存储进行MapReduce并行查询【图】

; 下面是测试代码，首先是按帖子id来查询相应数量（基于分组查询实例方式）： public partial class getfile : System.Web.UI.Page { public Mongo Mongo { get; set; } public IMongoDatabase DB { get { return this.Mongo["dnt_mongodb"]; } } /// <summary> /// Sets up the test environment. You can eith...

GridFS:基于MongoDB的分布式文件存储系统【图】

GridFS是MongoDB之上的分布式文件系统，其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据，兼具文档型数 GridFS是MongoDB之上的分布式文件系统，其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据，兼具文档型数据库和文件系统的优势。GridFS是当前大数据潮流和复杂数据分析需求的产物。简单来说，GridFS通过将文件数据和文件元数据保存在MongoDB里来实现文件系统，通过复制(Repl...

Elasticsearch与MongoDB数据同步及分布式集群搭建（二）

上一篇《Elasticsearch与MongoDB 数据同步及分布式集群搭建（一）》我们已经配置了一个Elasticsearch与MongoDB 数据同步高可用，可扩展以及分布式是ES的一个优势和特色，扩展垂直扩展或者向上扩展，VerticalScale/Scaling Up，或是水平扩展或者向外扩展，Horizontal Scale/Scaling Out。一个节点会运行一个ES的实例，一个集群则会包含拥有相同cluster.name的一个或者多个节点，这些节点共同工作来完成数据共享和负载分担。随着节点...

mongodb的分布式集群(4、分片和副本集的结合)【代码】【图】

前面3篇博客讲了mongodb的分布式和集群，其中第一种的主从复制我们几乎不用，没有什么意义，剩下的两种，我们不论单独的使用哪一个，都会出现相应的问题，比较好的一种解决方案就是，分片和副本集的集合使用，这样就比较完美了。部署图在这里，我们需要注意，我们mongos服务器配置成了集群，所以，我们需要在客户端上分别得添加相应的地址，这个和在副本集的那篇博客中将的内容一样，在java客户端程序的具体核心代码，在...

mongodb的分布式集群(1、主从复制)【代码】【图】

关于分布式集群的概念有很多的解释，我比较倾向于“分布式集群”为两个概念，即，分布式是一个概念，集群是另一概念。分布式是把一个整体系统分成多个部分，分别部署到不同的服务器上，然后由中心服务器统一控制，形成的一个对外来说为一个整体的系统。集群是把一个整体，整体的分别部署到多个服务器上的结果。分布式和集群都是部署上的现象的描述，都涉及到多台服务器的部署，这是分布式和集群相同的地方，当然，...

mongodb的分布式集群(3、分片)【代码】【图】

上面两篇博客都是关于mongodb的集群的配置，没有涉及到分布式，该片博客就是写mongodb的分布式，把一个整体，分成多个片，每个片部署到不同的服务器上，这个就是mongodb的分布式，即：mongodb的分片操作。部署图 mongos服务器做的是路由服务器，config服务器就是保存相应配置的服务器，shard1和shard2就是分片服务器，这两个服务器合在一起才是一个整体，而mongos服务器就是他们的和点，所以，我们客户端只需要和mo...

mongodb的分布式集群(2、副本集)【代码】【图】

副本集是主从复制的一种，是一种自带故障转移功能的主从复制，解决了上述主从复制的缺点，实现主服务器发生故障后，不需人为介入，系统自动从新选举一个新的主服务器的功能。部署图该图是copy别人的，有兴趣的可以查看该人的博客，写的非常的棒副本集配置 <strong> </strong> //启动服务器(登录每台服务器)mongod --dbpath d:/data/ --replSet repset//初始化副本集(登录任意一台服务器)config = { _id:"repset",...

mongodb的分布式集群(2、副本集)【代码】【图】

副本集是主从复制的一种，是一种自带故障转移功能的主从复制。攻克了上述主从复制的缺点。实现主server发生问题后。不需人为介入。系统自己主动从新选举一个新的主server的功能。部署图该图是copy别人的，有兴趣的能够查看该人的博客，写的很的棒副本集配置 <strong> </strong> //启动server(登录每台server)mongod --dbpath d:/data/ --replSet repset//初始化副本集(登录随意一台server)config = { _id:"repset...

搭建一个分布式MongoDB鉴权集群【代码】【图】

关键字：Replica-Set Shard 副本分片鉴权 KeyFile authMongoDB根据部署的不同，有两种添加鉴权的方式，分别是单实例的鉴权方式和KeyFile的鉴权方式。两种方式的共同点都是，先在没有鉴权的情况下创建超级用户，然后再以鉴权的方式重启实例。下面分别介绍这两种方式。 1 单实例的鉴权部署这种方式比较简单，步骤如下： 1.1 启动MongoDBmongod --logpath ./test.log -dbpath ./data --port 8765 --fork 1.2 添加超级用户use admind...

Asp.net 实现Session分布式储存(Redis,Mongodb,Mysql等) sessionState Custom【代码】

如果在数据存储区中找到会话项数据但该数据已锁定，则 GetItemExclusive 方法将 locked 输出参数设置为 true，将 lockAge输出参数设置为当前日期和时间与该项锁定日期和时间的差，将 lockId 输出参数设置为从数据存储区中检索的锁定标识符，并返回 null。这将导致 SessionStateModule 隔半秒后再次调用 GetItemExclusive 方法，以尝试检索会话项信息和获取对数据的锁定。如果 lockAge 输出参数的设置值超过 ExecutionTimeout 值，S...

Mongodb的分布式配置【图】

Mongodb存在三种级别的分布式配置：主从配置、集群配置以及集群分片配置，建议我们采用集群配置。主从配置启动主服务器： mongod.exe --dbpath ..\db --port 27017 –master 启动若干个从服务器：mongod.exe --slave --source 127.0.0.1:27017 --dbpath ..\db2 --port 27018，source后面是主服务器的地址和端口号。这种方式简单灵活，可用于备份、故障恢复，读扩展。为了平衡负载，一般通过读写分离模式，即主库写、从库读。缺...

MongoDB 分布式架构复制分片适用性范围【图】

转载自 http://www.mongoing.com/archives/3573MongoDB 分布式架构复制分片适用性范围标签：分布式架构 hive arc ec2 bsp https http mon cab 本文系统来源：http://www.cnblogs.com/wangshouchang/p/6919942.html

首页 / MONGODB / MongoDB分布式集群分片

MongoDB分布式集群分片

内容导读

内容图文

一、环境准备

二、主机规划

三、安装部署

1.配置第一个分片和副本集

2.配置第二个分片和副本集

3.配置第三个分片和副本集

4.配置mongos路由器

5.常用操作

内容总结

内容备注

内容手机端

【MongoDB分布式集群分片】教程文章相关的互联网学习教程文章

MongoDB 分布式架构复制分片适用性范围【图】