首页 / CENTOS / CentOS 7 下安装 Ceph 存储集群

CentOS 7 下安装 Ceph 存储集群

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了CentOS 7 下安装 Ceph 存储集群，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10872字，纯文字阅读大概需要16分钟。

内容图文

一、准备机器
二、ceph节点安装
三、搭建集群
四、扩展集群（扩容）

一、准备机器

CentOS 7 下安装 Ceph 存储集群 - 文章图片

一共4台机器，其中1个是管理节点，其他3个是ceph节点：

hostname	ip	role	描述
admin-node	192.168.0.130	ceph-deploy	管理节点
node1	192.168.0.131	mon.node1	ceph节点，监控节点
node2	192.168.0.132	osd.0	ceph节点，OSD节点
node3	192.168.0.133	osd.1	ceph节点，OSD节点

管理节点：admin-node

ceph节点：node1, node2, node3

所有节点：admin-node, node1, node2, node3

1. 修改主机名

# vi /etc/hostname

2. 修改hosts文件

# vi /etc/hosts

192.168.0.130 admin-node
192.168.0.131 node1
192.168.0.132 node2
192.168.0.133 node3

3. 确保联通性（管理节点）

用 ping 短主机名（ hostname -s ）的方式确认网络联通性。解决掉可能存在的主机名解析问题。

$ ping node1
$ ping node2
$ ping node3

二、ceph节点安装

1. 安装NPT（所有节点）

我们建议在所有 Ceph 节点上安装 NTP 服务（特别是 Ceph Monitor 节点），以免因时钟漂移导致故障，详情见时钟。

# sudo yum install ntp ntpdate ntp-doc

2. 安装SSH（所有节点）

# sudo yum install openssh-server

3. 创建部署 CEPH 的用户（所有节点）

ceph-deploy 工具必须以普通用户登录 Ceph 节点，且此用户拥有无密码使用 sudo 的权限，因为它需要在安装软件及配置文件的过程中，不必输入密码。
建议在集群内的所有 Ceph 节点上给 ceph-deploy 创建一个特定的用户，但不要用 “ceph” 这个名字。

1) 在各 Ceph 节点创建新用户

$ sudo useradd -d /home/zeng -m zeng
$ sudo passwd zeng

2) 确保各 Ceph 节点上新创建的用户都有 sudo 权限

$ echo "zeng ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/zeng
$ sudo chmod 0440 /etc/sudoers.d/zeng

4. 允许无密码SSH登录（管理节点）

因为 ceph-deploy 不支持输入密码，你必须在管理节点上生成 SSH 密钥并把其公钥分发到各 Ceph 节点。 ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。

1) 生成 SSH 密钥对

不要用 sudo 或 root 用户。提示 “Enter passphrase” 时，直接回车，口令即为空：

//切换用户，如不特别说明，后续的操作均在该用户下进行
# su zeng

//生成密钥对
$ ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/home/zeng/.ssh/id_rsa): 
Created directory '/home/zeng/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/zeng/.ssh/id_rsa.
Your public key has been saved in /home/zeng/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Tb0VpUOZtmh+QBRjUOE0n2Uy3WuoZVgXn6TBBb2SsGk zeng@admin-node
The key's randomart image is:
+---[RSA 2048]----+
|          .+@=OO*|
|           *.BB@=|
|          ..O+Xo+|
|         o E+O.= |
|        S oo=.o  |
|           .. .  |
|             .   |
|                 |
|                 |
+----[SHA256]-----+

2) 把公钥拷贝到各 Ceph 节点

$ ssh-copy-id zeng@node1
$ ssh-copy-id zeng@node2
$ ssh-copy-id zeng@node3

完成后， /home/zeng/.ssh/ 路径下：

admin-node 多了文件 id_rsa、id_rsa.pub 和 known_hosts；
node1, node2, node3 多了文件authorized_keys。

3) 修改~/.ssh/config 文件

修改 ~/.ssh/config 文件（没有则新增），这样 ceph-deploy 就能用你所建的用户名登录 Ceph 节点了。

// 必须使用sudo
$ sudo vi ~/.ssh/config

Host admin-node
   Hostname admin-node
   User zeng
Host node1
   Hostname node1
   User zeng
Host node2
   Hostname node2
   User zeng
Host node3
   Hostname node3
   User zeng

4) 测试ssh能否成功

$ ssh zeng@node1
$ exit
$ ssh zeng@node2
$ exit
$ ssh zeng@node3
$ exit

问题：如果出现 "Bad owner or permissions on /home/zeng/.ssh/config"，执行命令修改文件权限。
$ sudo chmod 644 ~/.ssh/config

5. 引导时联网（ceph节点）

Ceph 的各 OSD 进程通过网络互联并向 Monitors 上报自己的状态。如果网络默认为 off ，那么 Ceph 集群在启动时就不能上线，直到你打开网络。

$ cat /etc/sysconfig/network-scripts/ifcfg-enp0s3

//确保ONBOOT 设置成了 yes

6. 开放所需端口（ceph节点）

Ceph Monitors 之间默认使用 6789 端口通信， OSD 之间默认用 6800:7300 这个范围内的端口通信。Ceph OSD 能利用多个网络连接进行与客户端、monitors、其他 OSD 间的复制和心跳的通信。

$ sudo firewall-cmd --zone=public --add-port=6789/tcp --permanent
// 或者关闭防火墙
$ sudo systemctl stop firewalld
$ sudo systemctl disable firewalld

7. 终端（TTY）（ceph节点）

在 CentOS 和 RHEL 上执行 ceph-deploy 命令时可能会报错。如果你的 Ceph 节点默认设置了 requiretty ，执行

$ sudo visudo

找到 Defaults requiretty 选项，把它改为 Defaults:ceph !requiretty 或者直接注释掉，这样 ceph-deploy 就可以用之前创建的用户（创建部署 Ceph 的用户）连接了。

编辑配置文件 /etc/sudoers 时，必须用 sudo visudo 而不是文本编辑器。

8. 关闭selinux（ceph节点）

$ sudo setenforce 0

要使 SELinux 配置永久生效（如果它的确是问题根源），需修改其配置文件 /etc/selinux/config：

$ sudo vi /etc/selinux/config

修改 SELINUX=disabled。

9. 配置EPEL源（管理节点）

$ sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

10. 把软件包源加入软件库（管理节点）

$ sudo vi /etc/yum.repos.d/ceph.repo

把如下内容粘帖进去，保存到 /etc/yum.repos.d/ceph.repo 文件中。

[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

11. 更新软件库并安装ceph-deploy（管理节点）

$ sudo yum update && sudo yum install ceph-deploy
$ sudo yum install yum-plugin-priorities

时间可能比较久，耐心等待。

三、搭建集群

在 管理节点 下执行如下步骤：

1. 安装准备，创建文件夹

在管理节点上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对。

$ cd ~
$ mkdir my-cluster
$ cd my-cluster

注：若安装ceph后遇到麻烦可以使用以下命令进行清除包和配置：

// 删除安装包
$ ceph-deploy purge admin-node node1 node2 node3

// 清除配置
$ ceph-deploy purgedata admin-node node1 node2 node3
$ ceph-deploy forgetkeys

2. 创建集群和监控节点

创建集群并初始化监控节点：

$ ceph-deploy new {initial-monitor-node(s)}

这里node1是monitor节点，所以执行：

$ ceph-deploy new node1

完成后，my-clster 下多了3个文件：ceph.conf、ceph-deploy-ceph.log 和 ceph.mon.keyring。

问题：如果出现 "[ceph_deploy][ERROR ] RuntimeError: remote connection got closed, ensure requiretty is disabled for node1"，执行 sudo visudo 将 Defaults requiretty 注释掉。

3. 修改配置文件

$ cat ceph.conf

内容如下：

[global]
fsid = 89933bbb-257c-4f46-9f77-02f44f4cc95c
mon_initial_members = node1
mon_host = 192.168.0.131
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。把 osd pool default size = 2 加入 [global] 段：

$ sed -i '$a\osd pool default size = 2' ceph.conf

如果有多个网卡，
可以把 public network 写入 Ceph 配置文件的 [global] 段：

public network = {ip-address}/{netmask}

4. 安装Ceph

在所有节点上安装ceph：

$ ceph-deploy install admin-node node1 node2 node3

问题：[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install epel-release

解决方法：
sudo yum -y remove epel-release

5. 配置初始 monitor(s)、并收集所有密钥

$ ceph-deploy mon create-initial

完成上述操作后，当前目录里应该会出现这些密钥环：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

6. 添加2个OSD

1) 登录到 Ceph 节点、并给 OSD 守护进程创建一个目录，并添加权限。

$ ssh node2
$ sudo mkdir /var/local/osd0
$ sudo chmod 777 /var/local/osd0/
$ exit

$ ssh node3
$ sudo mkdir /var/local/osd1
$ sudo chmod 777 /var/local/osd1/
$ exit

2) 然后，从管理节点执行 ceph-deploy 来准备 OSD 。

$ ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1

3) 最后，激活 OSD 。

$ ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1

7.把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点

$ ceph-deploy admin admin-node node1 node2 node3

8. 确保你对 ceph.client.admin.keyring 有正确的操作权限

$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring

9. 检查集群的健康状况和OSD节点状况

[zeng@admin-node my-cluster]$ ceph health
HEALTH_OK

[zeng@admin-node my-cluster]$ ceph -s
    cluster a3dd419e-5c99-4387-b251-58d4eb582995
     health HEALTH_OK
     monmap e1: 1 mons at {node1=192.168.0.131:6789/0}
            election epoch 3, quorum 0 node1
     osdmap e10: 2 osds: 2 up, 2 in
            flags sortbitwise,require_jewel_osds
      pgmap v22: 64 pgs, 1 pools, 0 bytes data, 0 objects
            12956 MB used, 21831 MB / 34788 MB avail
                  64 active+clean
                  
[zeng@admin-node my-cluster]$ ceph osd df
ID WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS 
 0 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  64 
 1 0.01659  1.00000 17394M  6478M 10915M 37.25 1.00  64 
              TOTAL 34788M 12956M 21831M 37.24          
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

四、扩展集群（扩容）

CentOS 7 下安装 Ceph 存储集群 - 文章图片

1. 添加OSD

在 node1 上添加一个 osd.2。

1) 创建目录

$ ssh node1
$ sudo mkdir /var/local/osd2
$ sudo chmod 777 /var/local/osd2/
$ exit

2) 准备OSD

$ ceph-deploy osd prepare node1:/var/local/osd2

3) 激活OSD

$ ceph-deploy osd activate node1:/var/local/osd2

4) 检查集群的健康状况和OSD节点状况：

[zeng@admin-node my-cluster]$ ceph -s
    cluster a3dd419e-5c99-4387-b251-58d4eb582995
     health HEALTH_OK
     monmap e1: 1 mons at {node1=192.168.0.131:6789/0}
            election epoch 3, quorum 0 node1
     osdmap e15: 3 osds: 3 up, 3 in
            flags sortbitwise,require_jewel_osds
      pgmap v37: 64 pgs, 1 pools, 0 bytes data, 0 objects
            19450 MB used, 32731 MB / 52182 MB avail
                  64 active+clean

[zeng@admin-node my-cluster]$ ceph osd df
ID WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS 
 0 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  41 
 1 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  43 
 2 0.01659  1.00000 17394M  6494M 10899M 37.34 1.00  44 
              TOTAL 52182M 19450M 32731M 37.28          
MIN/MAX VAR: 1.00/1.00  STDDEV: 0.04

2. 添加MONITORS

在 ndoe2 和 node3 添加监控节点。

1) 修改 mon_initial_members、mon_host 和 public network 配置：

[global]
fsid = a3dd419e-5c99-4387-b251-58d4eb582995
mon_initial_members = node1,node2,node3
mon_host = 192.168.0.131,192.168.0.132,192.168.0.133
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

osd pool default size = 2
public network = 192.168.0.120/24

2) 推送至其他节点：

$ ceph-deploy --overwrite-conf config push node1 node2 node3

3) 添加监控节点:

$ ceph-deploy mon add node2 node3

4) 查看监控节点：

[zeng@admin-node my-cluster]$ ceph -s
    cluster a3dd419e-5c99-4387-b251-58d4eb582995
     health HEALTH_OK
     monmap e3: 3 mons at {node1=192.168.0.131:6789/0,node2=192.168.0.132:6789/0,node3=192.168.0.133:6789/0}
            election epoch 8, quorum 0,1,2 node1,node2,node3
     osdmap e25: 3 osds: 3 up, 3 in
            flags sortbitwise,require_jewel_osds
      pgmap v3919: 64 pgs, 1 pools, 0 bytes data, 0 objects
            19494 MB used, 32687 MB / 52182 MB avail
                  64 active+clean

参考链接：
PREFLIGHT
STORAGE CLUSTER QUICK START

内容总结

以上是互联网集市为您收集整理的CentOS 7 下安装 Ceph 存储集群全部内容，希望文章能够帮你解决CentOS 7 下安装 Ceph 存储集群所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/979344.html

来源：【匿名】

【上一篇】PXE+kickstart无人值守安装CentOS 【下一篇】Centos系统下快速部署LNMP环境

更多 ►

【CentOS 7 下安装 Ceph 存储集群】教程文章相关的互联网学习教程文章

基于centos7.3安装部署jewel版本ceph集群实战演练【代码】【图】

一、环境准备安装centos7.3虚拟机三台由于官网源与网盘下载速度都非常的慢，所以给大家提供了国内的搜狐镜像源：http://mirrors.sohu.com/centos/7.3.1611/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso在三台装好的虚拟机上分别加三块100G的硬盘。如图所示：650) this.width=650;" src="/upload/getfiles/default/2022/11/5/20221105011030166.jpg" title="1504513998(1).png" />3.配置ipceph-1ceph-2ceph-3192.168.42.200192.168.42...

linux （centos7）使用ceph-deploy 安装ceph【代码】

一摘要本文是基于centos7.6 版使用ceph-deploy 工具安装ceph nautilus 版本。二环境（一）操作系统版本[root@ceph ~]# cat /etc/centos-release CentOS Linux release 7.6.1810 (Core) [root@ceph ~]# uname -a Linux ceph.novalocal 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux [root@ceph ~]#（二）ceph 版本（三）部署规划主机名IP磁盘角色ceph001172.31.185.127系统盘：/de...

Centos8部署Ceph集群对接OpenStack(U版本)【代码】

简介 Linux持续不断进军可扩展计算空间，特别是可扩展存储空间，Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列，它是一个分布式文件系统，能够在维护 POSIX 兼容性的同时加入了复制和容错功能Ceph 生态系统架构可以划分为四部分：1、Clients：客户端（数据用户）2、cmds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据）3、cosd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，...

linux （centos 8.1）生产环境基于9台物理机安装 opentstack ussuri集群以及集成ceph

零修订记录序号修订记录修订时间1 新增 20210429一摘要本文介绍基于9台物理机部署openstack ussuri版本以及与ceph nautils集成。二环境信息（一）服务器信息主机名品牌型号机器配置数量procontroller01.pro.kxdigit.com 浪潮 SA5212M5 42102/128G/SSD:240G2/SAS:2T 7.2K 2 /10G X7102/1G PHY卡*1/RAID卡 SAS3108 2GB 1procontroller02.pro.kxdigit.com 浪潮 SA5212M5 42102/128G/SSD:240G2/SAS:2T 7.2K 2 /10G X7102/1G...

三台服务器搭建ceph集群，有无公网都可搭建（centos系统）【代码】

使用ceph-deploy工具搭建ceph集群一、环境前准备（重要，缺一不可）以ceph1（或者node1 这里看大家自定义自己的服务器主机名）为例，先通过ceph1实现三台服务器免密登陆，主机修改/etc/hosts文件同步至所有服务器，然后防火墙关闭、selinux设置宽松模式实现免密登陆 [root@node1 ~]# ssh-keygen -f /root/.ssh/id_rsa -N '' [root@ceph1 ~]# for i in 11 12 13; do ssh-copy-id 192.168.22.$i; done修改主机文件，同步所有...

使用centos7搭建ceph【代码】

CEPH集群搭建 centos7搭建ceph集群基础环境部署在admin节点上在node{1..3}节点上安装ceph安装epel源创建ceph源（这里使用阿里源）安装ceph ceph-radosgw 搭建集群Dashboard的配置配置client使用centos7搭建ceph集群 Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、...

Centos7下使用Ceph-deploy快速部署Ceph分布式存储-操作记录

之前已详细介绍了Ceph分布式存储基础知识，下面简单记录下Centos7使用Ceph-deploy快速部署Ceph环境：1）基本环境1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93192.168.10.220??? ceph-adm...

CentOS7.6启用Ceph nautilus的dashboard失败处理【代码】【图】

[TOC] 1. 环境说明软件版本操作系统 CentOS7.6ceph nautilus, v14.2.4ceph-deploy的nautilus版本安装和luminous版本一样，可以参考我以前的文章：https://blog.51cto.com/ygqygq2/2161917 2. 启用ceph dashboard失败 mgr模块开启dashboard提示错误，虽然加上--force表面启用了，但实际并未启动dashboard服务，因为设置dashboard用户命令提示不支持。3. 问题排查过程 mgr节点查看mgr启动日志详细日志： 2019-11-08 12:44:23.673 7f...

Taishan服务器装centos7.6系统部署ceph服务出现的慢请求【代码】【图】

近期，公司云要适配Taishan服务器，于是在服务器上部署了ceph，用来跑储存，但是在使用ceph上传快文件时，ceph出现大量的慢请求，导致ceph集群用不了，但是，使用对象存储和文件系统，未出现以上情况，于是在服务器上使用dmesg命令查看，出现一下问题：对于这个问题，在网上找到信息，需要升级hns3网卡驱动，才能解决这个问题。由于升级教程编辑模块配置 echo 'blacklist hns_roce_hw_v2' >> /usr/lib/modprobe.d/dist-blacklist.c...

CentOS 安装 ceph 单机版【图】

简介 Ceph是一个分布式存储软件。它支持用3种方式存储数据，分别是：对象存储、块设备存储、分布式文件系统存储。 Ceph这个软件，分为3层，最底层是Rados对象存储系统、中间是一个librados，也就是一个接口层，对外提供访问Rados对象存储系统的接口API，最上层又提供了三种不同的存储方式：对象存储、块设备存储、文件系统存储。环境准备 1、修改主机名 hostnamectl set-hostname nceph 2、配置hosts文件cat <<"EOF">/etc/hos...

centos7安装ceph-luminous（1 mon+2 osd）【代码】【图】

说明：由于环境有限，这里只是用一台机器一、部署环境VMware Workstation 10 centos7二、主机配置主机名 ip cpu rammaster 192.168.137.10 2 3G 1、在 /etc/hosts 添加以下内容：2、关闭防火墙、selinux、swapsystemctl stop firewalld systemctl disable firewalld修改：vim /etc/selinux/config 3、对主机进行免密设置 1）、CentOS7默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中1行的注释#PubkeyAuthentication ...