配置分布式文件系统，搭建Ceph存储集群。

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上。而是通过计算机网络与节点相连。

分布式文件系统的设计基于客户机/服务器模式。

什么是Ceph。

是一个分布式文件系统。

具有高拓展、高可用、高性能的特点。

可用提供对象存储、块存储、文件系统存储。

可提供PB级别的存储空间。

在node1创建发送ssh秘钥

hosts文件修改（真机scp发送）（同时这也是集群结构，按照此表创建虚拟机）

192.168.4.10 client          //客户机

192.168.4.11 node1           //123服务器

192.168.4.12 node2

192.168.4.13 node3

yum源配置（900M的一个ios与centos7做源，真机scp发送）

时间同步服务器，时间一致（一个node写好，scp发送）

node{1..3}准备20GB*3磁盘

规模操作由pssh软件完成。

以下操作均在在node1完成：

yum -y install ceph-deploy       //安装软件包

mkdir ceph-cluster           //创建目录

cd ceph-cluster            //进入目录

ceph-deploy new node1 node2 node3        //创建Ceph集群配置

ceph-deploy install node1 node2 node3          //给所有节点安装软件包

ceph-deploy mon create-initial             //初始化所有节点的mon服务

安装pssh：https://teddyou.com/?id=43

vim /root/.host文件写入

node1

node2

node3

vim /etc/bashrc 写入：

alias node="pssh -i -h /root/.host "

创建分区：

node  parted  /dev/vdb  mklabel  gpt

node  parted  /dev/vdb  mkpart primary  1M  50%

node  parted  /dev/vdb  mkpart primary  50%  100%

授权：

node chown  ceph.ceph  /dev/vdb1

node chown  ceph.ceph  /dev/vdb2

写udev规则：

node echo 'ENV{DEVNAME}=="/dev/vdb1",OWNER="ceph",GROUP="ceph"

ENV{DEVNAME}=="/dev/vdb2",OWNER="ceph",GROUP="ceph"' > /etc/udev/rules.d/70-vdb.rules

初始化清空磁盘数据：

for i in node1 node2 node3 ;do ceph-deploy disk  zap $i:vdc $i:vdd ; done

创建OSD存储空间：

for i in node1 node2 node3 ;do ceph-deploy osd create $i:vdc:/dev/vdb1 $i:vdd:/dev/vdb2 ; done

查看状态：

ceph  -s

搭建完成！

创建查看镜像：

[root@node1 ~]# rbd create demo-image --image-feature  layering --size 10G

[root@node1 ~]# rbd create rbd/image --image-feature  layering --size 10G

[root@node1 ~]# rbd list

[root@node1 ~]# rbd info demo-image

rbd image 'demo-image':

    size 10240 MB in 2560 objects

    order 22 (4096 kB objects)

    block_name_prefix: rbd_data.d3aa2ae8944a

    format: 2

    features: layering

缩小空间：

[root@node1 ~]# rbd resize --size 7G image --allow-shrink

[root@node1 ~]# rbd info image

扩大空间：

[root@node1 ~]# rbd resize --size 15G image

[root@node1 ~]# rbd info image

本地挂载：

[root@node1 ~]# rbd map demo-image

/dev/rbd0

[root@node1 ~]# lsblk

… …

rbd0          251:0    0   10G  0 disk

[root@node1 ~]# mkfs.xfs /dev/rbd0

[root@node1 ~]# mount  /dev/rbd0  /mnt

客户端：

yum -y  install ceph-common   //装包

scp node1:/etc/ceph/ceph.conf /etc/ceph/

scp node1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

 rbd map image（rbd map image）

rbd showmapped

mkfs.xfs /dev/rbd0

mount /dev/rbd0 /mnt/

完成。