测试环境部署ceph分布式存储集群系统

概述

在公司内部测试环境部署ceph分布式存储集群系统。

服务器硬件配置：

osdsrv0：四核八线程CPU×1，32G内存，1T硬盘×6
osdsrv1：双核四线程CPU×1，16G内存，2T硬盘×1
osdsrv2：同osdsrv1

集群部署方案

三台服务器osdsrv0、osdsrv1和osdsrv2安装的均是centos 7.1.1503 64位，并在其上安装了kvm虚拟化管理。

3个MON节点：

分别在三台服务器上各创建一个虚拟机用于MON节点：osdsrv0上创建mon1，osdsrv1上创建mon2，osdsrv2上创建mon3。

5个OSD节点：除osdsrv0、osdsrv1、osdsrv2作3个OSD节点外，在osdsrv0上创建osdsrv3、osdsrv4虚拟机用于第4、5个OSD节点。

2.1 osdsrv0主机及其虚拟机

osdsrv0：主机宿主系统作第1个osd主机。

硬盘1：第1块物理硬盘(/dev/sda)

  分区1(/dev/sda1)：200M，用于启动OS。

  分区2(/dev/sda2)：50G，用于OS文件和应用软件。

  分区5(/dev/sda5)：200G，用于虚拟机磁盘。

硬盘2：第2块物理硬盘(/dev/sdb)

  分区1(/dev/sdb1)：300G，用于osd.0的数据盘，存储分布式数据。

  分区2(/dev/sdb2)：300G，用于osd.1的数据盘，存储分布式数据。

  分区3(/dev/sdb3)：300G，用于osd.2的数据盘，存储分布式数据。

  分区5(/dev/sdb5)：10G，用于osd.0的日志盘。

  分区6(/dev/sdb6)：10G，用于osd.1的日志盘。

  分区7(/dev/sdb7)：10G，用于osd.2的日志盘。

硬盘3：第3块物理硬盘(/dev/sdc)

  分区1(/dev/sdc1)：300G，用于osd.3的数据盘，存储分布式数据。

  分区2(/dev/sdc2)：300G，用于osd.4的数据盘，存储分布式数据。

  分区3(/dev/sdc3)：300G，用于osd.5的数据盘，存储分布式数据。

  分区5(/dev/sdc5)：10G，用于osd.3的日志盘。

  分区6(/dev/sdc6)：10G，用于osd.4的日志盘。

  分区7(/dev/sdc7)：10G，用于osd.5的日志盘。

mon1：虚拟机，第1个mon节点。

1个vcpu，2G内存。

硬盘1：第1块硬盘中的30G空间，用于OS和ceph监控运行时信息。

osdsrv3：虚拟机，第4个osd主机。

1个vcpu，8G内存。

硬盘1：第1块硬盘中的30G空间，用于OS和ceph监控运行时信息。

硬盘2：第1块虚拟硬盘/dev/vda，映射到宿主机osdsrv0的物理硬盘/dev/sdd

  分区1(/dev/sdd1)：300G，用于osd.16的数据盘，存储分布式数据。

  分区2(/dev/sdd2)：300G，用于osd.17的数据盘，存储分布式数据。

  分区3(/dev/sdd3)：300G，用于osd.18的数据盘，存储分布式数据。

  分区5(/dev/sdd5)：10G，用于osd.16的日志盘。

  分区6(/dev/sdd6)：10G，用于osd.17的日志盘。

  分区7(/dev/sdd7)：10G，用于osd.18的日志盘。

硬盘3：第2块虚拟硬盘/dev/vdb，映射到宿主机osdsrv0的物理硬盘/dev/sde

  分区1(/dev/sde1)：300G，用于osd.19的数据盘，存储分布式数据。

  分区2(/dev/sde2)：300G，用于osd.20的数据盘，存储分布式数据。

  分区3(/dev/sde3)：300G，用于osd.21的数据盘，存储分布式数据。

  分区5(/dev/sde5)：10G，用于osd.19的日志盘。

  分区6(/dev/sde6)：10G，用于osd.20的日志盘。

  分区7(/dev/sde7)：10G，用于osd.21的日志盘。

osdsrv4：虚拟机，第5个osd主机。

1个vcpu，7G内存。

硬盘1：第1块硬盘中的30G空间，用于OS和ceph监控运行时信息。

硬盘2：第1块虚拟硬盘/dev/vda，映射到宿主机osdsrv0的物理硬盘/dev/sdf

  分区1(/dev/sdf1)：300G，用于osd.22的数据盘，存储分布式数据。

  分区2(/dev/sdf2)：300G，用于osd.23的数据盘，存储分布式数据。

  分区3(/dev/sdf3)：300G，用于osd.24的数据盘，存储分布式数据。

  分区5(/dev/sdf5)：10G，用于osd.22的日志盘。

  分区6(/dev/sdf6)：10G，用于osd.23的日志盘。

  分区7(/dev/sdf7)：10G，用于osd.24的日志盘。

硬盘3：第2块虚拟硬盘/dev/vdb，映射到宿主机osdsrv0的物理硬盘/dev/sda

  分区6(/dev/sda6)：300G，用于osd.25的数据盘，存储分布式数据。

  分区7(/dev/sda7)：300G，用于osd.26的数据盘，存储分布式数据。

  分区8(/dev/sda8)：10G，用于osd.25的日志盘。

  分区9(/dev/sda9)：10G，用于osd.26的日志盘。

2.2 osdsrv1主机及其虚拟机

osdsrv1：主机宿主系统作第2个osd主机。

硬盘1：第1块物理硬盘。

  分区1(/dev/sda1)：200M，用于启动OS。

  分区2(/dev/sda2)：50G，用于OS文件和应用软件。

  分区5(/dev/sda5)：200G，用于虚拟机磁盘。

  分区6(/dev/sda6)：300G，用于osd.6的数据盘，存储分布式数据。
    
  分区7(/dev/sda7)：300G，用于osd.7的数据盘，存储分布式数据。

  分区8(/dev/sda8)：300G，用于osd.8的数据盘，存储分布式数据。
    
  分区9(/dev/sda9)：300G，用于osd.9的数据盘，存储分布式数据。

  分区10(/dev/sda10)：300G，用于osd.10的数据盘，存储分布式数据。

  分区11(/dev/sda11)：10G，用于osd.6的日志盘。

  分区12(/dev/sda12)：10G，用于osd.7的日志盘。

  分区13(/dev/sda13)：10G，用于osd.8的日志盘。

  分区14(/dev/sda14)：10G，用于osd.9的日志盘。

  分区15(/dev/sda15)：10G，用于osd.10的日志盘。

mon2：虚拟机，作第2个mon节点。

1个vcpu，2G内存。

硬盘1：第1块硬盘中的30G空间，用于OS和ceph监控运行时信息。

2.3 osdsrv2主机及其虚拟机

osdsrv2：主机宿主系统作第3个osd主机。

硬盘1：第1块物理硬盘。

  分区1(/dev/sda1)：200M，用于启动OS。

  分区2(/dev/sda2)：50G，用于OS文件和应用软件。

  分区5(/dev/sda5)：200G，用于虚拟机磁盘。

  分区6(/dev/sda6)：300G，用于osd.11的数据盘，存储分布式数据。
    
  分区7(/dev/sda7)：300G，用于osd.12的数据盘，存储分布式数据。

  分区8(/dev/sda8)：300G，用于osd.13的数据盘，存储分布式数据。
    
  分区9(/dev/sda9)：300G，用于osd.14的数据盘，存储分布式数据。

  分区10(/dev/sda10)：300G，用于osd.15的数据盘，存储分布式数据。

  分区11(/dev/sda11)：10G，用于osd.11的日志盘。

  分区12(/dev/sda12)：10G，用于osd.12的日志盘。

  分区13(/dev/sda13)：10G，用于osd.13的日志盘。

  分区14(/dev/sda14)：10G，用于osd.14的日志盘。

  分区15(/dev/sda15)：10G，用于osd.15的日志盘。

mon3：虚拟机，作第3个mon节点。

1个vcpu，2G内存。

硬盘1：第1块硬盘中的30G空间，用于OS和ceph监控运行时信息。