存储节点扩容的方法

如果存储节点提供的存储空间不够用，想要扩容的话有下面两种方式：

通过在现有的存储节点上增加新的硬盘来实现扩容
通过添加新的存储节点来实现扩容

1.在现有的存储节点上增加新的硬盘来扩容

假设现有的cdora配置信息如下，分别有cssrv12和cssrv13两个存储节点：

shosts:
    cdbmgr:
        mip: 10.197.160.11   #管理IP
        sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表，通常有两个
        iscsi:
        sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
    cssrv12:
        mip: 10.197.160.12
        sips: [172.16.10.12,172.16.11.12]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iser:
            ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
            ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    cssrv13:
        mip: 10.197.160.12
        sips: [172.16.10.12,172.16.11.12]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iser:
            ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
            ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
chosts:
    cssrv12:
        mip: 10.197.160.12
    cssrv13:
        mip: 10.197.160.13

我们希望在cssrv12节点增加两块SSD，步骤如下：

首先在cssrv12的物理机上插入两块新的ssd硬盘
在linux系统中找到新硬盘的位置，记录他们的/dev/disk/by-path下的地址

在配置文件中写入这两块新硬盘的by-path地址，修改后的配置文件如下

shosts:
 cdbmgr:
     mip: 10.197.160.11   #管理IP
     sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表，通常有两个
     iscsi:
     sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
 cssrv12:
     mip: 10.197.160.12
     sips: [172.16.10.12,172.16.11.12]
     acl: [172.16.10.0/24,172.16.11.0/24]
     iser:
         ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
         ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
         ssd03:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:2:0
         ssd04:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:3:0
 cssrv13:
     mip: 10.197.160.12
     sips: [172.16.10.12,172.16.11.12]
     acl: [172.16.10.0/24,172.16.11.0/24]
     iser:
         ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
         ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
chosts:
 cssrv12:
     mip: 10.197.160.12
 cssrv13:
     mip: 10.197.160.13

将新的cdora.yml配置文件更新到所有的计算节点和存储节点
配置完后，在所有的计算节点和存储节点都执行下面的命令来刷新udev配置信息：
```
udevadm control -R
```
在cssrv12节点执行下面的命令来把新添加的硬盘共享给计算节点使用：
```
cdora shost attach -d cssrv12.ssd03
cdora shost attach -d cssrv13.ssd04
```
在所有的计算节点执行下面命令挂载新的共享磁盘：
```
cdora chost load -d cssrv12.ssd03
cdora chost load -d cssrv12.ssd04
```

2.通过增加新的存储节点来完成存储扩容

假设现有的cdora.yml配置文件如下，分别有cssrv12和cssrv13两个存储节点

shosts:
    cdbmgr:
        mip: 10.197.160.11   #管理IP
        sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表，通常有两个
        iscsi:
        sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
    cssrv12:
        mip: 10.197.160.12
        sips: [172.16.10.12,172.16.11.12]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iser:
            ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
            ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    cssrv13:
        mip: 10.197.160.12
        sips: [172.16.10.12,172.16.11.12]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iser:
            ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
            ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
chosts:
    cssrv12:
        mip: 10.197.160.12
    cssrv13:
        mip: 10.197.160.13

可以按照下面的步骤来增加一个存储节点，从而实现扩容的目的：

首先安装好新的存储节点的操作系统
由于cdora是cdagent模块带的一个工具，所以需要先安装cdagent，安装好cdagent后，即可在/opt/cdagent/bin/目录下找到cdora程序

将新的存储节点（cssrv14）写入配置文件中，新的配置文件如下：

shosts:
 cdbmgr:
     mip: 10.197.160.11   #管理IP
     sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表，通常有两个
     iscsi:
     sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
 cssrv12:
     mip: 10.197.160.12
     sips: [172.16.10.12,172.16.11.12]
     acl: [172.16.10.0/24,172.16.11.0/24]
     iser:
         ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
         ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
 cssrv13:
     mip: 10.197.160.12
     sips: [172.16.10.12,172.16.11.12]
     acl: [172.16.10.0/24,172.16.11.0/24]
     iser:
         ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
         ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
 cssrv14:
     mip: 10.197.160.14
     sips: [172.16.10.14,172.16.11.14]
     acl: [172.16.10.0/24,172.16.11.0/24]
     iser:
         ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
         ssd02:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
chosts:
 cssrv12:
     mip: 10.197.160.12
 cssrv13:
     mip: 10.197.160.13

最新的配置文件更新到所有的计算和存储节点
在cssrv14节点上执行下面的命令进行初始化
```
cdora init_env os
```
执行完上面的命令后，最好重启一次主机。重启后一些操作系统的udev规则和multipath才能正常工作。
如果不想重启，可以执行下面的命令：
```
udevadm control -R
systemctl restart multipathd
```
执行上面这两条命令，大多数情况下也可以让操作系统的udev规则和multipath能正常工作。如果后续遇到了一些udev或multipath的问题，可以尝试重启机器。

在cssrv14上执行下面命令共享磁盘给计算节点

cdora shost attach -d cssrv14.ssd01
cdora shost attach -d cssrv14.ssd01

在所有的计算节点执行下面的命令来挂载新的存储节点共享出来的磁盘
```
cdora chost load -d cssrv14.ssd01
cdora chost load -d cssrv14.ssd01
```