首页
产品
CLup:PostgreSQL高可用集群平台 CMiner: PostgreSQL中的CDC CData高性能数据库云一体机 CBackup数据库备份恢复云平台 CPDA高性能双子星数据库机 CSYun超融合虚拟机产品 ZQPool数据库连接池 ConshGuard数据保护产品
解决方案
数据库专业技术服务全栈式PostgreSQL解决方案Oracle分布式存储化数据库云PolarDB一体化解决方案
文章
客户及伙伴
中启开源
关于我们
公司简介 联系我们
中启开源
修改标题
往前插入
往后插入
删除

存储节点扩容的方法

如果存储节点提供的存储空间不够用,想要扩容的话有下面两种方式:

  1. 通过在现有的存储节点上增加新的硬盘来实现扩容
  2. 通过添加新的存储节点来实现扩容

1.在现有的存储节点上增加新的硬盘来扩容

假设现有的cdora配置信息如下,分别有cssrv12和cssrv13两个存储节点:

  1. shosts:
  2. cdbmgr:
  3. mip: 10.197.160.11 #管理IP
  4. sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表,通常有两个
  5. iscsi:
  6. sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
  7. cssrv12:
  8. mip: 10.197.160.12
  9. sips: [172.16.10.12,172.16.11.12]
  10. acl: [172.16.10.0/24,172.16.11.0/24]
  11. iser:
  12. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
  13. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
  14. cssrv13:
  15. mip: 10.197.160.12
  16. sips: [172.16.10.12,172.16.11.12]
  17. acl: [172.16.10.0/24,172.16.11.0/24]
  18. iser:
  19. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
  20. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
  21. chosts:
  22. cssrv12:
  23. mip: 10.197.160.12
  24. cssrv13:
  25. mip: 10.197.160.13

我们希望在cssrv12节点增加两块SSD,步骤如下:

  1. 首先在cssrv12的物理机上插入两块新的ssd硬盘
  2. 在linux系统中找到新硬盘的位置,记录他们的/dev/disk/by-path下的地址
  3. 在配置文件中写入这两块新硬盘的by-path地址,修改后的配置文件如下
    1. shosts:
    2. cdbmgr:
    3. mip: 10.197.160.11 #管理IP
    4. sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表,通常有两个
    5. iscsi:
    6. sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
    7. cssrv12:
    8. mip: 10.197.160.12
    9. sips: [172.16.10.12,172.16.11.12]
    10. acl: [172.16.10.0/24,172.16.11.0/24]
    11. iser:
    12. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
    13. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    14. ssd03: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:2:0
    15. ssd04: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:3:0
    16. cssrv13:
    17. mip: 10.197.160.12
    18. sips: [172.16.10.12,172.16.11.12]
    19. acl: [172.16.10.0/24,172.16.11.0/24]
    20. iser:
    21. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
    22. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    23. chosts:
    24. cssrv12:
    25. mip: 10.197.160.12
    26. cssrv13:
    27. mip: 10.197.160.13
  4. 将新的cdora.yml配置文件更新到所有的计算节点和存储节点
  5. 配置完后,在所有的计算节点和存储节点都执行下面的命令来刷新udev配置信息:
    1. udevadm control -R
  6. 在cssrv12节点执行下面的命令来把新添加的硬盘共享给计算节点使用:
    1. cdora shost attach -d cssrv12.ssd03
    2. cdora shost attach -d cssrv13.ssd04
  7. 在所有的计算节点执行下面命令挂载新的共享磁盘:
    1. cdora chost load -d cssrv12.ssd03
    2. cdora chost load -d cssrv12.ssd04

2.通过增加新的存储节点来完成存储扩容

假设现有的cdora.yml配置文件如下,分别有cssrv12和cssrv13两个存储节点

  1. shosts:
  2. cdbmgr:
  3. mip: 10.197.160.11 #管理IP
  4. sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表,通常有两个
  5. iscsi:
  6. sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
  7. cssrv12:
  8. mip: 10.197.160.12
  9. sips: [172.16.10.12,172.16.11.12]
  10. acl: [172.16.10.0/24,172.16.11.0/24]
  11. iser:
  12. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
  13. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
  14. cssrv13:
  15. mip: 10.197.160.12
  16. sips: [172.16.10.12,172.16.11.12]
  17. acl: [172.16.10.0/24,172.16.11.0/24]
  18. iser:
  19. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
  20. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
  21. chosts:
  22. cssrv12:
  23. mip: 10.197.160.12
  24. cssrv13:
  25. mip: 10.197.160.13

可以按照下面的步骤来增加一个存储节点,从而实现扩容的目的:

  1. 首先安装好新的存储节点的操作系统
  2. 由于cdora是cdagent模块带的一个工具,所以需要先安装cdagent,安装好cdagent后,即可在/opt/cdagent/bin/目录下找到cdora程序
  3. 将新的存储节点(cssrv14)写入配置文件中,新的配置文件如下:
    1. shosts:
    2. cdbmgr:
    3. mip: 10.197.160.11 #管理IP
    4. sips: [172.16.1.11,172.16.2.11] #存储链路的IP列表,通常有两个
    5. iscsi:
    6. sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
    7. cssrv12:
    8. mip: 10.197.160.12
    9. sips: [172.16.10.12,172.16.11.12]
    10. acl: [172.16.10.0/24,172.16.11.0/24]
    11. iser:
    12. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
    13. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    14. cssrv13:
    15. mip: 10.197.160.12
    16. sips: [172.16.10.12,172.16.11.12]
    17. acl: [172.16.10.0/24,172.16.11.0/24]
    18. iser:
    19. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
    20. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    21. cssrv14:
    22. mip: 10.197.160.14
    23. sips: [172.16.10.14,172.16.11.14]
    24. acl: [172.16.10.0/24,172.16.11.0/24]
    25. iser:
    26. ssd01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
    27. ssd02: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    28. chosts:
    29. cssrv12:
    30. mip: 10.197.160.12
    31. cssrv13:
    32. mip: 10.197.160.13
  4. 最新的配置文件更新到所有的计算和存储节点
  5. 在cssrv14节点上执行下面的命令进行初始化
    1. cdora init_env os
    执行完上面的命令后,最好重启一次主机。重启后一些操作系统的udev规则和multipath才能正常工作。
    如果不想重启,可以执行下面的命令:
    1. udevadm control -R
    2. systemctl restart multipathd
    执行上面这两条命令,大多数情况下也可以让操作系统的udev规则和multipath能正常工作。如果后续遇到了一些udev或multipath的问题,可以尝试重启机器。
  6. 在cssrv14上执行下面命令共享磁盘给计算节点
    1. cdora shost attach -d cssrv14.ssd01
    2. cdora shost attach -d cssrv14.ssd01
  7. 在所有的计算节点执行下面的命令来挂载新的存储节点共享出来的磁盘
    1. cdora chost load -d cssrv14.ssd01
    2. cdora chost load -d cssrv14.ssd01
目录
img