软件配置

1. 配置cdcloud

cdcloud是主管理程序，可以对多套cdcloud进行统一管理，同时提供Web的界面供维护者操作。 cdcloud的配置文件为：/opt/cdcloud/conf/cdcloud.conf

#格式为 key = value
hm_network = 10.197.160.0
#agent与服务器之间通信的密码
internal_rpc_pass = cdb_pass_pwd
server_rpc_port = 4242
agent_rpc_port = 4243
db_host = 127.0.0.1
db_port = 5432
db_user = cdbmgr
db_pass = cdb428Csudata
db_name = cdbmgr
# 在测试时无法连接pg数据库 需要修改
# db_host = /tmp/
coredb_path = /opt/coredb/bin/coredb
# http服务用户名与密码
http_user = admin
# http_pass = cdb428Csudata
http_pass = cstech
http_auth = 0
#
debug_sql = 0
# websocket的端口
server_ws_port = 4244
agent_ws_port = 4245
agent_ws_token = cdbmgr
# 巡检存放路径(基于web_root的相对路径)
inspection_result_path = static/inspection_result/
css_file_name = static/samples/style.css
disable_web_console = 0

修改配置项后通过systemctl restart cdcloud 来中期配置

各个配置项的说明如下:

hm_network = 10.197.160.0 : cdcloud 管理的节点的ip网段如果不在该网段内则rpc则无法连接
internal_rpc_pass = XXXXXXX : cdcloud与cdagent之间互联通信的密码，需要设置一个，注意需要与cdagent中的配置文件保持一致，否则cdagent将无法连接到cdcloud。
server_rpc_port = 4242 : cdcloud的内部rpc服务的端口号
agent_rpc_port = 4243 : cdagent的内部rpc服务的端口号
db_host = 127.0.0.1 : cdcloud会把一些集群的配置信息、监控性能数据放到一个小的PostgreSQL的数据库中，这个数据库中叫cdbmeta库，在安装cdbmeta包时会自动创建此数据库，如果cdbmeta与管理节点安装在同一台机器上，则此IP配置成127.0.0.1即可。
db_port = 5432 : cdbmeta数据库实例的端口，一般不需要修改。
db_user = cdbmgr : cdbmeta数据库实例的用户名，一般不需要修改
db_pass = XXXX : cdbmeta数据库中cdbmgr用户的密码，默认安装的cdbmeta，密码为cdb428Csudata
db_name = cdbmgr : cdbmeta的数据库名称
http_user = admin : web管理界面的用户名
http_pass = XXXX : web管理界面的密码
http_auth = 1: web管理界面是否使用验证，生产系统应该设置为1，而在开发环境中，为了避免验证导致调试不方便，可以把此验证关掉。

2. 配置cdagent

2.1 配置cdagent.conf文件

每台机器上都安装有cdagent，cdcloud通过cdagent对每台机器上的cdcloud及Oracle集群进行管理。 cdagent的配置文件为：/opt/cdcloud/conf/cdagent.conf，内容如下：

#格式为 key = value
server_address = 192.168.0.5:4242
#agent与服务器之间通信的密码
internal_rpc_pass = XXXXXXX

server_address = 192.168.0.5:4242 : 这是cdcloud的rpc服务的IP地址与端口
internal_rpc_pass = csyun_pass_pwd : 这是cdagent与cdcloud之间内部rpc通信的密码，要与cdcloud.conf中的配置项internal_rpc_pass设置相同的值，否则会导致系统不能正常工作。

2.2 配置cdora.yml文件

cdcloud的配置文件为：/opt/cdcloud/conf/cdora.yml，内容如下：

shosts:
    cdbmgr:
        mip: 10.197.168.25   #管理IP
        sips: [172.16.1.25,172.16.2.25] #存储链路的IP列表，通常有两个
        iscsi:
        sata01: /dev/disk/by-path/pci-0000:00:09.0-scsi-0:0:0:0
    cssrv11:
        mip: 10.197.160.11
        sips: [172.16.10.11,172.16.11.11]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iscsi:
            sata01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
        nvme:
            ssd01:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
    cssrv15:
        mip: 10.197.160.15
        sips: [172.16.10.15,172.16.11.15]
        acl: [172.16.10.0/24,172.16.11.0/24]
        iscsi:
            sata01: /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:0:0
        nvme:
            ssd01:  /dev/disk/by-path/pci-0000:00:0a.0-scsi-0:0:1:0
chosts:
    cssrv11:
        mip: 10.197.160.11
    cssrv15:
        mip: 10.197.160.15

上面的配置项说明如下：

shosts 表示为存储节点
mip=172.16.1.21,172.16.2.21
“cdbmgr” 为主机名
sips 172.16.1.21与172.16.2.21 分别为用于cdcloud存储层的网络的两个ip地址，通常是infiniband网络。
acl 为允许访问sip的ip的网段
iscsi 与nvme 为两种类型的磁盘协议
chosts: 指定有哪些为计算节点

上面配置硬盘时没看有使用/dev/sda、/dev/sdb这样的路径，而是使用/dev/disk/by-path/pci-0000:00:09-scsi-0：0：0：0，这是因为/dev/sdX这样的路径不稳定，机器重启后可能会变，所以建议还是用/dev/disk/by-path/XXX这样的硬盘路径。

3. systemd管理CData服务

3.1 用systemd管理cdcloud

把cdcloud注册成systemd服务的命令如下：

/opt/cdcloud/bin/cdcloud reg_service

如果在执行过程中遇到了

[root@bee opt]# cdcloud reg_service
Traceback (most recent call last):
  File "cdcloud/src/lib/cdcloud.py", line 18, in <module>
  File "cdcloud/src/lib/health_check.py", line 22, in <module>
  File "cdcloud/src/lib/dbapi.py", line 13, in <module>
  File "/opt/cdcloud2.1.1/pyenv/lib/python3.6/site-packages/psycopg2/__init__.py", line 50, in <module>
    from psycopg2._psycopg import (                     # noqa
ImportError: libpq.so.5: cannot open shared object file: No such file or directory

可以通过ln -s /opt/cdbmeta/pgsql-10/lib/libpq.so.5 /usr/lib64/libpq.so.5 生成软连接文件来解决问题执行以上命令之后，会在/etc/systemd/system目录下生成Systemd的服务配置文件：

cdcloud.service
cdbmeta.service

如果在/etc/systemd/system目录下以存在该文件，我们需要重新生成时，需要手工从/etc/systemd/system目录下删除该文件，然后再执行/opt/cdcloud/bin/cdcloud reg_service就可以再次生成这个配置文件。然后做如以下操作：

systemctl daemon-reload
systemctl enable cdcloud

3.2 用systemd管理cdagent

把cdagent注册成systemd服务的命令如下：

/opt/cdagent/bin/cdagent reg_service

上面的命令会自动生成sytemd的服务配置文件：/etc/systemd/system/cdagent.service，如果在/etc/systemd/system目录下已存在此文件，我们需要重新生成时，需要手工从/etc/systemd/system目录下删除这个文件，然后再执行/opt/cdagent/bin/cdagent reg_service就可以再次生成这个配置文件。上面的操作需要在每台装有cdagent的物理机上执行。

4. 初始化操作系统环境

在每台机器上，执行下面命令初始化操作系统环境：

cdora init_env os

做完上面的操作后，尽量让机器再重启一次，以便一些修改生效。