CMiner是一款抓取PostgreSQL增量变化数据（CDC）的产品

与源库流复制协议通信：
CMiner通过流复制协议连接到源数据库上，把WAL日志拉下来，然后进行解码工作。

解码进程：
CMiner解码进程会把WAL日志中的数据变更如Insert、Delete、Update等增量变化抓取出来，形成json的格式的数据。

kafka发送进程：
CMiner的kafka发送进程把解码后的数据发送到消息队列kafka中。

消费程序：
消费程序把抓取的增量数据，更新到其它的数据库中，如PostgreSQL、Oracle、MySQL或hadoop中。

源库无需任何改造:
无需在主数据库的主机上部署任何程序，主数据库的wal_level甚至为replica级别也可以解码数据。

对主库无影响：
PostgreSQL自带的逻辑解码是在主库上完成，对主库性能有加大影响。而CMiner的解码工作是由独立部署CMiner程序完成的，完全不影响主库性能。
CMiner也无需建逻辑复制槽，完全没有把主库空间撑满的风险
可支持流复制的主备切换:
PostgreSQL自带的逻辑解码中的复制槽在源库的主备切换后会失效，导致数据同步中断，而CMiner不使用逻辑复制槽，不存在此风险。

DDL：
表加字段、删除字段，自动处理。truncate操作也能抓取到，生成truncate消息。
大事务支持：
可以灵活处理大事务，当大事务占用的内存超过我们设置的参数时，自动用磁盘做事务的缓存，不存在大事务把内存撑爆的风险。
自主可控：
软件完全自主开发中启乘数科技的PostgreSQL内核专家完成，已经在银行中长期使用，稳定可靠。