欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 新车 > kettle实时增量同步mysql数据

kettle实时增量同步mysql数据

2024/11/30 8:58:27 来源:https://blog.csdn.net/weixin_43398232/article/details/139679703  浏览:    关键词:kettle实时增量同步mysql数据

**

本文主要介绍运用kettle实时增量同步mysql数据

**

  • Debezium介绍

  • 官网地址:https://debezium.io/documentation/

  • Debezium是一个开源项目,为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台,通过安装配置Debezium监控数据库,可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性

  • Debezium支持数据源:MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等

  • Debezium插件准备
    Debezium下载地址

  • 解压 kettle-step-debezium-plugin.zip

  • 拷贝kettle-step-debezium-plugin到data-integration\plugins下
    在这里插入图片描述

  • Debezium插件使用
    在这里插入图片描述

在这里插入图片描述

  • Debezium配置说明
    connector.class: io.debezium.connector.mysql.MySqlConnector //引用的连接器类
    //使用文件来存储已处理的binlog偏移量
    offset.storage: org.apache.kafka.connect.storage.FileOffsetBackingStore
    offset.storage.file.filename: C:\Users\42077\Desktop\mysql_offsets2.dat
    database.history: io.debezium.relational.history.FileDatabaseHistory
    database.history.file.filename: C:\Users\42077\Desktop\mysql_dbhistory1.txt
    offset.flush.interval.ms: 6000

    name: Debezium_CDC //连接器名字
    database.hostname: 47.100.172.180 //mysql服务器地址
    database.port: 3306 //端口号
    database.user: root //用户名
    database.password: Dragonline //密码
    database.connectionTimeZone Asia/Shanghai
    database.server.id: 1 //mysql安装配置时的服务ID(需要与MySQL的server-id不同)
    database.include.list: biplatform //要捕获的数据库名
    database.server.name: mysql-connector //数据库服务名
    table.include.list: biplatform.dim_date ///要捕获的数据表

更多信息可参考官网:https://debezium.io/documentation/reference/2.6/connectors/mysql.html

  • Debezium运行
    在这里插入图片描述

在这里插入图片描述
查看文件捕获到插入数据
在这里插入图片描述
CREATE:新增
DElETE:删除
UPDATE:修改
DDL:DDL语句

  • Demo下载 test_debezium

由于时间仓促,本文只作为一个demo开头,后续有机会再更新,如内容有错欢迎大家指正!!!作者个人qq:420773639

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com