流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.6 发布

科技资讯 投稿 5700 0 评论

流数据采集工具,图片

重磅功能发布

1. 提供基于 binlog的mysql增删改数据实时增量采集功能,新增mysql binlog输入采集插件,支持两种采集模式:监听master-slave模式和直接采集binlog日志文件模式,

可以扫码免费观看mysql binlog插件使用视频教程,了解采集作业开发、调测、构建配置部署实际操作过程

2. Elasticsearch输入插件增量采集支持LocalDateTime兼容性支持,支持纳秒级时间增量粒度

    其他功能改进

    1. 优化kafka组件:增加弹性动态调整kafka消费线程功能

      使用参考文档:https://doc.bbossgroups.com/#/kafka

    2. Elasticsearch client增加msearch api

      使用参考文档:https://esdoc.bbossgroups.com/#/document-crud

    3. 处理持久层框架postgresql兼容性问题:设置预编译参数值可能导致的死循环问题

    4. Elasticsearch Client LocalDateTime/LocalDate/LocalTime json序列化支持

    5. Elasticsearch输入插件增量采集支持LocalDateTime兼容性支持,支持纳秒级时间增量粒度:

      importBuilder.setLastValueType(ImportIncreamentConfig.LOCALDATETIME_TYPE);//NUMBER_TYPE TIMESTAMP_TYPE LOCALDATETIME_TYPE

    6. 数据库输出插件改进,支持根据规则设置不同的增删改sql语句,使用参考文档:

    https://esdoc.bbossgroups.com/#/datatran-plugins

    编程笔记 » 流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.6 发布

    赞同 (34) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽