流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.9 发布

科技资讯 投稿 6400 0 评论

流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.9 发布 --- 高效、稳定、快速、安全

bboss由三部分构成

    Elasticsearch Highlevel Java Restclient

  • 数据采集同步ETL

  • 流批一体化计算框架

详细介绍文档:

https://esdoc.bbossgroups.com/#/README

介绍视频

Elasticsearch Bboss Stream ETL介绍视频

实时采集Mysql binlog增删改数据视频教程

 

v6.9.9 功能改进

    增加作业运行结束监听器(异步/同步),可以通过监听器识别作业是异常结束还是正常结束

    使用参考文档:作业关闭事件监听器

  1. 优化作业task异常处理功能

  2. 修复初始化增量状态处理异常

v6.9.8 功能改进

    Elasticsearch 异步批处理拦截器参数bulkcommand对象增加获取当前记录集方法

  1. 禁用postgresql数据源全局jdbcFetchSize配置,只能做查询级别通过DBOptions设置jdbcFetchSize

  2. 扩展属性管理组件,支持属性文件引用功能,文件路径相对于classpath根目录即可,使用案例如下:多个文件用逗号分隔

    include.files=elasticsearch.properties,kafka.properties

    include.files=elasticsearch.properties

v6.9.7 功能改进

    增量状态改进:支持复杂类型增量状态值管理,例如mysql binlog master slave对应的binlog文件及binlog position组合增量状态管理
  1. 优化异常情况下作业退出管理功能

编程笔记 » 流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.9 发布

赞同 (33) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽