流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v6.9.9 发布 --- 高效、稳定、快速、安全
bboss由三部分构成
-
数据采集同步ETL
-
流批一体化计算框架
Elasticsearch Highlevel Java Restclient
详细介绍文档:
https://esdoc.bbossgroups.com/#/README
介绍视频
Elasticsearch Bboss Stream ETL介绍视频
实时采集Mysql binlog增删改数据视频教程
v6.9.9 功能改进
-
优化作业task异常处理功能
-
修复初始化增量状态处理异常
增加作业运行结束监听器(异步/同步),可以通过监听器识别作业是异常结束还是正常结束
使用参考文档:作业关闭事件监听器
v6.9.8 功能改进
-
禁用postgresql数据源全局jdbcFetchSize配置,只能做查询级别通过DBOptions设置jdbcFetchSize
-
扩展属性管理组件,支持属性文件引用功能,文件路径相对于classpath根目录即可,使用案例如下:多个文件用逗号分隔
include.files=elasticsearch.properties,kafka.properties
include.files=elasticsearch.properties
Elasticsearch 异步批处理拦截器参数bulkcommand对象增加获取当前记录集方法
v6.9.7 功能改进
- 增量状态改进:支持复杂类型增量状态值管理,例如mysql binlog master slave对应的binlog文件及binlog position组合增量状态管理
- 优化异常情况下作业退出管理功能