流数据采集工具，数据采集 ETL & 流批一体化框架 bboss v7.0.5 发布 --- 高效、稳定、快速、安全

bboss是一个基于开源协议Apache License发布的开源项目，由开源团队bboss运维，主要由以下三部分构成：

Elasticsearch Highlevel Java Restclient ，一个高性能高兼容性的Elasticsearch/Opensearch java客户端框架
• 数据采集同步ETL ，一个基于java语言实现数据采集作业的强大ETL工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
• 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步ETL工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库Elasticsearch、Clickhouse等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。

项目源码地址参考：源码下载和构建

v7.0.5 功能改进

Elasticsearch客户端改进：将原来默认加载conf/elasticsearch.properties,application.properties,config/application.properties三个配置文件，调整为只默认加载application.properties文件。如需加载其他文件，可以参考文档：

https://esdoc.bbossgroups.com/#/Elasticsearch-bboss-custom-init

1. Ioc容器改进：全部走PropertiesUtil加载config配置文件，统一加载模式,避免重复加载属性文件

2. Metrics指标计算改进：日期维度字段类型为LocalDate或者Localdatetime时，自动转换为Date类型

3. 数据转换改进：优化数据转换处理异常处理

4. 文件输出插件问题修复：修复增量状态管理不一致问题，文件名不规范时，创建文件失败，无法写入数据，但是增量状态已经flush，导致增量状态管理不正确

5. 文件输出插件改进：处理因初始化文件失败导致写入数据空指针问题

6. 处理异步传输通道改进：由于异常退出作业任务时，未清理队列中的脏数据，导致输入插件推送数据到异步通道队列阻塞问题，在退出任务时，增加清理队列脏数据功能，解决异常退出阻塞问题

7. Elasticsearch客户端改进：优化scroll和slice scroll并行查询异常处理机制

8. http proxy模块扩展：post/get/put等方法支持po对象传递请求参数，从而支持map和po两种方式传递服务参数

9. bboss基础框架改进：父配置文件中存在的配置不会被引用配置文件中的配置参数覆盖，支持应用参数个性化配置

10. bboss基础框架改进：增加日期格式化和解析工具方法

bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

ETL实战视频：Elasticsearch导出Excel文件，按记录数切割Excel文件，解决单个文件导出数量过大问题

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

bboss 介绍视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

声明：本文由用户投稿上传，本站不保证内容的真实与正确性，并且不承担相关法律责任，如有侵权请提供版权资料并联系删除！

编程笔记 » 流数据采集工具,数据采集 ETL & 流批一体化框架 bboss v7.0.5 发布