批流一体化数据平台,bboss-datatran 由 bboss 开源的数据采集 & 流批一体化工具,提供数据采集、数据清洗转换处理和数据入库以及数据指标统计计算流批一体化处理功能。
v6.8.7 功能改进
-
扩展http输入插件:增加http并行查询功能,可以根据需要划分多个参数组,实现http服务数据的并行查询功能,从而获得更好的数据采集同步性能
-
扩展文件采集插件:增加一次性扫描导入本地文件/FTP文件功能,通过属性disableScanNewFiles进行控制:true 一次性扫描导入本地/FTP目录下的文件,false 持续监听本地/FTP目录下的新文件(默认值false)
- http输入插件改进:增加对http get请求的支持,http post、http put请求增加对request参数模式的支持(非请求体dsl报文模式)
- http输入插件、Elasticsearch输入插件、数据库输入插件改进:分别在httpproxy访问异常、在Elasticsearch客户端访问异常、数据库客户端访问异常信息中包含http dsl、Elasticsearch dsl、db sql信息,以便快速发现和定位问题,提升排错效率
数据采集 & 流批一体化处理使用指南
https://esdoc.bbossgroups.com/#/etl-metrics