Linkis 1.1.0 版本简介
Apache Linkis发布了进入Apache孵化项目之后第一个大版本-1.1.0。该版本在天翼云主导和社区同学的积极代码贡献下,不仅稳定性得到极大提升,而且此版本发布了围绕统一数据源管理服务的重磅特性。对于提供统一源数据管理服务特性,从开始讨需求特性讨论,到功能详细设计,到最后的代码迭代实现,历经前后大半年时间,并且此特性已经在部分公司的生产环境得到使用和验证。
本版本在Linkis 1.0.3基础上增加了数据源管理服务,支持对hive/mysql的元数据信息查询,修复了1.0.3版本的一些已知bug,增加了多个单元测试用例规范和代码。
GitHub:https://github.com/apache/incubator-linkis
版本主要添加了以下功能:
提供Restful接口针对数据源进行增删查改,以及数据源的连接测试。
提供Restful接口针对元数据进行数据库、表、分区、列属性查询。
提供针对数据源及元数据服务管理的Java客户端。
缩写:
EC: Engineconn
ECM: EngineConnManager
ECP: EngineConnPlugin
DMS: Data Source Manager Service
MDS: MetaData Manager Service
版本新特性
[DMS-Common][Linkis-1335] 增加新的模块 linkis-datasource-manager-common,新增数据源数据结构、异常类、工具类。
[MDS-Common][Linkis-1340] 增加新的模块 linkis-metadata-manager-common,新增元数据数据结构、异常类、工具类。
[MDS-Server][Linkis-1352] 增加新的模块linkis-datasource-manager-server,提供数据源管理服务,通过restful接口提供了数据源的增删查改、连接测试等功能。
[MDS-Server][Linkis-1356] 增加新的模块linkis-metadata-manager-server,提供元数据管理服务,通过restful接口提供了元数据的数据库、表、列查询。
[MDS-Services][Linkis-1366] 增加新的模块linkis-metadata-manager-service-es,提供针对的elasticsearch元数据查询服务。
[MDS-Services][Linkis-1368] 增加新的模块linkis-metadata-manager-service-hive,提供针对hive的元数据查询服务。
[MDS-Services][Linkis-1371] 增加新的模块linkis-metadata-manager-service-kafka,提供针对kafka的元数据查询服务。
[MDS-Services][Linkis-1373] 增加新的模块linkis-metadata-manager-service-mysql,提供针对mysql的元数据查询服务。
[DMS-Client&MDS-Client][Linkis-1418] [Linkis-1434][Linkis-1438][Linkis-1441] 增加新的数据源管理Java客户端模块 linkis-datasource-client,方便通过sdk方式进行数据源管理。
[DMS-Web&MDS-Web][Linkis-1456] [Linkis-1510] 增加数据源前端管理页面,通过该页面可以对数据源进行简单的创建,测试。
功能增强
[Install-Script][Linkis-1377] 引入Skywalking组件, 提供分布式 trace 和 troubleshooting的基础能力
[ECP][Linkis-1408] 调整引擎资源的默认的最大空闲时间为0.5h,优化多用户场景下,资源竞争等待的时长问题
[ECP][Linkis-1535] 设置JAVA_ENGINE_REQUEST_INSTANCE 的值为常量1
[DB][Linkis-1554] 添加DataSource DDL和DML SQL
[MDS][Linkis-1583] 添加功能以获取Hive 数据源中分区的属性并修复连接问题
[Commons-Gateway][Linkis-1636]使用正则表达式匹配网关 URL,如果匹配则正常通过
[Commons][Linkis-1397] 添加maven wrapper,支持使用mvnw脚本进行编译打包
[EC][Linkis-1425]将ec的日志配置文件统一为log4j2.xml
[Install-Script][Linkis-1563] 优化linkis-cli 客户端脚本,移除冗余的linkis-cli-start脚本文件
[Install-Script][Linkis-1559] 优化安装部署脚本,安装部署时,添加数据库连接测试检查;进行数据库初始化之前,打印数据库的信息,以便人员再次确认
[Install-Script][Linkis-1559] 添加必要的部署日志信息以及关键信息的颜色标识,如执行步骤/创建目录的日志等。
[Install-Script][Linkis-1559] 为spark/hadoop/hive 添加基本环境检查
[Install-Script][Linkis-1559] 将hive元数据库HIVE_META 信息配置从linkis-env.sh迁移到 db.sh
[Commons][Linkis-1557] Spring-boot/Spring-cloud版本控制使用官方依赖管理器的pom文件方式,避免引入了太多的版本配置
[Commons][Linkis-1621] Spring升级,Spring-boot升级至2.3.12.RELEASE,Spring-cloud升级至Hoxton.SR12
[Commons][Linkis-1558] 单元测试JUnit 4 迁移升级至 JUnit 5
[Commons-Eureka][Linkis-1313] 移除不必要的第三方依赖,一定程度减小打包后的物料包大小
[Commons-Gateway][Linkis-1660] 使用spring-boot-starter-jetty替换直接引入jetty依赖方式,避免jetty版本冲突
修复功能
[Install-Script][Linkis-1390] 修复安装部署时创建的存储Job结果集文件目录 wds.linkis.resultSet.store.path,使用过程中切换用户后存在的权限不足的问题
[Commons][Linkis-1469] 修复sql脚本中包含 ';'字符时,无法正确切割SQL问题
[ECP-JDBC][Linkis-1529] 修复 JDBC 引擎认证类型参数存在的NullPointerException的异常问题
[Entrance][Linkis-1540] 修复 linkis-entrance 中“kill”方法参数long类型导致null值无法识别问题
[Commons][Linkis-1600] 修复低版本commons-compress,导致结果集下载为excel时出错
[Client][Linkis-1603] 修复客户端不支持 -runtimeMap 参数问题
[ECP-JDBC][Linkis-1610] 修复 jdbc引擎 对于postgresql 无法支持"show databases;"语句问题
[Commons][Linkis-1618] 修复 http response 返回结果为xml格式,而不是json格式问题
[ECP-JBDC][Linkis-1646] 修复 JDBC 引擎查询复杂类型字段时,值显示为对象地址。
[ECP-Python][Linkis-1731] 修复python引擎的showDF函数结果集字段行反转的问题
[PS-BML][Linkis-1556] 修复文件下载接口可能出现的HttpMessageNotWritableException异常
【详细指引】
数据源介绍&功能使用指引: https://linkis.apache.org/zh-CN/docs/latest/release
详细安装部署见指引:https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy
官方下载链接:https://linkis.apache.org/zh-CN/download/main
贡献者寄语
Apache Linkis(incubating 1.1.0的发布离不开Linkis社区的贡献者,感谢所有的社区贡献者,包括但不仅限于本次版本的贡献者:Contributors: Alexkun、CCweixiao、Celebrate-future、Davidhua1996、FireFoxAhri、WenxiangFan、Zosimer、aleneZeng、casionone、dddyszy、det101、ganlangjie、huapan123456、huiyuanjjjjuice、husofskyzy、iture123、jianwei2、legendtkl、peacewong、pjfanning、silly-carbon、xiaojie19852006、Adamyuanyuan
如何参与贡献
(1)新手任务:认领入门任务,详见 https://github.com/apache/incubator-linkis/issues/1161;
(2)作品沉淀:发布WeDataSphere开源组建相关内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。如:社区开发者专栏 | MariaCarrie:Linkis1.0.2安装及使用指南
(3)贡献代码:PR和Issue;
(4)答疑:热心为开发者答疑,如社区群回答开发者问题、issue答疑等;
(5)其他:沙箱体验、参与活动、成为社区志愿者等。