健康头条

SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性

2023-06-25 18:57 由 ApacheSeaTunnel 发表于 #数据库

近日，Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 发布已有两个多月，期间我们收集并根据用户和开发者的反馈，在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复，提高了引擎的稳定性和使用效率。

此外，新版本还对 Connector-V2 中的连接器进行了功能和性能优化，同时 SQL Transfrom 支持了自定义 UDF 函数，Zeta Engine 也提供了通过 Rest API 的方式进行集群的监控和查询操作。

本文将为大家介绍 Apache SeaTunnel 2.3.2 版本更新内容具体情况。

新功能

本次更新，Zeta Engine 支持了以 RestAPI 的方式获取任务和系统的监控信息，用户可以通过调用 HTTP 请求到任意节点完成数据信息请求，增强了任务的监控能力。

详情可参考：https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest-api

此外，2.3.2 版本中 SQL Transform 支持了自定义 UDF 函数，详细用法请参考：https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf

Core

[Core] [API] 支持将字符串转换为List选项 (#4362)
[Core] [API] 在创建源、接收器和转换之前添加选项检查到FactoryUtil中 (#4424)
[Core] [Shade] 添加guava shade模块 (#4358)

Connector-V2

  • [Connector-V2] [CDC] [SQLServer] 支持多表读取 (#4377)
  • [Connector-V2] [Kafka] Kafka源支持跳过数据反序列化失败 (#4364)
  • [Connector-V2] [Jdbc] [TiDB] 添加了TiDB目录 (#4438)
  • [Connector-V2] [File] 添加了文件Excel的源和接收器 (#4164)
  • [Transform-V2] 添加了UDF SPI和一个示例实现，用于SQL转换插件 (#4392)
  • [Transform-V2] 支持复制字段列表 (#4404)
  • [Transform-V2] 为FieldMapperTransform添加了CatalogTable支持 (#4423)
  • [Transform-V2] 为ReplaceTransform添加了CatalogTable支持 (#4411)
  • [Transform-V2] 为FilterRowKindTransform添加了Catalog支持 (#4420)
  • [Transform-V2] 为FilterFieldTransform添加了CatalogTable支持 (#4422)

Zeta Engine

  • [Zeta] 支持Factory和Plugin SPI的混合使用 (#4359)
  • [Zeta] 添加了通过作业ID获取运行中作业信息的REST API (#4140)
  • [Zeta] 添加了获取系统监控信息的REST API (#4315)
  • [Transform V2 & Zeta] 使SplitTransform支持CatalogTable和CatalogTable演化 (#4396)

改进

Apache SeaTunnel 2.3.2 版本对 Zeta 引擎进行了稳定性修复，解决了内存占用过高不释放的问题，同时解决了大量资源占用问题，对性能也做了相应的优化。

Core

  • [Core] [Spark] 将转换操作从Spark Driver推送到Executors (#4503)
  • [Core] [Starter] 优化代码结构，删除冗余代码 (#4525)
  • [Core] [Translation] [Flink] 优化代码结构，删除冗余代码 (#4527)

Connector-V2

  • [Connector-V2] [CDC] 改进startup.mode/stop.mode选项 (#4360)
  • [Connector-V2] [CDC] 优化jdbc fetch-size选项 (#4352)
  • [Connector-V2] [SQLServer] 修复了SQL Server目录的问题 (#4441)
  • [Connector-V2] [StarRocks] 改进StarRocks序列化错误消息 (#4458)
  • [Connector-V2] [Jdbc] 添加了SQL日志，并更新了一些样式 (#4475)
  • [Connector-V2] [Jdbc] 修复了多个表时无法自动获取表名的问题 (#4514)
  • [Connector-V2] [S3 & Kafka] 删除不可用的S3和Kafka目录 (#4477)
  • [Connector-V2] [Pulsar] 支持Canal格式

Zeta Engine

  • [Zeta] 支持通过守护进程模式运行服务器 (#4161)
  • [Zeta] 使用ClassLoader改进客户端的SDK兼容性 (#4447)
  • [Zeta] 客户端支持异步提交作业 (#4456)
  • [Zeta] 增加更详细的日志输出 (#4446)
  • [Zeta] 改进seatunnel-cluster.sh脚本 (#4435)
  • [Zeta] 当任务未准备好时，降低CPU消耗 (#4479)
  • [Zeta] 添加解析器日志 (#4485)
  • [Zeta] 删除冗余代码 (#4489)
  • [Zeta] 在validateSQL中删除冗余代码 (#4506)
  • [Zeta] 改进JobMetrics的性能 (#4467)

Bug修复

Core

*[Core] [API] 修复了列表的通用类丢失的问题 (#4421)
*[Core] [API] 修复了解析嵌套行数据类型键变为大写的问题 (#4459)

Connector-V2

  • [Json-format] [Canal-Json] 修复了JSON反序列化时的空指针异常问题 (#4195)
  • [Connector-V2] [Jdbc] 修复了在JDBC源查询中不支持字段别名的问题 (#4210)
  • [Connector-V2] [Jdbc] 修复了连接超时导致连接失败的问题 (#4322)
  • [Connector-V2] [Jdbc] 将JdbcOption: generate_sink_sql的默认值设置为false (#4471)
  • [Connector-V2] [Pulsar] 修复了无法持续消费消息的问题 (#4125)
  • [Connector-V2] [Eleasticsearch] 修复了文档描述错误的问题 (#4390)
  • [Connector-V2] [Eleasticsearch] 修复了源反序列化错误和不适当的问题 (#4233)
  • [Connector-V2] [Kafka] 修复了KafkaProducer资源从未被释放的问题 (#4302)
  • [Connector-V2] [Kafka] 修复了client.id导致权限问题的问题 (#4246)
  • [Connector-V2] [Kafka] 修复了提交偏移错误导致KafkaConsumerThread退出的问题 (#4379)

Zeta Engine

  • [Zeta] 修复了LogicalDagGeneratorTest测试用例的问题 (#4401)
  • [Zeta] 修复了MultipleTableJobConfigParser仅解析一个转换的问题 (#4412)
  • [Zeta] 修复了缺少common插件jar包的问题 (#4448)
  • [Zeta] 修复了在检查点已完成时仍调用handleCheckpointError的问题 (#4442)
  • [Zeta] 修复了作业错误消息不正确的bug (#4463)
  • [Zeta] 修复了查找TaskGroup部署节点的bug (#4449)
  • [Zeta] 修复了配置文件的bug (#4488)
  • [Zeta] 修复了从zeta加载连接器的逻辑问题 (#4510)
  • [Zeta] 修复了hadoop-hdfs的冲突依赖问题 (#4509)

E2E

*[E2E] [Kafka] 修复了Kafka端到端测试用例的问题 (#4520)
*[Container Version] 修复了无法重现的测试用例风险问题 #4591

文档优化

  • [Docs] 优化了Doris和SelectDB连接器文档的部分内容 (#4365)
  • [Docs] 修复了文档中的代码样式问题 (#4368)
  • [Docs] 更新了jdbc文档和kafka文档 (#4380)
  • [Docs] 修复了max_retries默认值为0的问题 (#4383)
  • [Docs] 修复了Markdown语法问题 (#4426)
  • [Docs] 修复了Kafka文档错误的配置键 "kafka." (#4427)
  • [Docs] 添加了快速入门v2中的Transform部分 (#4436)

贡献者名单

感谢白鲸开源工程师 范佳 对本次版本发布的支持，以及以下社区小伙伴的贡献！

Andrew Wetmore,

Bibo,

Carl-Zhou-CN,

Cason-ACE,

Chengyu Yan,

CodingGPT,

dalong,

Eric,

FlechazoW,

Guangdong Liu,

Hao Xu,

J.A.R.V.I.S,

Kim,

Laglangyue,

Marvin,

TaoZex,

Tyrantlucifer,

Xiaojian Sun,

ZhilinLi,

Zongwen Li,

dylandai,

gnehil,

hailin0,

ic4y,

kezhenxu94,

lightzhao,

lucklilili,

lvshaokang,

mengxiaopeng,

monster,

songjianet,

stdnt-xiao,

thomasc,

will27,

wyc,

xiaofan2012,

zhilinli,

沫

本文由 白鲸开源 提供发布支持！

热门相关：恭喜你被逮捕了   重生野性时代   锦乡里   道君   回眸医笑，冷王的神秘嫡妃