「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

FineDataLink作为一款市场上的顶尖ETL工具，集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，进行了新的维护迭代。本文把FDL4.1.8最新功能作了介绍，方便大家对比：（产品更新详情：4.1.8最新功能体验）

更新功能	数据源	神通数据库支持定时读写、管道实时写入和数据服务 定时任务和数据服务适配更高版本lmpala
	数据开发	数据开发支持版本管理和版本比对 支持直接向FineBl的公共数据中建表和写入数据 定时任务支持全局动态参数
	数据管道	管道任务支持多对一同步

一、数据源

1、神通数据库支持定时读写、管道实时写入和数据服务

神通数据库（Shentong Database）是国产高性能关系数据库，支持SQL查询和事务处理，具有高可用性、高安全性和高扩展性，适用于数据仓库、实时处理和大规模并行处理。

从4.1.8版本起，数据开发任务、实时数据管道和数据服务支持神通数据库，从而满足企业的数据集成、治理和分享需求。

数据连接-神通数据库

💠详情：配置神通数据源

2、定时任务和数据服务适配更高版本Impala

Impala是一个分布式、大规模并行处理（MPP）的查询引擎，提供对HDFS和HBase数据的高性能、低延迟的交互式SQL查询功能。它利用内存进行计算，兼顾数据仓库、实时处理、批处理和高并发等优点。

在FineDataLink4.1.8及以上版本中，Impala数据源在4.0.1版本支持2.X版本的基础上，新增支持Impala 3.4、Impala 4.1。

数据连接-Impala配置

💠详情：

二、数据开发

1、数据开发支持版本管理和版本比对

在FDL4.1.8及以上版本中对于定时任务可以进行版本节点信息、任务参数、任务控制的详情查看、版本对比以及回滚。

版本管理

版本比对：各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对，比对内容包括：参数列表、任务控制、画布节点，帮助快速定位版本差异，进行任务调试。

版本比对

💠详情：定时任务版本管理

2、支持直接向FineBI的公共数据中建表和写入数据

在FineDataLink 4.1.8及以后的版本中，经过数据开发ETL处理后的结果，可直接对接FineBI公共数据集自动建表和写入数据，当数据开发的任务调度执行时，触发公共数据集的数据自动更新。

数据开发-输出FineBI公共数据集

💠详情：数据集输出

3、定时任务支持全局动态参数

在数据开发过程中，会存在部分参数例如时间或者是API的token需要被多个任务多次引用的场景，同时当参数发生变化时需要全局同步变化。

在FineDataLink 4.1.8及以上版本中支持全局赋值参数配置，动态参数可来源于数据表、API、文件等。

全局赋值参数配置

💠详情：全局参数-赋值参数

三、数据管道

1、管道任务支持多对一同步

在数据集成时，把相同格式的多个表的数据实时同步到数仓的ODS的一张表中，是数仓搭建的常见场景。在FineDataLink 4.1.8及以上版本中，支持对同一个数据连接下同种、不同模式下的数据表，直接进行合并同步到同一个目标表里，简化了多表实时同步的操作。

数据管道多对一同步分组表检测

💠详情：配置管道任务-选择数据来源

💠产品更新详情：4.1.8更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！

更新详情：4.1.8更新日志

功能体验链接

技术文档参考：FineDataLink文档