欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 科技 > 能源 > 【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

2025/3/9 14:25:37 来源:https://blog.csdn.net/DBA_Huangzj/article/details/146071760  浏览:    关键词:【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文 【Azure 架构师学习笔记】- Azure Databricks (16) – Delta Lake 和 ADLS整合

前言

前面介绍了Delta Table,但是Databricks又推出了“Delta Live Tables(DLTs)”这两者名字太像了以至于很容易混淆。

Delta Table是一个存储数据到表里面的方式。而DLTs可以用于通过声明式定义来描述在这些表之间的数据流。
也就是说DLTs是一个通过创建和保持数据更新用于管理很多delta table的声明式框架。
Delta Table:数据格式。
Delta Live Tables:数据管道框架(data pipeline framework)

DLTs的好处

Pipeline 可视化

DLTs 使用有向无环图战士所有数据PL(pipeline)的负载,对于非常复杂的PL而言非常有用。同时还可以看到数据是如何从bronze流到最终的gold层。在UC里面也可以通过data lineage(数据学院)来实现,但是对于那些还没有启用UC 的项目而言这是一个替代方案。

在这里插入图片描述

CDC 和性能优化

当你的PL 有大量的增删改操作时,CDC能够非常明显地提升速度,特别是对于SCD Type1 到Type2,也就是在lakehouse中,可以保留数据的历史。同时通过默认的delta 格式自动压缩从而极大地提高性能。这种自动压缩式通过把小文件合并来减少parquet对小文件处理性能差的问题。

易用

由于图形化界面使得debug的时候相比于使用Python等语言更加容易实现。

ACID

DTLs搭建在Delta table之上,使用Delta格式,前文已经提及过,Delta table具有ACID特性能够保证数据的一致性和数据质量。所以DLT自然也具有ACID 。

DLTs的注意事项

这里称为注意事项而不是缺点,因为也许它们并不是真正的不好的东西,而是需要评估是否有问题,或者只是一种当前的技术限制。

  1. 数据体量:虽然lakehouse可以处理大体量的数据,但是集群一旦要处理很大量的数据,对单个集群来说是一个负担,哪怕你的集群不停增加节点, 成本也会很高。(建议:对数据源进行预处理,如分区,拆分批处理,使得每个批处理相对较小)
  2. 外部系统的集成: DLT的设计中间在于批处理数据集成,对于流式计算通常需要额外的基础架构如Kafka等。
  3. 版本控制和回滚:虽然Delta有time travl能力,但是真要回滚的时候,从状态管理和部分回滚方面,都并不是简单的事。

DLTs和Delta Tables 对比

在这里插入图片描述

小结

简单来说,DLT不是简单的“table”,而是一个ETL 过程。接下来的几篇将会演示一些使用。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词