欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 国际 > 数据仓库:数据地图

数据仓库:数据地图

2025/4/3 10:55:23 来源:https://blog.csdn.net/2402_86289011/article/details/146959031  浏览:    关键词:数据仓库:数据地图

数据地图:Data Map所有数仓都应该具备,主要用于元数据管理,可视化呈现

那数据地图包括哪些核心功能呢

1.表及字段的元数据及任务相关的信息

2.表和字段之间的血缘关系

3.所有的上下游,包括应用接口,报表,分析平台等

4.数据探查:数据量,主键,空值,0值,中位数,平均数,最大值,最小值等等

实现这些功能需要从哪些方面来呢

1.采集Hive本身的元数据,表及字段信息(内外表,注释,建表语句等)

2.ETL作业的log信息,获取任务相关的信息

3.表及字段级别的血缘关系(以前调研过atlas,是通过DAG实现的,但页面不太友好)

4.手动维护的数据:为资产分类,划分主题和等缘

应用场景有哪些:

1.帮助新用户快速了解数仓相关的资产

2.根据血缘关系评估影响

3.数据治理,制定对关键模型表的,治理方案

4.合规:可以看哪些部门哪些人拥有权限

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词