欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 文旅 > 美景 > 大数据的数据质量

大数据的数据质量

2024/11/29 9:26:39 来源:https://blog.csdn.net/workflower/article/details/143959958  浏览:    关键词:大数据的数据质量

当前越来越多的企业认识到了数据的重要性,大数据平台的建设如雨后春笋般。但数据是一把双刃剑,它给企业带来业务价值的同时,也是组织最大的风险来源。糟糕的数据质量常常意味着糟糕的业务决策,将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题,据IBM 统计:
错误或不完整数据导致BI 和CRM 系统不能正常发挥优势甚至失效。
数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上。
低劣的数据质量严重降低了全球企业的年收入。

可见数据质量问题已经严重影响了企业业务的正常运营。在企业信息化初期,各类业务系统恣意生长。后来业务需求增长,需要按照统一的架构和标准把各类数据集成起来,这个阶段问题纷纷出现,数据不一致、不完整、不准确等各种问题扑面而来。费了九牛二虎之力才把数据融合起来,如果因为数据质量不高而无法完成数据价值的挖掘,那就太可惜了。
大数据时代数据集成融合的需求会愈加迫切,不仅要融合企业内部的数据,也要融合外部(互联网等)数据。如果没有对数据质量问题建立相应的管理策略和技术工具,那么数据质量问题的危害会更加严重。数据质量问题会造成“垃圾进,垃圾出”。数据质量不好造成的结果是对业务的分析不但起不到好的效果,相反还有误导的作用。很多人可能在纠结,数据质量问题究竟是“业务”的问题还是“技术”的问题。根据我们以往的经验,造成数据质量问题的原因主要分为以下几种:

(1)数据来源渠道多,责任不明确。
(2)业务需求不清晰,数据填报缺失。
(3)ETL处理过程中,业务部门变更代码导致数据加工出错,影响报表的生成。
(1)和(2)都是业务的问题,(3)虽然表面上看是技术的问题,但本质上还是业务的问题。因此,大部分数据质量问题主要还是来自于业务。很多企业认识不到数据质量问题的根本原因,只从技术单方面来解决数据问题,没有形成管理机制,导致效果大打折扣。在走过弯路之后,很多企业认识到了这一点,开始从业务着手解决数据质量问题。在治理数据质量问题时,采用规划顶层设计,制定统一数据架构、数据标准,设计数据质量的管理机制,建立相应的组织架构和管理制度,采用分类处理的方式持续提升数据质量。还有,通过增加ETL 数据清洗处理逻辑的复杂度,提高ETL 处理的准确度。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com