1 平台篇-11-统一数据底座
1.1 11.1 华为数据治理概要
1.1.1 华为明确了数据工作的愿景,即“实现业务感知、互联、智能和ROADS体验,支撑华为数字化转型”
1.1.2 华为数据工作的目标为“清洁、透明、智慧数据,使能卓越运营和有效增长
1.1.3 华为数据建设工作的整体框架
1.2 11.2 支撑数字化转型的数据底座
1.2.1 11.2.1 数据底座的总体架构
1)统一管理结构化、非结构化数据。将数据视为资产,能够追溯数据的产生者、业务源头以及数据的需求方和消费者等。
2)打通数据供应通道,为数据消费提供丰富的数据原材料、半成品以及成品,满足公司自助分析、数字化运营等不同场景的数据消费需求。
3)确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况,从底层数据存储的角度,诊断数据冗余、重复以及“僵尸”问题,降低数据维护和使用成本。
4)保障数据安全可控。基于数据安全管理策略,利用数据权限控制,通过数据服务封装等技术手段,实现对涉密数据和隐私数据的合法、合规消费。
华为数据底座总体架构
注意虚拟表
1.2.2 11.2.2 数据底座的建设策略和原则
数据底座建设不能一蹴而就,要从业务出发,因势利导,持续进行
第一,成立公司级数据资产管理变革项目,制订数据底座的建设规范和方法,构建数据底座建设所需的能力和平台,统筹推动数据底座建设
第二,各领域依托其数字化转型相关变革项目,遵从统一的方法和规范,负责本领域数据资产的梳理和底座内容建设。
4项原则
1)数据安全合规原则
2)需求和规划双轮驱动原则
数据底座的数据资产基于业务规划和需求触发双驱动的原则进行建设,对核心数据资产优先建设。
3)数据供应多场景原则
数据底座资产供应需根据业务需求提供离线/实时、物理/虚拟等不同的数据供应通道,满足不同的数据消费场景
4)信息架构遵从原则。
数据底座的数据资产应遵从公司的信息架构
1.3 11.3 数据湖:企业数据的“逻辑汇聚”
1.3.1 11.3.1 华为数据湖的3个特点
1)逻辑统一。华为数据湖不是一个单一的物理存储,而是根据数据类型、业务区域等多个不同的物理存储构成,并通过统一的元数据语义层进行定义、拉通和管理。
2)类型多样。数据湖存放所有不同类型的数据,包括企业内部IT系统产生的结构化数据、业务交易和内部管理的非结构化的文本数据、
3)原始记录。华为数据湖是对原始数据的汇聚,不对数据做任何的转换、清洗、加工等处理,保留数据最原始特征,为数据的加工和消费提供丰富的可能。
1.3.2 11.3.2 数据入湖的6项标准
1 明确数据Owner
2 发布数据标准
3 认证数据源
4 定义数据密级
5 数据质量评估
6 元数据注册
1.3.3 11.3.3 数据入湖方式
主要有物理入湖和虚拟入湖两种
技术手段
1 批量集成
2 数据复制同步
3 消息集成
4 流集成
5 数据虚拟化
1.4 11.4 数据主题联接:将数据转换为“信息”
1.4.1 11.4.1 5类数据主题联接
1 多维模型
多维模型是面向业务的多视角、多维度的分析,通过明确的业务关系,建立基于事实表、维度表及二者之间的连接关系,实现多维数据查询和分析
2 图模型
3 标签
4 指标数据
5 算法模型
1.4.2 11.4.2 多维模型设计
1 确定业务场景
2 声明粒度
3 维度设计
维度是观察和分析业务数据的视角,支持对数据进行汇聚、钻取、切片分析
4 事实表设计
- 事实表存储业务过程事件的性能度量结果,由粒度属性、维度属性、事实属性和其他描述属性组成,同一事实表中不能存在多种不同粒度的事实,比如PO行明细事实表中不应该包含PO总金额,否则PO总金额累加时会出现错误。
- 粒度属性是事实表的主键,通常由原始数据的主键或一组维度属性生成。
- 维度属性是从维度中继承的属性,可以只继承主键作为事实表的外键,也可以继承维度中全部或其他部分的属性。
-事实属性是可以对该颗粒度的事实进行定量的属性,大多数的事实表包括一个或多个事实字段。
1.4.3 11.4.3 图模型设计
1.4.4 11.4.4 标签设计
1)事实标签。事实标签是描述实体的客观事实,关注实体的属性特征
2)规则标签。规则标签是对数据加工处理后的标签,是属性与度量结合的统计结果
3)模型标签。模型标签则用于洞察业务价值导向的不同特征,是对于实体的评估和预测,如消费者的换机消费潜力是旺盛、普通还是低等。
1.4.5 11.4.5 指标设计
1)原子指标。指标数据通过添加口径/修饰词、维度卷积而成,口径/修饰词、维度均来源于指标数据中的属性。
2)复合指标。由一个或多个原子指标叠加计算而成,其中的维度、口径/修饰词均继承于原子指标,不能脱离原子指标维度和口径/修饰词的范围去产生新的维度和口径/修饰词。
1.4.6 11.4.6 算法模型设计
算法模型的设计步骤主要有需求评估、数据准备、方案设计、建模与验证。
1.5 11.5 面向安全共享的数据服务建设
1.5.1 11.5.1 数据服务给企业带来的价值 - 数据服务是基于数据分发、发布的框架,将数据作为一种服务产品来提供,以满足客户的实时数据需求,它能复用并符合企业和工业标准,兼顾数据共享和安全
-数据服务给企业带来的价值- 保障数出一门,提升数据的一致性
- 数据使用者不用关注技术细节,满足不同类型的数据服务需求
- 提升数据敏捷响应能力
- 满足用户灵活多样的消费诉求。
- 兼顾数据安全与合规
1.5.2 11.5.2 数据服务的分类
1 数据集服务
数据集服务最主要的特征,是由服务提供方提供相对完整的数据集合,消费方访问数据集合,并自行决定接下来的处理逻辑。
1)数据服务提供方被动地公开数据以供数据消费方检索。
2)数据服务提供方并不定义数据处理逻辑,但数据和数据处理逻辑仍然由其控制。
3)服务的生命周期即数据访问授权的有效期。
2 数据API服务
1)数据服务提供方基于随机的数据事件主动传送数据。
2)数据服务提供方基于事件定义数据处理逻辑,由消费方提前订阅并随机触发。
3)服务的生命周期跟着事件走,事件关闭,则服务终止。
1.5.3 11.5.3 打造数据供应的“三个1”
1天:已发布数据服务场景,从需求提出到消费者通过服务获取数据,在1天内完成。
1周:已进数据底座但无数据服务场景,从需求提出、数据服务设计落地到消费者通过服务获取数据,在1周内完成。
1个月:已结构化但未进数据底座场景,从需求提出、汇聚入湖、数据主题联接、数据服务设计落地到消费者通过服务获取数据,在1个月内完成。
1.5.4 11.5.4 构建数据地图
2 平台篇-12-云化数字平台
2.1 12.1 数字化转型需要数字平台
2.1.1 数字平台不仅提供通常意义的IT平台服务(Platform as a Service,PaaS)和IT基础设施服务(Infrastructure as a Service,IaaS),还需要与时俱进,承载和孵化大数据、AI、IoT、区块链等数字技术
2.1.2 12.1.1 承载数字技术
2.1.3 12.1.2 支撑应用现代化
1 数字化转型需要实现应用现代化
2 数字平台支撑应用服务化重构
应用服务化三层架构
服务化架构的好处
挑战和诉求
1)对系统的架构设计要求更高
2)运维监控难度大,问题定位困难
3)系统集成测试复杂度增加
4)对技术平台的依赖更大
3 数字平台支撑应用云化
2.1.4 12.1.3 沉淀通用业务能力
什么是通用业务能力?即带有一定的业务属性,且公司各业务领域都需要调用的业务能力。
2.1.5 12.1.4 数字平台能力框架
3 13-变革治理体系
3.1 华为的变革治理体系
3.1.1
3.2 13.1 变革指导委员会
3.2.1 13.1.1 决策变革规划
3.2.2 13.1.2 决策变革投资
3.3 13.2 变革项目办公室
3.3.1 13.2.1 管理项目关联关系与冲突
3.3.2 13.2.2 变革项目验收评估
3.4 13.3 企业架构委员会
3.4.1 13.3.1 架构立法与治理
3.4.2 13.3.2 统一架构语言和方法
3.4.3 13.3.3 架构蓝图设计
3.5 13.4 业务主导的各领域变革团队
3.5.1 13.4.1 领域业务变革与IT管理团队
在集中与分散中找到平衡点
1 负责本领域变革规划落地,管理好业务目标价值达成
2 保障资源投入,抽调优秀业务人员投入变革
3.5.2 13.4.2 领域数字化与IT装备部
4 结语-数字化转型的8个成功要素
4.1 1 一把手担责
4.2 2 战略引领
4.3 3 重构业务
4.4 4 转人磨芯
4.5 5 眼高手低
- 数字化转型一定要从高处着眼,目标要远大,要系统性地描绘出数字化转型愿景和架构蓝图,形成变革全局视图,确保企业上下一盘棋。但在具体开展时,企业一定要从解决自身的现实问题入手,识别业务运作的高能耗点、管理低效点以及客户体验缺失环节,找准转型突破口进行重点推进而非面面俱到,赢得信心,从而让更多人愿意参与进来,并带动其他转型工作有序开展。
- 数字化转型既要“开阔视野”,也要“重心向下”,瞄准业务问题的解决,做好并做到极致。
4.6 6 清洁的数据:数据成为重要的生产要素,清洁的数据是数字化转型的基础。
4.7 7 合适的技术
4.8 8 安全优先