1、MPP数据库简介
1.1、什么是OLTP与OLAP?
1.1.1、OLTP(OnLine Transaction Processing )
联机事务处理 系统,例如mysql。擅长事务处理,在数据操作中保持着很强的一致性和原子性 ,能够很好的支持频繁的数据插入和修改 ,但是,一旦数据量过大,OLTP便力不从心了。
1.1.2、OLAP(On-Line Analytical Processing)
联机分析处理 系统,例如clickhouse,greenplum,Doris。不特别关心对数据进行输入、修改等事务性处理,而是关心对已有 的大量数据进行多维度的、复杂的分析的一类数据系统 。
1.1.3、ClickHouse 简介
ClickHouse的全称是Click Stream,Data WareHouse。ClickHouse 是俄罗斯的 Yandex (俄罗斯第一大搜索引擎) 于 2016 年开源的用于在线分析处理查询(OLAP :Online Analytical Processing)MPP架构的列式存储数据库(DBMS:Database Management System),能够使用 SQL 查询实时生成分析数据报告。
ClickHouse 使用 C++ 语言编写,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。clickhouse可以做用户行为分析,流批一体clickhouse没有走hadoop生态,采用 Local attached storage 作为存储,令人惊喜的是,ClickHouse 的性能大幅超越了很多商业 MPP 数据库软件
比如 Vertica,InfiniDB.相比传统的数据库软件,ClickHouse 要快 100-1000X:100Million 数据集:ClickHouse 比 Vertica 约快 5 倍,比 Hive 快 279 倍,比 My SQL 快 801 倍,1Billion 数据集:ClickHouse 比 Vertica 约快 5 倍,MySQL 和 Hive 已经无法完成任务了
1.1.4、Greenplum简介
Greenplum是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司,在全球已有:[纳斯达克,[纽约证券交易所,Skype. FOX,T-Mobile;中国已有:中信实业银行,东方航空公司,阿里巴巴,华泰保险,中国远洋,李宁公司等大型企业用户选择Greenplum的产品。Greenplum的架构采用了MPP(大规模并行处理)。
Greenplum名字来源
Greenplum的大中华区总裁Stanley Chen告诉我们:“Greenplum这个名字是一个7岁小女孩无意中脱口而出的。”起初几个创始人在斟酌公司名字的时候都很没头绪,于是他们去问了朋友的孩子,一个年仅7岁的可爱小姑娘告诉他们叫“Apple”,但是爸爸告诉她,这个名字已经被别人用了,还有其他的么?很快孩子便随口说了“Greenplum”,于是“Greenplum”公司的名字就这样诞生了。**
1.1.5、Doris简介
Doris由百度大数据部研发 ,之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 doris,Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能。