过去,在学习hive的过程中学习过分桶与分区。但是,却未曾将分区与分桶做详细比较。今天,回顾skew join时涉及到了分桶这一概念,一时间无法区分出分区与分桶的区别。查阅资料,特地记录下来。
一、Hive分区
1.分区一般是手动添加分区,在hdfs中不同分区的数据一般存储在不同的目录下。
2.分区的个数一般是可以增长的,用户只需要在建表时指定分区字段,然后具体的分区数则是由字段中数据的种类所决定的。
3.分区通过partition by语句实现:
CREATE TABLE my_table (col1 INT,col2 STRING
)
PARTITIONED BY (dt STRING, country STRING);
4.如果数据进行了分区,在插入数据时需要使用PARTITION指定分区,使用如下语句:
INSERT INTO my_table PARTITION (dt='2023-01-01', country='China')
VALUES (1, 'data1'), (2, 'data2');
5.一般情况下分区的字段通常仅包含如下几种字段:
- 时间:根据时间戳或日期将数据按照不同的时间段进行分区,例如按年、月、日等。
- 地理位置:根据地理信息将数据按照不同的地域进行分区,例如国家、城市等。
- 类别/类型:根据某个类别或类型属性将数据进行分类并进行相应的分区。
二、Hive分桶
分桶通常也是由用户指定字段,同时用户还要指定桶个数。数据按照对指定字段进行哈希函数后的结果进行划分和存储。通过分桶,可以将数据均匀分布到不同的桶中,提高查询性能。
存储方面,分桶后的数据一般在同一个目录下。
一般使用CLUSTERED BY语句进行分桶,使用方法如下:
CREATE TABLE my_bucketed_table (col1 INT,col2 STRING
)
CLUSTERED BY (col1) INTO 4 BUCKETS
SORTED BY (col2);
使用分桶一般是为了提升查询效率,比如在进行join操作时,可能会出现数据倾斜。如果是大表join大表,就需要使用SMBjoin。可以视作是mapjoin的一种。其中最重要的就是要对表进行分桶。
在进行SMBjoin时,一般执行join操作的列也必须时bucket列。这样,大表join大表就被转化为了小表join小表或大表join小表。
三、分区与分桶的区别
两者目的不同,数据分桶的目的在于进行查询时提升查询效率,尤其是join操作时。而分区表则除了优化查询,同时将数据存储在不同文件夹下,方便数据管理。
两者实现方式不同,数据分桶仅需要指定一个字段,并仅需要指定桶个数。数据分区则可以指定多个字段,并无需指定区个数。
两者应用场景不同:分区更适合于但节点数据库的管理和查询优化,而分桶更适合于分布式系统中数据的均匀分布和查询优化。