欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 财经 > 创投人物 > Hive:日志,hql运行方式,Array,行列转换

Hive:日志,hql运行方式,Array,行列转换

2025/2/7 1:48:41 来源:https://blog.csdn.net/weixin_40121264/article/details/145381311  浏览:    关键词:Hive:日志,hql运行方式,Array,行列转换

日志

可以在终端通过 find / | grep hive-log4j2 命令查找Hive的日志配置文件

这些文件用于配置Hive的日志系统。它们不属于系统日志也不属于Job日志,而是用于配置Hive如何记录系统日志和Job日志, 可以通过hive-log4j2 查找日志的位置

HQL的3种运行方式

第1种就是linux终端, 第3种是通过第三方工具,比如DataGrip, 第3种方式用得比较多

1. 在linux命令行中执行HQL

[root@hadoop01 ~] $ hive --database 数据库名  -e 'hql query'
e--execute
f--file
s--silent
i--init
示例  : 没有写数据库名称默认是从default数据库中查找
2. beeline 连接

复杂数据类型Array

注意: 创建表时除了需要指定数组元素的分隔符, 否则所有的元素都会被当成一个元素
array里面元素的数据类型只能是基本数据类型,不能是另一种复杂类型
示例
一个双引号是一个元素
访问数组的具体元素使用下标
size(数组名) 返回数组元素的个数
如果想查询每个人的总成绩, 因为王五只考了2门成绩, 所以出现了NULL, 需要对空值进行处理, 这需要知道每个数组的元素个数,比较麻烦
把数组里面的元素展开,可以更方便地统计总成绩, 即行转列, 可以使用展开函数(也称爆炸函数)

行转列: 展开函数explode和虚拟表lateral view

UDTF是User-Defined Table-Generating Functions的缩写,即用户定义的表生成函数。
使用时select后面不能出现其他列
示例: 爆炸函数

示例: 虚拟表

lateral view explode(score) 虚拟表的表名是mytab 给表起个别名 cj 作为查询列

列转行 : collect_set和 collect_list

多变一

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com