Sqoop支持ORC文件格式

个人博客地址：Sqoop支持ORC文件格式 | 一张假钞的真实世界

ORC介绍

ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。

与RCFile对比，ORC文件格式有很多优点：

• 每个Task只输出一个文件，降低NameNode的负载。
• Hive数据类型支持，包括：datetime、decimal以及复杂数据类型（struct、list、map、union）。
• 文件中存储轻量级的索引：
  • 跳过不通过谓语过滤的行组
  • 跳转到指定的行
• 基于数据类型的块模式压缩：
  • 整型数据列采用行程长度编码（run-length encoding）
  • 字符串数据列采用词典编码（dictionary encoding）
• 使用独立的RecordReader并发读取相同的文件
• 无需扫描markers就可以分割文件的能力
• 绑定读写需要的内存量
• 使用Protocol Buffer存储元数据，允许添加、移除字段

Hive官网介绍：