ES数据压缩、解压调研测试
设置 best_compression 压缩方式 所占磁盘空间
查询速度(解压)
设置默认压缩方式(LZ4) 所占磁盘空间
5分钟后压缩再次触发 变为149M
查询速度(解压)
结论
针对压缩来说,压缩触发的因素不单纯是数据落到ES就开始压缩,比如系统负载情况、持久化磁盘后 都会进行压缩,所以才出现了 ecs_http20250208 开始161M 几分钟后变为了149M 但是就目前情况看 best_compression压缩比肯定是比LZ4要高的,如果磁盘空间比较敏感可以考虑使用best_compression。
针对解压来说,解压过程是ES自动触发的,一旦查询ES时,就会根据索引配置对段文件进行解压。因为数据量太少目前两种方式查询速度差不多,除非数据堆到几亿再测试。
但是在互联网调研来说,LZ4解压与压缩速度都比best_compression快,具体快多少目前无从测试,但是压缩比LZ4与best_compression差太多。