欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 新车 > ZSTD 内存泄漏问题

ZSTD 内存泄漏问题

2025/4/19 14:25:41 来源:https://blog.csdn.net/zhengzhaoyang122/article/details/143835285  浏览:    关键词:ZSTD 内存泄漏问题

优质博文:IT-BLOG-CN

Zstandard(简称zstd)是一种无损压缩算法,由Facebook开发并开源。它旨在提供高压缩比和高解压速度的平衡,适用于多种数据压缩需求。

特点
【1】高压缩比: zstd能够在保持较高压缩比的同时,提供比其他压缩算法更快的压缩和解压速度。
【2】快速解压: 解压速度非常快,适合需要高效解压的应用场景。
【3】可调压缩级别: zstd支持多种压缩级别,从快速压缩到高压缩比,可以根据具体需求进行调整。
【4】流压缩: 支持流式压缩和解压,适合处理大文件或数据流。
【5】多线程支持: zstd支持多线程压缩,能够充分利用多核处理器的性能。

用途
【1】数据存储: 用于压缩存储在磁盘上的数据,以减少存储空间占用。
【2】数据传输: 在网络传输中使用zstd压缩数据,可以减少传输时间和带宽消耗。
【3】日志压缩: 用于压缩日志文件,减少日志存储空间。
【4】数据库: 一些数据库系统使用zstd来压缩数据页,提升存储效率。
【5】文件系统: 某些文件系统支持zstd压缩,以提高存储效率。

示例代码:以下是一个简单的Java示例,演示如何使用zstd进行压缩和解压:

import com.github.luben.zstd.Zstd;
import java.nio.charset.StandardCharsets;public class ZstdExample {public static void main(String[] args) {String originalString = "This is a string to be compressed using zstd!";byte[] originalData = originalString.getBytes(StandardCharsets.UTF_8);// 压缩数据byte[] compressedData = Zstd.compress(originalData);// 解压数据byte[] decompressedData = Zstd.decompress(compressedData, originalData.length);String decompressedString = new String(decompressedData, StandardCharsets.UTF_8);System.out.println("Original: " + originalString);System.out.println("Compressed size: " + compressedData.length);System.out.println("Decompressed: " + decompressedString);}
}

我们在使用zstd组件时发现有一个问题,容易造成内存泄露,大家如有使用或即将使用时要注意下,具体分析如下:

大家能从使用代码上看出问题来吗?看着非常正常。

try (ByteArrayInputstream byteInputstream = new ByteArrayInputstream(obj. getBytes(encoding));ByteArrayoutputstream byteOutputstream  new ByteArrayoutputstream()Zstdoutputstream zstdoutputstream = new Zstdoutputstream(byteoutputstream))(byte[] buffer . new byte[CompressConstant.DEFAULT_SIZE_512];int count;while((count= byteInputStream. read(buffer, 0CompressConstant. DEFAULT SIZE 512))1=-1){zstdoutputstream.write(buffer, , count);}zstdoutputStream.flush();zstdoutputStream.close();

Zstd原码, 重写了finalize,这就是问题根源。

package com.github.luben.zstd;
import java.io.Outputstream;
import java.io.FilterOutputStream;
import java.io. IOException;
import com.github.luben.zstd.util.Native;public class Zstdoutputstream extends Filteroutputstream(static{}/** Opaque pointer to Zstd context object */private long stream;private long srcPos - 0private long dstPos = 0private byte[] dst = null;private boolean isclosed.false;private static final int dstSize =(int) recommendedCOutSize();private boolean closeFrameonFlush;private boolean useChecksum;private boolean frameClosed . true;private int level;private byte[] dict = null;private ZstdDictCompress fastDict . null;/* JNI methods */private static native long recommendedcoutsize();private static native long createcstream();private static native int freeCStream(long ctx);private native int initCStream(long ctx, int level, int checksum);private native int initCStreamithDict(long ctx, byte[] dict, int dict_size, int level, int checksum);private native int initCStreamwithFastDict(long ctx, ZstdDictCompress dict, int checksum);private native int compressstream(long ctx, byte[] dst, int dst_size, byte[] src, int src_size);private native int flushStream(long ctx, byte[] dst, int dst_size);private native int endStream(long ctx, byte[] dst, int dst_size);/* The constuctor */public Zstdoutputstream(Outputstream outstream, int level, boolean closeFrameOnFlush, boolean useChecksum) throws IOException(}public synchronized void write(byte[] src, int offset, int len) throws IOException (}public void write(int i) throws IOException(}/***Flushes the output*/public synchronized void flush() throws IOException {}public synchronized void close() throws IOException {}@overrideprotected void finalize() throws Throwable(close();}

咱们来了解下finalize
finalizeObject对象里的一个方法,它最大的一个特点是执行时机不可预知。实现了objectfinalize方法的类,在创建时会新建一个FinalizerReference,这个对象是强引用类型,重写finallize的对象如果没有被其它对象引用时,执行GC不会马上被清除掉,而是放入到一个静态队列中,有一个守护线程专门去处理这个队列,因为守护线程的优先级比较低,运行的时间少,如果在短时间内创建较多或较大对象时,无论怎么调用GC都无用,只能等到守护线程从队列中取出finalize方法,FinalizerReference才能被回收。

Object.finalize方法是Java中定义在java.lang.Object类中的一个方法。它的主要作用是在对象被垃圾回收器回收之前进行一些清理操作。具体来说,finalize方法允许开发者在对象被销毁之前执行一些必要的清理工作,比如释放资源(文件、网络连接等)。

作用:
资源释放:在对象被垃圾回收前释放系统资源,如关闭文件、网络连接等。
清理操作:执行一些清理工作,确保对象的状态一致性。

优点
资源管理:在某些情况下,finalize方法可以用来确保资源被正确释放,避免资源泄漏。
自动调用:在垃圾回收时自动调用,无需手动触发。

缺点
不确定性:finalize方法的调用时间是不确定的,垃圾回收器何时调用finalize方法是不可预测的,这可能导致资源长时间未被释放。
性能开销:使用finalize方法会增加垃圾回收的开销,影响性能。

复杂性: finalize方法容易引入复杂的错误和难以调试的问题,因为它是在垃圾回收的过程中异步调用的。
替代方案: Java 7引入了try-with-resources语法和AutoCloseable接口,这些提供了更好的资源管理方式,通常不需要依赖finalize方法。

实际使用
由于上述缺点,finalize方法在实际开发中已经很少被使用。现代Java开发更倾向于使用try-with-resources语法和AutoCloseable接口来管理资源。例如:

try (BufferedReader br = new BufferedReader(new FileReader("file.txt"))) {// 读取文件内容
} catch (IOException e) {e.printStackTrace();
}
// 这里BufferedReader会自动关闭,无需依赖finalize

看下Finalizer类的原码:

final class Finalizer extends FinalReference<Object> { 
/* Package-private; must be in
same package as the Reference
class */private static ReferenceQueue<Object> queue = new ReferenceQueue<>();private static Finalizer unfinalized = null,private static final Object lock = new Object();
private Finalizer(Object finalizee){super(finalizee, queue);add();
}
/*  Invoked by VM */
static void register(Object finalizee) { new Finalizer(finalizee); }
static {ThreadGrouptg=Thread.currentThread().getThreadGroup();for (ThreadGroup tgn = tg;tgn != null;tg = tgn, tgn = tg.getParent());Thread finalizer = new FinalizerThread(tg);___finalizer.setPriority(Thread.MAX PRIORITY - 2);finalizer.setDaemon(true);|finalizer.start();
}
private static class FinalizerThread extends Thread {private volatile boolean running;FinalizerThread(ThreadGroup g){super(g, name: "Finalizer");}public void run() {if(running)return;// Finalizer thread starts before System.initializeSystemClass// is called. Wait until JavaLangAccess is availablewhile(!VM.isBooted()){// delay until VM completes initialization try {VM.awaitBooted();} catch (InterruptedException x){// ignore and continue}}final JavaLangAccess jla = SharedSecrets.getJavaLangAccess();running = true;for(;;){try {Finalizer f = (Finalizer)queue.remove();_f.runFinalizer(jla);} catch(InterruptedException x){// ignore and continue}
}

看下重写了finalize方法的效果,因为我们的对象比较大且请求次数多,所以发上生产就能立马见效。

Dump的结果:

在这里插入图片描述

解决方法有两个:
【1】直接用Zstdcompress(byte[] src),decompress(byte[] src, int originalSize);
【2】写一个类继承ZstdOutputStream,重载finalize,方法内置空。

大家在写代码时,尽量不要重写objectfinalize.

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词