1.获取文件列表
流程:前端根据查询条件封装查询信息,后端接收后进行封装,封装为FileInfoQuery,根据fileInfoQuery使用mybatis的动态sql来进行查询。
2.文件分片上传
每次上传需要上传包括(文件名字,文件,md5值,父文件id,当前是哪一个分块,总的分块数量)
流程:
第一次上传的时候后端生成fileId(后续返回给前端,后面的分片都会带上这个fileId)。
秒传逻辑:
当chunk = 0,也就是第一个分片,会先拿着md5去数据库里面里面进行查询,如果查询的数据不为空,那么就可以秒传。秒传前先从redis里面获取用户的空间是否满足,不满足就抛出异常,空间充足就构造文件信息插入到数据库中,接着更新用户的空间,返回上传成功的状态信息(秒传)。
正常逻辑(不能秒传):
首先判断用户空间是否足够插入当前的分片,不够的话抛出异常。接着构建临时目录(由用户id和fileId构成),创建临时文件(命名规则是当前的chunk值),使用File.copy来进行文件的复制(在这里可以使用我们的限流器)。上传成功后,将已经保存的临时文件的大小存储在redis当中方便后面判断空间是否充足。
如果当前上传后不是最后一个分片,那么返回状态为上传中,前端会继续发请求。
如果最后一个分片上传完成,构架file信息,根据redis中临时文件的大小来更新用户已使用空间。返回状态信息为上传完成。如果中间文件上传失败,在finally中删除临时文件。
当事物提交完成之后,异步的合并文件。
异步合并的流程:
判断数据库中是否已经正常插入,如果没有插入直接返回。构建真实文件路径和文件名,使用 RandomAccessFile来进行文件的合并并且产出源文件(临时文件)。接着根据文件的类型判断是否是视频或者图片,如果是视频对视频进行切割,生成缩略图。如果是图片生成缩略图。
在finally根据根据一个transferSuccess字段判断是否合并成功,如果合并失败就更改数据库为转码失败状态,否则就更改为使用中的状态。
知识点:
怎么实现事物提交后才开始异步合并?
Spring 提供的 事务同步管理器,用于管理事务的回调机制。
它允许开发者在事务的不同阶段(提交前、提交后、回滚后等)执行额外的操作。
TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronization() {@Overridepublic void afterCommit() {fileInfoService.transferFile(fileInfo.getFileId(), webUserDto);}});
异步是怎么实现的:
@async注解实现异步合并,他的原理是aop,当调用这个方法的时候,其实是调用的代理方法,将其放到默认线程池中执行。
但是不推荐使用默认线程池,所以可以自定义线程池。
因为当前的项目中异步合并包括合并文件和图片压缩,视频处理。所以定义的线程池的核心线程数是(cpu核心数),最大线程数是(cpu核心数*2),并使用有界队列来作为任务队列。
RandomAccessFile实现文件合并:
RandomAccessFile
是 Java 中用于随机访问文件的类,它允许直接跳转到文件的任意位置进行读写操作(类似操作内存中的数组),而不是像普通 InputStream
/OutputStream
那样只能顺序读写。
使用ffmpeg来进行视频切割和图片缩略图生成:
核心代码
-
创建切片目录
- 根据原始视频文件名,创建一个同名目录(例如
video.mp4
对应video/
目录),用于存放切片文件。
- 根据原始视频文件名,创建一个同名目录(例如
-
检测视频编码格式
- 使用
ffprobe
检测视频的编码格式(如 H.264、H.265/HEVC)。 - 如果视频是 HEVC(H.265)编码,则先将其转码为 H.264 编码(因为某些播放器不支持 H.265)。
- 使用
-
生成中间 TS 文件
- 通过
ffmpeg
将视频转换为 TS 格式(MPEG-TS,流媒体常用容器格式)。
- 通过
-
切割 TS 文件并生成索引
- 将 TS 文件按 30秒一段 切割成多个小切片(如
xxx_0001.ts
、xxx_0002.ts
)。 - 生成
.m3u8
索引文件,记录所有切片的顺序和路径。
- 将 TS 文件按 30秒一段 切割成多个小切片(如
-
清理临时文件
- 删除中间生成的完整 TS 文件(仅保留切片和索引)。
怎么执行的cmd命令:
从网上找的一个工具类进行封装ProcessUtils。
3.读取图片
String contentType = "image/" + imageSuffix;
//设置响应头,表示是图片,防止被当作二进制文件下载response.setContentType(contentType);
//让浏览器或者cdn进行缓存,后续可以直接查询缓存response.setHeader("Cache-Control", "max-age=2592000");