欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 房产 > 建筑 > ffmpeg中格式转换需要注意点总结

ffmpeg中格式转换需要注意点总结

2025/4/5 23:55:24 来源:https://blog.csdn.net/weixin_45312249/article/details/146918734  浏览:    关键词:ffmpeg中格式转换需要注意点总结

某些封装格式(例如MP4/FLV/MKV等)的H.264码流的SPS和PPS信息存储在AVCodeccontext结构体的extradata中。分离某些封装格式(例如MP4/FLV/MKV等)中的H.264的时候,需要首先写入SPS和PPS,否则会导致分离出来的数据没有SPS、PPS而无法播。需要使用ffmpeg中名称为“h264 mp4toannexb”的bitstream filter处理

关键概念解析与操作指南


一、SPS/PPS 的作用与存储位置
  1. SPS (Sequence Parameter Set)
    定义视频序列的全局参数,包括分辨率、帧率、编码级别等。
  2. PPS (Picture Parameter Set)
    定义图像解码参数,如熵编码模式、分片参数等。
  3. 存储位置
    • 在 MP4/FLV/MKV 等封装格式中,SPS/PPS 通常存储在 ‌AVCodecContext->extradata‌ 中,而非嵌入到每个关键帧。
    • 裸 H.264 流(如 Annex B 格式)要求在每个关键帧(IDR帧)前携带 SPS/PPS。

二、问题根源分析

当直接从封装格式(如 MP4)中提取 H.264 裸流时:

  • 直接提取的缺陷‌:
    输出的 H.264 数据缺少 SPS/PPS 头部信息,导致播放器无法初始化解码器。
  • 典型报错‌:

    [h264 @ 0x7f8a5c006800] no frame! Invalid NAL unit size


三、解决方案:使用 Bitstream Filter

通过 FFmpeg 的 ‌h264_mp4toannexb‌ 比特流过滤器,实现以下功能:

  1. 从 extradata 提取 SPS/PPS‌:
    自动读取 AVCodecContext->extradata 中的参数集。
  2. 转换为 Annex B 格式‌:
    • 在码流起始位置插入 SPS/PPS。
    • 在每个关键帧前插入起始码 0x00000001 或 0x000001

四、操作命令示例

提取 MP4 中的 H.264 裸流并修复 SPS/PPS:

ffmpeg -i input.mp4 -c:v copy -bsf:v h264_mp4toannexb output.h264

  • 参数说明‌:
    • -c:v copy:直接复制视频流,不重新编码。
    • -bsf:v h264_mp4toannexb:对视频流应用比特流过滤器。

五、不同封装格式的适配
封装格式比特流过滤器作用
MP4h264_mp4toannexb插入 SPS/PPS,添加起始码
FLVh264_mp4toannexb同上(FLV 的 H.264 存储方式类似 MP4)
MKVh264_mp4toannexb同上
TS无需过滤器TS 流已符合 Annex B 格式

六、验证输出文件
  1. 使用 ffprobe 检查‌:

    ffprobe -v error -show_streams output.h264

    确认输出中包含 codec_tag_string=avc1 和 extradata
  2. 播放测试‌:

    ffplay output.h264


七、底层原理详解
  1. extradata 结构
    • MP4 中 extradata 的格式为 ‌AVCDecoderConfigurationRecord‌,包含 SPS/PPS 的二进制数据。
    • h264_mp4toannexb 过滤器解析此结构,将其转换为 Annex B 的头部。
  2. Annex B 格式要求
    • 每个 NAL 单元以起始码 0x00000001 或 0x000001 开头。
    • SPS/PPS 必须出现在码流开头或关键帧前。

八、扩展场景:处理多路流

若需合并多个 MP4 文件的 H.264 流,需对每个输入单独应用过滤器:

ffmpeg -i input1.mp4 -i input2.mp4 -filter_complex \ "[0:v]bsf=h264_mp4toannexb[0v];[1:v]bsf=h264_mp4toannexb[1v]; \ [0v][1v]concat=n=2:v=1" -c:v libx264 output_combined.mp4


通过上述方法,可确保提取的 H.264 裸流符合播放器要求,避免因缺失 SPS/PPS 导致的解码失败问题。

ffmpeg -i 1.mp4 -c:v copy output_without_sps_pps.h264转换完成后通过ffplay播放的h264为什么播放速度很快

问题原因解析

使用 ffmpeg -i 1.mp4 -c:v copy output.h264 转换的 H.264 裸流播放速度异常加快,主要与 ‌时间戳信息丢失‌ 和 ‌封装格式差异‌ 相关,具体原因如下:


1. ‌时间基(Timebase)未正确传递
  • MP4 容器特性‌:MP4 文件的时间戳基值(time_base)通常为 1/1000 或 1/90000,而 H.264 裸流无容器层,默认时间基可能被错误解析为 1/25 或 1/30[‌2][‌7]。
  • 播放器误判‌:ffplay 根据 H.264 裸流的 NAL 单元间隔推算帧率,若时间戳缺失或错误,会强制按默认高帧率(如 25fps)播放[‌1][‌7]。
2. ‌关键帧间隔(GOP)与 B/P 帧依赖断裂
  • -c:v copy 的局限性‌:直接复制流时,B/P 帧的解码依赖关系可能因裸流缺少容器层的元数据而断裂,导致解码器跳过参考帧计算,加速播放[‌2][‌7]。
3. ‌SPS/PPS 信息未嵌入
  • 缺失参数集‌:MP4 中的 SPS/PPS 存储在 extradata 中,直接复制时未通过 h264_mp4toannexb 过滤器插入码流,播放器可能无法正确初始化解码器时间轴[‌1][‌2]。

解决方案

1. ‌强制指定输出帧率

通过 -r 参数显式定义输出帧率,覆盖默认值:

 

bashCopy Code

ffmpeg -i 1.mp4 -c:v copy -r 30 output.h264

  • 作用‌:强制 H.264 裸流按 30fps 播放,避免时间基误判[‌2][‌7]。
2. ‌添加比特流过滤器处理时间戳

使用 setpts 滤镜修正时间戳:

 

bashCopy Code

ffmpeg -i 1.mp4 -c:v copy -bsf:v h264_mp4toannexb -vf "setpts=PTS-STARTPTS" output.h264

  • 关键参数‌:
    • -bsf:v h264_mp4toannexb:插入 SPS/PPS 并修正 NAL 单元格式[‌1][‌2]。
    • setpts=PTS-STARTPTS:重置时间戳为从零开始,消除容器时间基差异[‌7]。
3. ‌验证与调试
  • 检查时间戳信息‌:
     

    bashCopy Code

    ffprobe -show_frames output.h264 | grep "pkt_pts_time"

    确认输出帧的 pkt_pts_time 均匀递增(如 0.033s 间隔对应 30fps)[‌7]。
  • 对比播放效果‌:
     

    bashCopy Code

    ffplay -vf "setpts=PTS-STARTPTS" output.h264 # 强制按原始速度播放


扩展场景:直播推流中的类似问题

若需将 USB 相机的 RGBA 数据编码为 H.264 并推流至 RTMP,需在编码器初始化时手动插入 SPS/PPS,并通过 avcodec_parameters_from_context 传递至输出流上下文,否则 RTMP 播放会出现加速或花屏[‌1][‌2]。


总结

H.264 裸流播放速度异常的本质是 ‌时间戳与帧率元数据丢失‌,需通过过滤器修正时间基或显式指定帧率参数[‌1][‌2][‌7]。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词