opencv 视频处理

概述

OpenCV 的视频模块是其核心组成部分之一，主要负责视频文件的读取、处理、分析以及视频流的捕获和输出。这一模块使得开发者能够轻松地处理来自摄像头、文件或其他视频源的视频数据，进行实时或离线的图像处理和计算机视觉任务。以下是 OpenCV 视频模块的一些关键组件和功能简介：

1. cv::VideoCapture 类

功能：用于从摄像头或视频文件中捕获视频帧。通过传递设备索引或视频文件路径给构造函数，可以创建一个 VideoCapture 对象。之后，可以通过 read() 方法逐帧读取视频。
属性获取：可以获取视频的帧率 (CAP_PROP_FPS)、帧大小 (CAP_PROP_FRAME_WIDTH, CAP_PROP_FRAME_HEIGHT) 等属性。
视频来源：支持多种视频源，包括本地文件（如 .mp4, .avi 等）和网络摄像头。

2. cv::VideoWriter 类

功能：用于将处理后的视频帧写入视频文件。可以指定输出文件名、编码器、帧率和帧大小。
编码器选择：通过 fourcc 参数指定编码器（例如，cv::VideoWriter::fourcc('M','J','P','G') 对应于 MJPG 编码）。
视频输出：支持多种视频格式，但实际可用的编码器和格式依赖于系统安装的 FFmpeg 或其他后端库。

3. 实时视频处理

帧处理：读取的每一帧都可以通过 OpenCV 提供的各种图像处理函数进行处理，如色彩空间转换、滤波、边缘检测、特征提取等。
实时应用：结合高效的算法，可以实现实时的视频监控、人脸识别、物体追踪等应用。

4. 视频分析

运动检测：基于帧差法、背景减除等技术，可以识别视频中的运动区域。
目标跟踪：实现对特定目标的连续帧间跟踪，如卡尔曼滤波器、光流法、深度学习跟踪器等。
场景解析：进行场景分割、行为识别等高级视频理解任务。

5. 后端支持与兼容性

FFmpeg集成：OpenCV 可以利用 FFmpeg 库来支持更广泛的视频格式和编解码器，提升兼容性和性能。
跨平台：OpenCV 的视频模块设计为跨平台，支持 Windows、Linux、macOS 等操作系统，但具体功能和性能可能会因操作系统和后端库的差异而有所不同。

6. 性能优化

多线程和硬件加速：虽然 OpenCV 自身不直接提供多线程视频处理功能，但开发者可以通过多线程技术并结合硬件加速（如利用 CUDA、OpenCL 或 FFmpeg 的 GPU 解码）来提升视频处理的效率。

实现原理

接口上opencv支持cv::VideoCapture、cv::VideoWriter两个接口来处理视频，后端则支持多种框架，一般默认使用的ffmpeg作为后端处理。

通过cmake-gui 查看参数配置

生成的信息查看ffmpeg信息

你也可以通过代码查看后端类型

cv::VideoCapture cap(videoFileName);
std::cout << "BackendName" << cap.getBackendName() << std::endl;

使用示例

打开默认摄像头

//declare a capture object
cv::VideoCapture cap(0, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(0, cv::CAP_MSMF);

打开视频文件

//declare a capture object
cv::VideoCapture cap(filename, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(filename, cv::CAP_MSMF);

处理视频流

    cv::VideoCapture cap(videoFileName); // 替换为你的视频文件路径if (!cap.isOpened()) {std::cout << "无法打开视频文件" << std::endl;return ;}auto frameCount = cap.get(cv::CAP_PROP_FRAME_COUNT);while (true) {cv::Mat frame;if(!cap.read(frame)){break;}// do ......} cap.release();

视频播放

#include <opencv2/opencv.hpp>
#include <iostream>int main(int argc, char** argv)
{// 检查是否有视频文件作为参数传入if (argc != 2){std::cout << "Usage: " << argv[0] << " <video_file_path>" << std::endl;return -1;}// 使用视频文件路径初始化VideoCapture对象cv::VideoCapture cap(argv[1]);if (!cap.isOpened()){std::cout << "Error opening video file" << std::endl;return -1;}// 获取视频的帧率double fps = cap.get(cv::CAP_PROP_FPS);if (fps <= 0){fps = 30; // 如果无法获取帧率，默认设为30}// 创建一个窗口用于显示视频cv::namedWindow("Video Player", cv::WINDOW_NORMAL);cv::Mat frame;while (true){// 读取下一帧if (!cap.read(frame)){// 如果没有更多帧，跳出循环break;}// 显示当前帧cv::imshow("Video Player", frame);// 按任意键退出，或者根据fps控制播放速度if (cv::waitKey(1000 / fps) >= 0){break;}}// 释放资源并关闭窗口cap.release();cv::destroyAllWindows();return 0;
}

对ffmpeg进行特殊处理

可以设置环境变量OPENCV_FFMPEG_WRITER_OPTIONS、OPENCV_FFMPEG_CAPTURE_OPTIONS传递附加参数。

OPENCV_FFMPEG_WRITER_OPTIONS 是一个环境变量，用于传递给 OpenCV 的 FFmpeg 视频写入器（VideoWriter）的特定选项。这些选项可以影响视频编码、质量、格式等。该环境变量的值是一个字符串，通常以分号(;)分隔不同的选项键值对。

每个键值对的格式通常是 key;value，其中 key 是选项的名称，value 是对应的值。例如：

video_codec;h264：指定视频编码器为 H.264。
audio_codec;aac：指定音频编码器为 AAC。
bit_rate;1000000：设置比特率为 1000000 bps。
preset;slow：设置编码预设，如 slow、medium 或 fast，这会影响编码速度和质量。
crf;23：设置恒定速率因子（Constant Rate Factor），影响视频质量。

请注意，不是所有的 FFmpeg 选项都适用于 OPENCV_FFMPEG_WRITER_OPTIONS，因为 OpenCV 的 VideoWriter 类可能只支持 FFmpeg API 的一部分。此外，可用的选项可能因 OpenCV 版本和 FFmpeg 版本的不同而不同。在使用时，建议查阅 OpenCV 和 FFmpeg 的官方文档以获取最新和最准确的信息。