视频图像处理基础--运动目标检测与识别

系列文章目录

---

---

前言

---

一、视频图像处理

视频图像处理是指将一系列的静态影像以电信号方式进行捕捉、记录、存储、处理、传送和重现的各种技术的总称。通过把视频图像序列分离为相邻的一幅一幅的静态图像，进而或利用传统的图像处理方法对单帧图像进行处理，或利用其相邻帧间存在的相关性进行运动特征检测和进行运动特征分析，或同时利用同一帧内相邻像素间的空间相关性和相邻帧间的时间相关性进行视频图像压缩处理。

视频帧率：用于测量显示帧数的度量，单位每秒帧数（FPS) 或（Hz)

动画：>= 8FPS
电影: 24FPS
剧烈运动：30FPS
明显的交互感和逼真感：60FPS
当帧率超过75FPS，一般不同意察觉到有明显的流畅度提升了。

二、运动目标检测与识别–帧差法

运动目标检测是指从序列图像中将变化的区域从背景环境中分离出来。常用的目标检测方法有：帧差法，背景减法，光流场法及运动能量法。

2.1 帧差法

帧差法是一种常用且最简单的运动检测方法，基本思路是通过对视频序列中两帧(多帧)图像进行差分运算来提取运动目标轮廓。

2.2 算法原理

1. 求两帧图像中每个对应像素差的绝对值（像素灰度值差)得到帧差图像。
2. 对帧差图像进行二值化处理。
3. 若两帧图像中的某些像素灰度值差大于设定的阈值，将该像素点判定为前景(运动目标)的部分。若其像素灰度值差小于设定的阈值，将该像素点判定为背景的部分。

2.3 利用帧差法进行目标检测的方法

1. 根据实际场景情况或根据经验确定二值图像的阈值T
2. 计算第i帧图像与第i-t帧图像各像素差的绝对值，得到差分后的图像
3. 根据对差分后的图像进行二值化，也即对差分后的图像中的每个像素，若大于设定的阈值T，则判定该像素为前景点，否则判定该像素为背景点。
4. 噪声滤除。因为二值化后的图像一般带有噪声，所以需要采用某种去噪算法来衰减噪声
5. 连通性处理。因为帧差法对于面积较大或颜色分布较为均匀的运动目标，在两帧图像相邻较近的情况下重叠部分容易形成空洞，所以一般要进行连通性处理。
6. 运动目标轮廓提取（目标识别）。经过以上的帧差、去噪和连通性处理，就可得到图像序列中运动目标的边界，从而可确定图像序列中的目标物体。

2.4 相邻帧帧间差分法的优势和不足

优势：直接利用相距较近的两帧图像或利用相邻帧作为背景来做差分，不需要背景累积和更新，算法设计简单，程序复杂度低，且适合于检测识别多目标。
不足：对环境噪声较为敏感，其检测效果过于依赖二值化阈值的选择，若阈值过大，则容易将图中意义的运动区域排除掉；若阈值过小，则容易引入过多噪声。并且对面积较大、颜色分布较为均匀的运动目标，在相邻帧的重叠部分容易形成空洞，无法准确提取运动区域。

2.5 改进的帧间差分法

可利用三帧来进行差分，比如VSAM提出的自适应背景差分法和三帧差分相结合的方法，能够快速有效的检测出运动目标。

SUN Ting, QI Ying-chun, GENG Guo-hua. Moving object detection algorithm based on frame difference and background subtraction. Journal of Jilin University Engineering and Technology Edition, 2016, 46(4): 1325-1329
推荐博客

背景差分法的问题：
难以获取绝对静止的背景。
当目标长时间不移动或背景中的物体离开时，可能导致误检。
三帧差分法的问题：
获得的运动目标通常大于实际物体。（运动方向上拉伸了）
当物体移动缓慢时，相邻两帧之间可能会产生空洞和漏检，导致目标信息不正确。获得的目标中仍然存在较多的干扰噪声，因此，需要对检测结果进行形体学处理。

三、运动目标检测与识别–背景减法

3.1 背景减法

背景减法：按某种规则选取一帧图像作为背景图像，通过用实时采集的观测图像与背景图像进行比较来分割运动目标，所以背景图像（背景模型）的提取是关键环节之一。另外由于受场景环境变化、光照、天气和外来因素的干扰，需要定期、实时或按照某种规则对背景模型进行更新，以便在背景图像有变化的情况仍能准确地检测出运动目标，所以背景模型的更新策略也是背景减法的关键环节之一。

3.2 算法原理

1. 建立视频序列的背景模型图像Bf(x,y)
2. 求当前帧图像与背景模型图像对应的像素的像素灰度值差Dfi(x,y)
   Dfi(x,y) = | fi(x,y)-Bf(x,y)|即可得到帧差图像Dfi(x,y)

将实时采集的视频序列中的当前图像帧与背景模型进行比较，即判断灰度特征变换的帧差法

3. 对当前帧差图像Dfi(x,y)进行二值化处理

若两帧图像中对应位置的像素灰度值差大于设定的阈值，则将该像素点判定为前景（运动目标）的部分；若其像素灰度值差小于阈值，则将该像素点判定为背景部分。

4. 按照某种规则对背景模型进行更新。

3.3 背景建模方法

背景减法最适用的情况是摄像机静止，且观察场景为静态场景的情况。背景建模最简单的情况是选取一个固定的静止参考帧（不存在任何运动物体）作为参考图像。但在许多应用场合无法满足这种要求，所以需要根据应用场合确定合理的背景建模方法，主要有单帧抽取法，多帧统计平均法，中值法，基于模型的方法等。

单帧抽取法

单帧抽取法是指直接抽取视频序列中某一帧图像作为背景模型图像Bf(x,y)的方法。这种方法通常用于能够确定在某段时间内用该帧作为背景参考图像时，能够检测出临时出现的运动目标，多用于背景连续一段时间不会变化的场景。

多帧统计平均值法

统计平均法是指从视频流中取连续的多帧图像，并通过对多帧图像中各像素点的灰度值求平均值，来获得一幅新图像作为背景模型图像Bf(x,y)的方法。

统计平均法假设：尽管背景部分的某些点有时会被前景目标遮挡，但在大部分时间内，可认为背景部分的图像都是不变或是缓变的。

中值法

中值法是指从视频流中取连续的多帧图像，并通过对多帧图像中同位置像素点的灰度值进行排序，然后分别取其中值作为背景图像中相应位置的像素灰度值，也即背景图像的各像素灰度值由序列图像对应像素点的灰度值中值来确定。

基于模型的方法

基于模型的方法分为单模态高斯背景模型法和多模态（混合）高斯背景模型法，是一种统计背景建模方法。以单模态高斯背景模型法为例，它是对背景进行一段时间的观测，获取一定数量（比如N帧）的样本；接着对图像序列中相应位置上的每个像素值沿时间轴近性统计估计、分析，为每个像素建立相应的参数（包括均值和方差）模型。然后通过对新来图像帧进行高斯模型的拟合，并通过调整其参数实现模型的自适应更新。

3.4 背景模型更新

当被观测区域的场景环境（如光照、天气和风的强度等）发生变化时，已建立好的背景模型可能不适应变化了的环境，此时如果不更新背景模型，就有可能出现检测错误。另外，若背景目标发生变化，如运动目标长时间保持静止成为背景的一部分，此时如果不更新背景模型，就有可能将背景点检测为运动点。因此需要按某种规则对背景模型进行更新。

1. 根据确定的时间间隔，周期性地更新背景模型。该规则的不足是当环境变化无规律时，固定的周期对环境变化的自适应度较低。
2. 根据背景环境（如光线）的变化，更新背景模型。该规则需要有合理的判断背景环境变化的方法。
3. 当被观测区域中有目标由静止变为运动，或由运动目标变为静止时，更新背景模型。该规则也需要有合理的判断背景环境中目标发生变化的方法。

背景模型更新实质上是按照一定的策略重新建立背景模型，与背景建模方法类似，可以利用多帧统计平均法、中值法、单高斯背景模型法、自适应混合高斯背景模型法等更新背景。

三、运动目标检测与识别–光流场分析法

3.1 光流场分析

光流场分析法是指利用图像灰度在时间上的变化和表观运动及物体真实运动之间的关系，进行运动物体检测的一种方法。它不但能够检测出独立运动的目标，且不需要预先知道场景的任何信息，所以对摄像机运动的情况也同样适用。

3.2 光流和光流场的概念

光流是指图像中灰度模式的运动速度，用于表达图像中包括目标运动信息在内的图像变化，可用于确定目标的运动。
定义光流是以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点。所有光流点的集合称为光流场。所以，光流场就是在图像中观察到的灰度模式的表面运动，其目的在于从视频序列中近似计算不能之间得到的运动场，由此来实现运动目标及参数的检测和跟踪。

3.3 光流场分析法原理

光流场计算方法分为基于梯度的方法（微分法）、基于区域的方法（匹配法)、基于能量的方法（能量法）、和基于相位的方法(相位法）。

由于光流是对图像表面亮度模式运动的反应，因此大多数的光流计算技术都是基于亮度常数模型的，即通过找到图像上亮度不变模式的对应关系来确定运动位移。

3.4 光流场分析法的优势与不足

光流场分析法不需要预先知道场景的任何信息，而且可以应用于摄像机运动的情况，但是易受环境的影响。光流约束方程（基于亮度常数模型)的前提是目标亮度保持不变，但是在实际场景中亮度会随着光照、目标遮挡等发生变化，这将会严重影响目标检测效果，另外，光流法需要目标与背景之间有一定的相对运动，如果目标运动过慢，则很难将目标检测出来，而且光流法计算比较复杂，实时性较差。

总结

1. 帧差法容易引入噪声，且容易误判，比如微动的树叶，都能被检测出来，导致大片均被判为于运动。
2. 背景减法最适用的情况是摄像机静止，且观察场景为静态场景的情况。当被观测区域中有目标由静止变为运动，或由运动目标变为静止时，更新背景模型。
3. 光流场的方法精度不足，重建光流场的时候，很多细节丢失。