当今快速发展的工业领域，智能制造作为第四次工业革命的核心，正引领着生产方式的革新。智能制造的关键在于实时监控和数据分析，这不仅能优化生产流程，还能显著提升产品质量和生产效率。其中，装配操作的实时监控对于制造过程尤为重要，它能够帮助企业自动识别生产瓶颈，实时检测并纠正错误，从而保证产品的高标准和一致性。
然而，现有的装配监控系统存在诸多局限性。传统上，装配操作的监控依赖于穿戴式传感器，这种方法不仅可能引起操作员的不适，还可能引发安全问题，有时甚至可能对正在装配的产品造成损害。此外，穿戴式传感器需要操作员手动充电、佩戴和操作，这不仅增加了操作复杂性，还可能因操作员的疏忽而影响监控效果。
为了克服这些挑战，本研究提出了一种名为State Machine Integrated Recognition and Localization (SMIRL)的新技术。该技术采用深度学习与增强推断状态机相结合，能够自动实时识别和定位装配步骤，无需操作员的直接参与。SMIRL 通过一个推断机检测动作，一个状态机定位动作，两者协同工作，不仅能够测量单个装配步骤和整个周期的持续时间，还能在错误发生时立即发出警报，通知操作员。
本研究的目标是通过开发这一创新技术，为智能制造领域提供一种非接触式、高效且可靠的实时装配监控解决方案。我们相信，SMIRL 的应用将为制造业带来革命性的变革，推动工业4.0 的进一步发展。
研究目的与贡献：
本研究的核心目的在于开发一种先进的技术，以实现对制造过程中装配操作的实时监控。这项技术旨在克服传统穿戴式传感器的局限，提供一种非接触式、高效且准确的解决方案。具体而言，本研究的贡献可以概括为以下几点：
创新技术的开发：我们提出了State Machine Integrated Recognition andLocalization (SMIRL)，这是一种集成了深度学习和增强推断状态机的新技术。SMIRL能够自动地识别和定位装配步骤，无需操作员佩戴任何传感器。
实时监控与反馈：SMIRL技术能够实时测量单个装配步骤的持续时间和整个装配周期，为生产流程的优化提供了即时数据支持。同时，该技术还能够在检测到错误时立即发出警报，帮助操作员及时纠正。
异常检测能力：除了基本的识别和定位功能，SMIRL还能够检测装配过程中可能出现的异常情况，如违反预定义装配序列的“序列断裂”或遗漏的装配步骤。
技术方案：
本研究提出的技术方案围绕State Machine Integrated Recognition and Localization(SMIRL)展开，该方案由两个核心组件构成：推断机（Inference Machine）和状态机（State Machine）。这两个组件协同工作，实现对装配步骤的实时识别与精准定位。
图1 从模型训练到模型推理的框架流程图。
- 推断机（Inference Machine）：推断机负责检测视频中的装配动作。我们采用了两种深度学习模型：VGG16-RollingAverage 和C3DOpticalFlow。这些模型通过分析摄像头捕获的视频帧，实现对装配动作的识别。
- 状态机（State Machine）：状态机负责将推断机检测到的动作进行定位，确定动作发生的具体时间点，并管理整个装配过程的全局状态。状态机的设计允许它根据预定义的装配顺序（Standard OperatingProcedures, SOPs）来跟踪和记录系统的实时状态。
- 模型架构：
图2 C3D-OpticalFlow 和VGG16-RollingAverage 模型的架构。
VGG16-RollingAverage 模型：该模型基于VGG16 架构，利用预训练权重，并在模型末尾添加了新的分类层。在推理过程中，通过计算过去若干帧的softmax 概率的滚动平均值来实现动作检测。
C3D-OpticalFlow 模型：此模型从头开始训练，通过将RGB帧和光流信息结合起来，利用3D 卷积网络直接在训练阶段整合时序信息。
4. 实时推理架构：实时推理模块由推断机和状态机组成，能够以与摄像头帧率同步的速度进行推理，实现对装配操作的实时监控。该架构支持测量周期时间和步时间，并能够实时检测装配操作中的异常情况。
图4 使用C3D-OpticalFlow 或VGG16-RollingAverage 模型的推断机。
图5 展示了包含推断机和状态机的推理模块的高层架构。
5. 异常检测：状态机能够识别两种类型的异常：序列断裂（Sequence Break）和遗漏步骤（Missed Steps）。序列断裂指的是装配步骤的顺序被打破，而遗漏步骤表示在装配周期结束时遗漏了某些装配步骤。
实验设计：
本研究的实验设计旨在验证我们提出的State Machine Integrated Recognition and Localization (SMIRL)技术在实时监控装配操作方面的有效性。实验分为以下几个关键步骤：
图6 实验设置和装配数据集的快照
- 实验设置：实验中使用了两个数据集：Dataset-I（实际装配操作）和 Dataset-I（I 模拟装配操作）。实验通过在装配工作站上方安装 RGB IP 摄像头来监控装配过程。视频数据以30 帧每秒（FPS）的速率存储，并用于模型训练和实时推理。
- 数据预处理：视频数据被手动标注，以匹配对应的装配步骤。对于VGG16-RollingAverage 模型，视频帧被调整为224×224×3 的尺寸；而对于C3D-OpticalFlow 模型，视频帧和光流信息被结合起来，形成16 帧的输入序列。
- 模型训练：使用两种模型对数据集进行训练。C3D-OpticalFlow 模型从头开始训练，而VGG16-RollingAverage 模型则采用了迁移学习的方法。模型训练使用了分类交叉熵损失函数，并引入了L1 和L2 正则化。
- 状态机集成：将推断机（使用深度学习模型）与状态机结合，形成推理模块。状态机负责动作的定位和异常检测，如序列断裂和遗漏步骤。
图7 两种装配操作的状态依赖图，说明了状态机的设计。
5. 性能评估：
时间测量：通过比较人类标注的步时间和SMIRL 推断的步时间，计算了归一化平均绝对误差（NMAE）。
动作定位：使用交并比（IoU）分数来评估检测到的装配步骤与实际步骤之间的重叠。
异常检测：通过合成异常数据，测试了系统检测序列断裂和遗漏步骤的能力。
实验结果：
• 时间测量：Dataset-I 和Dataset-II 的最大NMAE 分别为0.47 和0.17，表明SMIRL 能够以较高的精度推断步时间。
• 动作定位：Dataset-II 的平均IoU 为0.8753，显示了SMIRL 在实时定位装配步骤方面的可靠性。
• 异常检测：在合成的异常数据上，SMIRL 能够以较高的F1 分数（Dataset-I：0.8188/0.8496，Dataset-II：0.8664/0.8745）成功识别序列断裂和遗漏步骤。
结论：
本研究成功开发了一种名为State Machine Integrated Recognition and Localization (SMIRL)的非接触式装配监控技术。通过集成深度学习模型和增强型状态机，SMIRL 能够实现对装配工作站操作的实时动作识别和定位。以下是根据实验结果得出的主要结论：
- 步时间推断：SMIRL 能够准确推断两个装配操作中每个步骤的步时间。Dataset-I 和Dataset-II 的最大归一化平均绝对误差（NMAE）分别为0.47 和0.17，表明该系统具有较高的时间测量精度。
- 动作定位准确性：通过计算交并比（IoU）分数，我们确定了SMIRL在定位Dataset-II 中检测到的装配步骤与实际步骤之间的重叠部分的平均IoU 为0.8753，这证明了系统在实时定位装配步骤方面的高可靠性。
- 异常检测能力：SMIRL 能够成功检测装配操作中的序列断裂和遗漏步骤。在Dataset-I 和Dataset-II上，序列断裂和遗漏步骤的F1-Score分别达到0.8188/0.8664 和0.8496/0.8745，显示了系统在异常检测方面的有效性。
- 模型性能比较：通过比较C3D-OpticalFlow 和VGG16-RollingAverage 两种模型，研究发现使用光流信息和在模型训练时就整合时序信息对于动作检测是有益的。C3D-OpticalFlow 模型在Dataset-II 上的性能略优于VGG16-RollingAverage 模型。
- 实时性能测试：实验还测试了SMIRL的实时性能，C3D-OpticalFlow模型的处理速度为每秒87 帧，而VGG16-RollingAverage 模型的处理速度为每秒102 帧，证明了系统有能力处理实时视频流。
- 未来工作方向：尽管SMIRL 在实验中表现出色，但仍有改进空间。
未来的工作将集中在提高推断机的鲁棒性、实现用户反馈的实时集成，以及通过图建模更好地捕捉装配工作站的视频数据。
综上所述，SMIRL 技术为智能制造领域提供了一种创新的解决方案，能够显著提高装配操作的监控能力，为实现智能、高效、可靠的生产流程做出了重要贡献。
