光流

光流如何工作

光流计算的核心理念是 "亮度恒定 "假设，即当物体在图像平面上移动时，对应于物体上特定点的像素强度在短时间间隔内保持恒定（或发生可预测的变化）。算法从一帧到下一帧跟踪这些强度模式，计算每个像素或特定兴趣点的运动矢量。

计算光流的常用技术包括

• 稀疏光流： Lucas-Kanade 法等算法可跟踪一组稀疏的显著特征（如角）在帧间的运动。这种方法计算效率高，但只能提供选定点的运动信息。
• 密集光流： Horn-Schunck 方法等算法旨在为图像中的每个像素计算运动矢量。这种方法能提供更丰富的运动表示，但计算量更大。
• 深度学习方法：现代方法通常使用在大型数据集上训练的卷积神经网络（CNN）来估计光流。FlowNet和RAFT（递归全对场变换）等模型利用深度学习 (DL)的强大功能学习复杂的运动模式，表现出最先进的性能。这些模型可以使用以下框架开发 PyTorch或 TensorFlow.

光流与相关概念

将光流与相关任务区分开来非常重要：

• 物体检测：这项任务使用边界框识别和定位单帧图像中的物体，通常使用的模型包括 Ultralytics YOLO11.它关注的是物体的内容和位置，而不是其在帧间的运动。您可以探索不同YOLO 模型在检测任务中的比较。
• 物体跟踪：这涉及在多个帧中跟踪检测到的特定物体，并在一段时间内保持其特征。虽然光流可以作为跟踪算法（如DeepSORT）的一个组成部分，但跟踪的重点是物体轨迹和特征保持，这是比像素运动估算更高层次的任务。Ultralytics 模型支持物体跟踪模式。
• 运动估计：这是一个更宽泛的术语，包含各种确定运动的技术。光流是一种特殊的运动估算类型，侧重于图像平面中像素的明显二维运动，通常有别于估算世界中物体的真实三维运动。
• 图像分割：这包括将图像分割成多个片段或区域，通常是为了隔离物体或区域。虽然来自光流的运动线索可以帮助分割（运动分割），但主要目标是空间划分，而不是运动矢量计算。实例分割等任务为每个对象实例提供每个像素的掩码。

实际应用

光流对于许多需要从视频中理解运动的应用来说至关重要：

• 视频压缩： MPEG等标准使用与光流类似的运动估计技术，根据前一帧预测后一帧。通过只对运动矢量和预测误差（残差）进行编码，可实现显著的数据压缩。
• 自主系统： 自动驾驶汽车和机器人使用光流进行视觉测距（估计自身运动）、障碍物探测以及了解环境中物体的相对运动。例如，它可以帮助自动驾驶汽车估计其相对于道路的速度或跟踪附近的车辆。Waymo等公司在很大程度上依赖于运动感知。探索自动驾驶汽车中的人工智能，了解更多详情。
• 动作识别：要理解视频中的人类动作，通常需要分析从光流中得出的运动模式。
• 视频稳定：数字图像稳定技术可利用光流来估计相机抖动并进行补偿，从而产生更流畅的视频。
• 医学图像分析：用于跟踪组织运动，如超声心动图中的心肌运动或手术过程中的器官变形。请参阅 "放射学 "等资源：人工智能》等资源，了解相关进展。
• 机器人使机器人能够导航、与物体互动，并根据对周围环境运动的视觉反馈执行任务。与ROS等系统的集成通常包括运动分析。

工具和实施

OpenCV等库提供了经典光流算法的实现（OpenCV 光流教程）。对于深度学习方法，像 PyTorch和 TensorFlow等框架，通常利用通过以下平台提供的预训练模型 Hugging Face.训练这些模型需要具有地面真实流量信息的大规模视频数据集，如FlyingThings3D或Sintel 数据集。Ultralytics HUB等平台可以帮助管理数据集和模型训练工作流，不过它们主要侧重于检测和分割等任务，而不是直接进行光流估算。