绿色检查
链接复制到剪贴板

了解 FPS 在计算机视觉中的作用

了解计算机视觉中的 FPS 为何重要,以及它如何影响实时物体检测、视频分析和人工智能驱动的应用。

观看您最喜爱的体育赛事的慢动作回放,每个细节都非常清晰,这与观看通常看起来生涩难懂的监控录像截然不同。这些差异背后的关键技术细节是 FPS,即每秒帧数,指视频中每秒显示的帧数。较高的 FPS 会产生流畅、逼真的动作,而较低的 FPS 则会导致画面生涩、细节较少。

这一概念直接影响到计算机视觉,计算机视觉是人工智能的一个分支,能让机器像人类一样解释和分析视觉数据。在计算机视觉领域,更高的 FPS 意味着系统每秒可以捕捉更多信息,从而提高物体检测和实时跟踪的准确性。

在本文中,我们将探讨 FPS 的技术方面以及它与计算机视觉应用的关系。让我们开始吧!

计算机视觉中的 FPS 是什么意思?

比方说,您正在玩一款赛车游戏:在 60 FPS 的情况下,每个转弯都感觉流畅且反应灵敏,但在 20 FPS 的情况下,控制就会出现滞后,使您更难躲避障碍物。简单地说,你可以把 FPS 视为每秒显示的静态图片数量。每秒显示的图片越多,动作看起来就越流畅自然,而图片越少,动作看起来就越不流畅。

与游戏一样,FPS 也是计算机视觉应用的关键部分。较高的 FPS 可以让视觉人工智能流畅地跟踪物体,而较低的 FPS 则可能导致遗漏细节。 

例如,在体育分析中,人工智能摄像机需要更高的 FPS 才能跟踪快速传球、球员移动和球的轨迹。较低的 FPS 可能会导致错过重要的脚对球接触或快速变向,从而影响分析的准确性。 

同样,在交通监控中,系统依靠高 FPS 实时检测超速车辆和车道变化。选择合适的 FPS 取决于每个计算机视觉应用的具体要求,同时还要兼顾性能、效率和视觉清晰度。

图 1.不同帧频的比较

计算机视觉中的 FPS 技术问题

既然我们已经讨论了什么是 FPS 以及它在计算机视觉中的应用,下面就让我们深入探讨其技术层面--从如何计算视频的 FPS 开始。 

用帧的总数除以以秒为单位的持续时间,就得出了视频的 FPS。例如,如果一段视频在 4 秒钟内有 96 个帧,则计算结果为 24 FPS,即每秒显示 24 幅图像,而在 4 秒钟内有 32 个帧,则计算结果为 8 FPS。OpenCV等Python 库可用于提取视频元数据、计算帧数和自动计算 FPS,从而简化视频分析过程。

图 2.24 FPS vs 8 FPS vs 4FPS。

影响视频 FPS 的因素

然而,在开发计算机视觉解决方案时,仅计算 FPS 还不足以做出技术决策。还必须考虑可能影响有效帧频的各种因素,如硬件能力、软件优化和环境条件。 

下面我们来看看这些因素:

  • 硬件能力:摄像头传感器的质量和设备的处理能力可决定每秒可捕捉多少帧图像。更好的硬件通常意味着支持更高的 FPS 和更流畅的视频。
  • 软件优化:高效的视频编码和处理软件有助于快速提取和分析帧。
  • 环境条件:场景中的光线和运动会影响帧捕捉的清晰度。良好的光线和适度的运动可以提高 FPS,而较差的条件可能需要较高的 FPS 才能保持清晰度。
  • 存储需求:更高的 FPS 每秒可捕捉更多的帧数,从而产生更大的文件大小。这就增加了存储需求,并要求更快的数据处理速度,以确保流畅播放。

探索计算机视觉应用中的 FPS

人工智能模型,如 Ultralytics YOLO11支持实时计算机视觉任务的人工智能模型可用于分析高帧率视频。这种实时能力对于自动驾驶、监控和机器人等应用至关重要,因为在这些应用中,即使很小的延迟也会导致重大错误。 

让我们来看看现实世界中的一些视觉人工智能应用,在这些应用中,高 FPS 对精度和性能至关重要。 

用于监控和安全解决方案的更高帧频

监控高速公路等高流量区域的监控系统使用高 FPS 捕捉微小细节,确保快速移动的车辆被清晰记录下来。这种清晰度对车牌自动识别 (ANPR)系统至关重要,因为该系统需要高质量的录像来准确识别车辆。

在此类系统中,可以使用YOLO11 等模型直接从视频馈送中检测车牌。一旦检测到车牌,就会使用光学字符识别 (OCR) 技术将文本图像转换为机器可读字符,从而读取车牌的详细信息。这一过程可以快速准确地识别车辆,加强交通执法和整体安全性。

图 3.使用YOLO11 检测车牌。

了解自主系统的 FPS 要求

假设一辆自动驾驶汽车停在一个停车标志前,仔细分析周围环境,以决定是否可以安全行驶。这辆汽车必须做出几乎瞬时的决定,这就需要实时捕捉和处理视觉数据。 

如果自动驾驶汽车配备的摄像头能以更高的每秒帧频捕捉画面,那么它就能接收到更连续、更详细的图像流。这种增强的视觉输入使汽车能够快速检测到障碍物、行人和其他车辆。这使得汽车能够对环境中的任何变化做出迅速反应。

如果摄像头以较低的每秒帧频处理图像,车辆可能会接收到更不流畅、更不详细的图像。这可能会延迟反应时间,增加遗漏关键信息的风险,并可能危及安全。

FPS 与体育分析之间的联系

在体育运动中,精确捕捉每一个动作至关重要,因为瞬间的决定可能决定胜负。支持更高每秒帧频的技术让我们能够记录运动中的每一个微小细节,教练、分析师和运动员可以不失时机地查看慢动作比赛。在网球、足球和板球等运动中,它还能提供清晰的逐帧画面,帮助裁判做出更准确的判罚。

例如,一项关于排球的有趣研究分析了使用更高的 FPS如何改进性能评估。将 FPS 从 30 提升到 240 后,运动清晰度和物体跟踪能力都有了明显提高。扣球分析的准确性也得到了提高,帮助教练更准确地了解手的位置、球的接触点和起跳的力学原理。此外,研究还发现,更高的 FPS 可减少运动模糊,使发球和防守反应更易于分析。 

图 4.低 FPS 和高 FPS 在运动清晰度方面的比较。

在视频分析中使用低 FPS 是否有效

并非所有计算机视觉应用都需要以较高的 FPS 录制视频。在许多情况下,根据任务的不同,较低的 FPS 就足以获得精确的结果。以下是一些首选较低 FPS 的关键领域:

  • 离线后处理和分析:对于交通监控和人群分析等应用,并不总是需要以高 FPS 捕获每一帧图像。较低的 FPS 仍能提供足够的数据来分析移动模式,如车辆流量、行人密度和拥堵趋势。通过减少冗余帧,这种方法可最大限度地降低存储要求和计算负荷,同时保持准确的分析结果。
  • 延时环境监测:对于植物生长、施工进度或冰川运动等缓慢变化的跟踪,每隔几分钟或每天捕捉一帧即可,既能有效记录长期变化,又能节省存储空间。
  • 资源有限的环境:在野生动物监控和远程安防方面,较低的 FPS 有助于节省电池寿命和存储空间。以 5-10 FPS 运行的运动触发摄像机可以长时间捕捉重要事件,因此非常适合离网安装。

为深度学习应用选择合适的 FPS

选择理想的 FPS 需要平衡性能与系统限制。以下是为深度学习应用优化 FPS 时需要注意的一些事项:

  • 平衡性能和资源:更高的 FPS 可提高响应速度,但也会增加功耗和处理需求。动态调整 FPS、使用帧插值和优化硬件有助于保持流畅的性能,而不会使系统超负荷。
  • 特定应用需求:不同的应用有不同的 FPS 要求。电池供电的设备应使用较低的 FPS 以节约能源,而无人机和自动驾驶汽车等实时系统则需要较高的 FPS 以实现快速准确的响应。
  • 测试和优化:FPS 设置最好在不同的光照和运动条件下进行测试。评估延迟和并行比较 FPS 水平有助于确定响应速度、视觉质量和资源效率之间的最佳平衡。

人工智能模型的未来创新和 FPS 优化

人工智能和硬件优化方面的进步使更高的帧频更容易实现,即使在资源有限的环境中也是如此。例如,电影、体育和机器人等行业可以从更智能的帧速率管理中获益,系统可以根据运动复杂性和处理能力动态调整 FPS。人工智能驱动的帧插值还能通过实时生成额外帧来提高视频流畅度。

与此同时,英伟达™(NVIDIA®)公司最近在 NVIDIA进一步提升了 FPS 性能。DLSS 4(深度学习超级采样)引入了多帧生成功能,利用人工智能预测并创建额外帧数。这可将帧率提升多达 8 倍,同时降低系统的工作负荷。

通过让人工智能处理部分渲染工作,DLSS 4 可使视觉效果更加流畅,而不会对硬件造成额外负担,从而提高性能和效率。

主要收获

FPS 不仅仅是衡量流畅视觉效果的标准,它还能推动人工智能和计算机视觉领域的实时决策。视频中的每一帧都能捕捉关键数据,使机器能够跟踪物体、分析运动并应对动态环境。无论是自动驾驶汽车避开障碍物,还是监控系统即时检测威胁,正确的 FPS 都能确保准确性和效率。

未来的 FPS 不仅要提高帧率,还要对其进行智能优化。这一演变将使计算机视觉系统在各行各业中变得更快、更具创新性、更节省资源。

想了解有关人工智能的更多信息?探索我们的 GitHub 存储库并加入我们的社区。准备好开始自己的计算机视觉项目了吗?了解我们的许可选项。访问我们的解决方案页面,了解计算机视觉如何在医疗保健领域提高效率,并探索人工智能对制造业的影响!

Facebook 徽标Twitter 徽标LinkedIn 徽标复制链接符号

在此类别中阅读更多内容

让我们共同打造人工智能的未来

开始您的未来机器学习之旅