边缘人工智能 （Edge AI）使人工智能（AI）模型能够直接在智能手机、相机和无人机等设备上运行。它的主要优势在于无需依赖云，即可支持更快的实时决策。事实上，研究表明，在边缘平台上使用人工智能可将运营效率提高 40%。 

在YOLO Vision 2024（YV24）上，边缘人工智能（尤其是计算机视觉）的最新进展成为了一个核心话题。YV24 是Ultralytics 的年度混合活动，汇集了人工智能爱好者和专家，共同探讨视觉人工智能的最新发展。索尼公司的主题演讲是此次活动的亮点之一，他们在演讲中展示了新的尖端人工智能硬件和软件解决方案。索尼展示了 IMX500 传感器和 AITRIOS 平台，并演示了这些创新是如何使Ultralytics YOLO 等 模型的部署变得更简单、更高效。 Ultralytics YOLO11和 Ultralytics YOLOv8边缘。

会议由专注于索尼成像解决方案的业务开发经理Wei Tang 和在边缘设备上部署深度学习模型方面拥有专业知识的边缘深度学习产品经理Amir Servi 主持。 

在本文中，我们将重温索尼在 YV24 上的演讲，探讨 IMX500 传感器和 AITRIOS 平台如何优化YOLO 模型的使用，以实现更快的实时边缘人工智能处理。让我们开始吧！

索尼的愿景在边缘设备上实现人工智能民主化

Wei Tang 在会议开始时谈到，索尼的目标是让边缘人工智能像多年前的摄影技术一样普及。她强调了索尼目前如何通过边缘计算将先进的视觉人工智能带给更多人。这背后的驱动因素之一是边缘人工智能对环境的积极影响。通过直接在设备上处理数据，而不是依赖庞大的数据中心，边缘计算有助于减少能源消耗和碳排放。这是一种更智能、更环保的方法，与索尼致力于打造不仅能更好地工作，而且有助于创造更可持续未来的技术不谋而合。

Wei 接着解释了索尼半导体解决方案公司（索尼旗下专门从事成像和传感技术的部门）如何制造先进的图像传感器。这些传感器用于各种设备，将光线转换成电子信号，从而捕捉图像。索尼每年的传感器出货量超过 12 亿个，全球近一半的手机都装有索尼传感器，使索尼成为成像行业的主要参与者。 

‍

在这一专业技术的基础上，索尼正在进一步将这些传感器从图像捕捉设备转变为能够实时处理数据的智能工具，从而直接在设备上实现人工智能驱动的洞察力。在讨论索尼用于支持这一转变的硬件和软件解决方案之前，我们先来了解一下这些创新旨在解决的边缘人工智能挑战。

与边缘设备上的人工智能图像处理有关的挑战

开发边缘人工智能解决方案会遇到一些关键挑战，尤其是在使用摄像头和传感器等设备时。许多此类设备的功率和处理能力有限，因此很难高效运行高级人工智能模型。

以下是其他一些主要限制：

• 软件复杂性：让人工智能模型在不同硬件配置的各种边缘设备上运行可能非常复杂，需要进行调整和优化。
• 后处理瓶颈：将大量数据从设备传输到主机进行后处理时往往会出现延迟。这往往比实际的人工智能模型推理耗费更多时间。
• 数据爆炸：随着许多物联网设备不断生成数据，需要本地处理的数据量可能会不堪重负，进一步加重边缘设备的压力。

了解索尼 IMX500 智能视觉传感器

索尼 IMX500 智能视觉传感器是一款改变边缘人工智能处理领域游戏规则的硬件。它是全球首款具有片上人工智能功能的智能视觉传感器。该传感器有助于克服边缘人工智能领域的诸多挑战，包括数据处理瓶颈、隐私问题和性能限制。

其他传感器只是传递图像和帧，而 IMX500 却能讲述一个完整的故事。它直接在传感器上处理数据，使设备能够实时产生洞察力。在会议期间，唐炜说："通过利用我们先进的图像传感器技术，我们的目标是开发新一代应用，以改善日常生活。IMX500 就是为了实现这一目标而设计的，它改变了设备直接在传感器上处理数据的方式，而无需将数据发送到云端进行处理。

以下是它的一些主要功能：

• 元数据输出：它不发送完整图像，而是输出元数据，大大减少了数据量，从而降低了带宽使用和成本。
• 增强隐私保护：通过在设备上处理数据，IMX500 提高了隐私性，尤其是在涉及敏感信息的情况下，如与人类相关的计算机视觉任务（如人数统计）。
• 实时处理：传感器快速处理数据的能力意味着它能支持快速、实时的决策，从而实现边缘人工智能应用，如自主系统。

IMX500 不仅仅是一个相机传感器，它还是一个强大的传感工具，能够改变设备感知周围世界并与之互动的方式。通过将人工智能直接嵌入传感器，索尼正在使汽车、医疗保健和智能城市等行业更容易获得边缘人工智能。在随后的章节中，我们将深入探讨 IMX500 如何与Ultralytics YOLO 模型配合使用，以改进边缘设备的物体检测和数据处理。

‍

索尼的 AITRIOS 平台：简化边缘人工智能

在介绍了 IMX500 传感器之后，唐炜表示，硬件固然重要，但仅靠硬件还不足以应对边缘人工智能部署所涉及的全部挑战。她谈到，在相机和传感器等设备上集成人工智能需要的不仅仅是先进的硬件，还需要智能软件来进行管理。这正是索尼 AITRIOS 平台的用武之地，它提供了可靠的软件解决方案，旨在让边缘设备上的人工智能部署变得更简单、更高效。

AITRIOS 是复杂人工智能模型与边缘设备局限性之间的桥梁。它为开发人员提供了一系列快速部署预训练人工智能模型的工具。但更重要的是，它支持持续再训练，使人工智能模型能够适应现实世界的变化。 

Wei 还强调了 AITRIOS 如何为那些不具备深厚人工智能专业知识的人简化流程，为特定边缘人工智能用例提供定制人工智能模型的灵活性。它还能应对内存限制和性能下降等常见挑战，使人工智能更容易集成到较小的设备中，而不会牺牲精度或速度。 

‍

在 IMX500 上优化YOLO 模型

在讲座的第二部分，话筒交给了阿米尔，他从技术角度深入探讨了索尼是如何在 IMX500 传感器上优化YOLO 型号的。 

阿米尔首先说："YOLO 模型是边缘使能的，而且相当容易优化，这要感谢格伦和他的团队。我会让你们相信这一点的，不用担心。阿米尔随后解释说，虽然很多人通常会关注人工智能模型本身的优化，但这种方法往往忽略了一个关键问题：后处理瓶颈。

阿米尔指出，在许多情况下，人工智能模型完成任务后，在主机设备上传输数据和处理后处理的过程会造成严重的延迟。在设备和主机之间来回传输数据会带来延迟，这可能是实现最佳性能的主要障碍。

‍

为了解决这个问题，阿米尔强调了审视整个端到端系统的重要性，而不是仅仅关注人工智能模型。在使用 IMX500 传感器时，他们发现后处理是拖慢一切的主要瓶颈。他分享说，真正的突破在于解锁了片上非最大抑制（NMS）。 

它允许直接在传感器上进行后期处理，无需将大量数据传输到主机设备。通过直接在 IMX500 上运行 NMS，索尼突破了 Amir 所称的 "后期处理玻璃天花板"，实现了更好的性能并减少了延迟。

‍

接下来，我们将看看这一创新如何帮助YOLO 模型，尤其是 YOLOv8Nano 在边缘设备上更高效地运行，为在更小、资源有限的硬件上进行实时人工智能处理创造了新的机会。

YOLOv8 索尼 IMX500 使机型速度提升 4 倍

最后，阿米尔演示了他们如何通过在边缘运行 NMS 将YOLOv8 Nano 型号的性能提高四倍。他在集成了 IMX500 AI 传感器的Raspberry Pi5 上进行了展示。阿米尔比较了在主机设备上处理后处理与在 IMX500 芯片上处理后处理的性能。 

结果清楚地表明，在芯片上进行处理时，每秒帧数（FPS）和整体效率都有很大提高。通过优化，物体检测变得更快、更流畅，同时也证明了在树莓派（Raspberry Pi）等资源有限的小型设备上进行实时人工智能处理的实用性。

主要收获

索尼的 IMX500 传感器、AITRIOS 平台和Ultralytics YOLO 模型正在重塑边缘人工智能的发展。片上人工智能处理减少了数据传输和延迟，同时提高了隐私性、安全性和效率。通过关注整个系统，而不仅仅是人工智能模型，这些创新使开发人员和那些没有深厚人工智能专业知识的人更容易获得边缘人工智能。随着边缘人工智能技术的不断进步，它将有可能在广泛的行业和应用中实现更智能的设备、更快速的决策和更强大的隐私保护。

与我们的社区保持联系，不断了解人工智能！查看我们的GitHub 存储库，了解我们如何利用人工智能为农业和制造业等各行各业创造创新解决方案。🚀