IMX500 센서와 AITRIOS 플랫폼으로 소니의 최첨단 AI 프로세싱의 혁신을 요약하여 Ultralytics YOLO 모델을 최적화하는 데 도움이 되는 소니의 혁신에 대해 알아보세요.
엣지 AI를 사용하면 스마트폰, 카메라, 드론과 같은 디바이스에서 인공지능(AI) 모델을 직접 작동시킬 수 있습니다. 클라우드에 의존하지 않고도 더 빠른 실시간 의사결정을 지원한다는 것이 가장 큰 장점입니다. 실제로 연구에 따르면 엣지 플랫폼에서 AI를 사용하면 운영 효율성을 최대 40%까지 높일 수 있다고 합니다.
최근 컴퓨터 비전, 특히 엣지 AI의 발전은 AI 애호가와 전문가들이 모여 최신 비전 AI를 탐구하는 연례 하이브리드 이벤트인 YOLO Vision 2024(YV24, Ultralytics'에서 중심 주제가 되었습니다. 이 행사의 하이라이트 중 하나는 소니의 기조연설로, 소니는 새로운 최첨단 AI 하드웨어 및 소프트웨어 솔루션을 선보였습니다. IMX500 센서와 AITRIOS 플랫폼이 소개되었으며, 소니는 이러한 혁신이 어떻게 Ultralytics YOLO 모델 Ultralytics YOLO11 및 Ultralytics YOLOv8 온 엣지.
이 세션은 소니의 이미징 솔루션에 중점을 둔 비즈니스 개발 매니저인 웨이 탕과 엣지 디바이스에 딥러닝 모델을 배포하는 데 전문성을 갖춘 엣지 딥러닝 제품 매니저인 아미르 서비가 진행했습니다.
이 기사에서는 YV24에서 소니의 강연을 다시 살펴보고 IMX500 센서와 AITRIOS 플랫폼이 어떻게 YOLO 모델의 사용을 최적화하여 보다 빠른 실시간 엣지 AI 처리를 지원하는지 살펴봅니다. 지금 시작하겠습니다!
웨이 탕은 수년 전 사진 분야에서 그랬던 것처럼 엣지 AI에 대한 접근성을 높이고자 하는 소니의 목표에 대해 이야기하며 세션의 서두를 열었습니다. 그녀는 현재 소니가 엣지 컴퓨팅을 통해 더 많은 사람들에게 고급 비전 AI를 제공하는 데 집중하고 있다고 강조했습니다. 그 원동력 중 하나는 엣지 AI가 환경에 미칠 수 있는 긍정적인 영향입니다. 엣지 컴퓨팅은 대규모 데이터 센터에 의존하지 않고 디바이스에서 직접 데이터를 처리함으로써 에너지 사용을 줄이고 탄소 배출량을 줄이는 데 도움이 됩니다. 이는 더 스마트하고 친환경적인 접근 방식으로, 더 잘 작동할 뿐만 아니라 지속 가능한 미래를 만드는 데 도움이 되는 기술을 구축하려는 소니의 노력에 완벽하게 부합합니다.
Wei는 소니의 이미징 및 센싱 기술 전문 사업부인 소니 세미컨덕터 솔루션이 첨단 이미지 센서를 어떻게 만드는지 설명했습니다. 이러한 센서는 다양한 장치에 사용되어 빛을 전자 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개 이상의 센서를 출하하는 소니는 전 세계 휴대폰의 절반에 가까운 제품에 탑재되어 이미징 업계의 주요 업체로 자리매김하고 있습니다.
이러한 전문성을 바탕으로 소니는 이제 이러한 센서를 이미지 캡처 장치에서 실시간으로 데이터를 처리할 수 있는 스마트 도구로 전환하여 장치에서 직접 AI 기반 인사이트를 얻을 수 있도록 한 단계 더 발전시키고 있습니다. 이러한 변화를 지원하기 위해 소니가 사용하고 있는 하드웨어 및 소프트웨어 솔루션에 대해 논의하기 전에 이러한 혁신이 해결하고자 하는 엣지 AI 과제를 이해해 보겠습니다.
엣지 AI 솔루션 개발에는 몇 가지 주요 과제가 따르는데, 특히 카메라나 센서와 같은 디바이스로 작업할 때 더욱 그렇습니다. 이러한 디바이스의 대부분은 전력과 처리 능력이 제한되어 있어 고급 AI 모델을 효율적으로 실행하기가 까다롭습니다.
다음은 몇 가지 다른 주요 제한 사항입니다:
소니 IMX500 지능형 비전 센서는 에지 AI 프로세싱의 판도를 바꾸는 하드웨어입니다. 온칩 AI 기능을 갖춘 세계 최초의 지능형 비전 센서입니다. 이 센서는 데이터 처리 병목 현상, 개인 정보 보호 문제, 성능 제한 등 엣지 AI의 여러 문제를 극복하는 데 도움이 됩니다.
다른 센서가 단순히 이미지와 프레임만 전달하는 반면, IMX500은 전체 스토리를 전달합니다. 센서에서 직접 데이터를 처리하여 디바이스가 실시간으로 인사이트를 생성할 수 있습니다. 세션에서 웨이 탕은 "소니의 첨단 이미지 센서 기술을 활용하여 일상 생활을 향상시킬 수 있는 새로운 세대의 애플리케이션을 지원하는 것이 목표입니다."라고 말했습니다. IMX500은 이러한 목표를 달성하기 위해 설계되었으며, 처리를 위해 클라우드로 데이터를 전송할 필요 없이 디바이스가 센서에서 직접 데이터를 처리하는 방식을 혁신합니다.
다음은 주요 기능 중 일부입니다:
IMX500은 단순한 카메라 센서가 아니라 기기가 주변 세계를 인식하고 상호 작용하는 방식을 혁신하는 강력한 센싱 툴입니다. 소니는 센서에 AI를 직접 내장함으로써 자동차, 의료, 스마트 시티와 같은 산업에서 엣지 AI에 대한 접근성을 높이고 있습니다. 다음 섹션에서는 IMX500이 어떻게 Ultralytics YOLO 모델과 함께 작동하여 엣지 디바이스에서 물체 감지 및 데이터 처리를 개선하는지 자세히 살펴볼 것입니다.
IMX500 센서를 소개한 웨이 탕은 하드웨어도 중요하지만, 하드웨어만으로는 엣지 AI 배포와 관련된 모든 문제를 해결하기에는 충분하지 않다고 말했습니다. 그녀는 카메라 및 센서와 같은 디바이스에 AI를 통합하려면 고급 하드웨어뿐만 아니라 이를 관리할 수 있는 스마트 소프트웨어가 필요하다고 설명했습니다. 소니의 AITRIOS 플랫폼은 엣지 디바이스에 AI를 보다 간단하고 효율적으로 배포할 수 있도록 설계된 안정적인 소프트웨어 솔루션을 제공합니다.
AITRIOS는 복잡한 AI 모델과 엣지 디바이스의 한계를 연결하는 가교 역할을 합니다. 개발자에게 사전 학습된 AI 모델을 신속하게 배포할 수 있는 다양한 도구를 제공합니다. 하지만 더 중요한 것은 AI 모델이 실제 변화에 적응할 수 있도록 지속적인 재교육을 지원한다는 점입니다.
위는 또한 AITRIOS가 AI 전문 지식이 없는 사용자를 위해 프로세스를 간소화하여 특정 에지 AI 사용 사례에 맞게 AI 모델을 맞춤화할 수 있는 유연성을 제공한다는 점도 강조했습니다. 또한 메모리 제약 및 성능 저하와 같은 일반적인 문제를 해결하여 정확도나 속도 저하 없이 더 작은 장치에 AI를 더 쉽게 통합할 수 있습니다.
강연의 두 번째 파트에서는 아미르에게 마이크를 넘겨, 소니가 IMX500 센서에서 YOLO 모델을 최적화한 기술적 측면에 대해 자세히 설명했습니다.
Amir는 "YOLO 모델은 엣지를 지원하며 Glenn과 팀 덕분에 매우 쉽게 최적화할 수 있습니다. 제가 여러분을 설득할 테니 걱정하지 마세요."라고 말했습니다. 이어서 아미르는 일반적으로 AI 모델 자체의 최적화에 많은 초점을 맞추지만, 이러한 접근 방식은 종종 중요한 문제인 후처리 병목 현상을 간과한다고 설명했습니다.
아미르는 많은 경우 AI 모델이 작업을 완료한 후 데이터를 전송하고 호스트 디바이스에서 후처리를 처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 디바이스와 호스트 간에 데이터를 주고받는 과정에서 지연 시간이 발생하고, 이는 최고의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.
아미르는 이 문제를 해결하기 위해 AI 모델에만 집중하는 것이 아니라 전체 엔드투엔드 시스템을 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서를 통해 후처리가 모든 것을 느리게 하는 주요 병목 현상이라는 것을 발견했습니다. 그는 진정한 돌파구는 온칩 비최대 억제(NMS)의 잠금을 해제하는 것이라고 말했습니다.
이를 통해 센서에서 직접 포스트 프로세싱을 수행할 수 있어 대량의 데이터를 호스트 장치로 전송할 필요가 없어졌습니다. 소니는 IMX500에서 직접 NMS를 실행함으로써 아미르가 '포스트 프로세싱의 유리 천장'이라고 부르는 문제를 해결하여 훨씬 더 나은 성능과 지연 시간 단축을 달성했습니다.
다음으로, 이 혁신이 YOLO 모델, 특히 다음과 같은 모델에 어떻게 도움이 되었는지 살펴보겠습니다. YOLOv8 나노는 엣지 디바이스에서 더 효율적으로 실행되어 더 작고 리소스가 제한된 하드웨어에서 실시간 AI 처리를 위한 새로운 기회를 창출합니다.
강연을 마무리하며 Amir는 엣지에서 NMS를 실행하여 YOLOv8 나노 모델의 성능을 4배로 향상시킬 수 있었던 방법을 시연했습니다. 그는 IMX500 AI 센서와 통합된 라즈베리 파이 5에서 이를 선보였습니다. 아미르는 호스트 장치에서 후처리를 처리할 때와 IMX500 칩에서 처리할 때의 성능을 비교했습니다.
그 결과 온칩으로 처리했을 때 초당 프레임 수(FPS)와 전반적인 효율성이 크게 개선된 것으로 나타났습니다. 이러한 최적화를 통해 물체 감지가 더 빠르고 원활해졌으며, 라즈베리 파이와 같이 리소스가 제한적인 소형 장치에서 실시간 AI 처리의 실용성을 입증할 수 있었습니다.
소니의 IMX500 센서, AITRIOS 플랫폼 및 Ultralytics YOLO 모델이 엣지 AI 개발을 재편하고 있습니다. 온칩 AI 프로세싱은 데이터 전송과 지연 시간을 줄이면서 개인정보 보호, 보안 및 효율성을 향상시킵니다. 이러한 혁신은 AI 모델뿐만 아니라 전체 시스템에 집중함으로써 개발자와 AI 전문 지식이 없는 사람들도 엣지 AI에 더 쉽게 접근할 수 있게 해줍니다. 엣지 AI 기술이 계속 발전함에 따라 다양한 산업과 애플리케이션에서 더 스마트한 디바이스, 더 빠른 의사 결정, 더 강력한 개인정보 보호가 가능해질 것입니다.
커뮤니티와 소통하며 AI에 대해 계속 알아보세요! GitHub 리포지토리에서 농업, 제조 등 다양한 산업에서 AI를 활용하여 혁신적인 솔루션을 만드는 방법을 알아보세요. 🚀
