효율적인 에지 AI, AI 가속 및 실시간 오브젝트 감지를 위해 RKNN 툴킷을 사용하여 Rockchip에 Ultralytics YOLO11 배포하는 방법을 살펴보세요.
최근 AI 커뮤니티의 화두는 특히 컴퓨터 비전과 관련하여 엣지 AI입니다. AI 기반 애플리케이션이 성장함에 따라 제한된 전력과 컴퓨팅 리소스를 갖춘 임베디드 디바이스에서 모델을 효율적으로 실행해야 할 필요성이 커지고 있습니다.
예를 들어 드론은 실시간 내비게이션에 Vision AI를 사용하고, 스마트 카메라는 물체를 즉시 감지하며, 산업 자동화 시스템은 클라우드 컴퓨팅에 의존하지 않고 품질 관리를 수행합니다. 이러한 애플리케이션은 실시간 성능과 짧은 지연 시간을 보장하기 위해 엣지 디바이스에서 직접 빠르고 효율적인 AI 처리가 필요합니다. 하지만 엣지 디바이스에서 AI 모델을 실행하는 것이 항상 쉬운 일은 아닙니다. AI 모델은 많은 엣지 디바이스가 처리할 수 있는 것보다 더 많은 전력과 메모리를 필요로 하는 경우가 많습니다.
록칩의 RKNN 툴킷은 록칩 기반 디바이스에 딥러닝 모델을 최적화하여 이 문제를 해결하는 데 도움을 줍니다. 전용 신경 처리 장치(NPU)를 사용하여 추론 속도를 높이고 CPU 또는 GPU 처리와 비교하여 지연 시간과 전력 소비를 줄입니다.
Vision AI 커뮤니티는 다음과 같이 열망하고 있습니다. Ultralytics YOLO11 을 실행하고 싶다는 요청이 많았습니다. 이에 따라 YOLO11 RKNN 모델 형식으로 내보낼 수 있는 지원을 추가했습니다. 이 글에서는 RKNN으로 내보내기가 어떻게 작동하는지, 그리고 Rockchip 기반 장치에 YOLO11 배포하는 것이 왜 획기적인지 살펴보겠습니다.
Rockchip은 많은 임베디드 장치를 실행하는 작지만 강력한 프로세서인 시스템온칩(SoC)을 설계하는 회사입니다. 이 칩은 CPU, GPU, 신경 처리 장치(NPU)를 결합하여 일반적인 컴퓨팅 작업부터 물체 감지 및 이미지 처리에 의존하는 비전 AI 애플리케이션까지 모든 것을 처리합니다.
Rockchip SoC는 단일 보드 컴퓨터(SBC), 개발 보드, 산업용 AI 시스템, 스마트 카메라 등 다양한 장치에 사용됩니다. 잘 알려진 하드웨어 제조업체인 Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas 및 Banana Pi는 Rockchip SoC로 구동되는 장치를 제작합니다. 이러한 보드는 성능, 전력 효율성 및 경제성이 균형을 이루기 때문에 에지 AI 및 컴퓨터 비전 애플리케이션에 널리 사용됩니다.
이러한 장치에서 AI 모델이 효율적으로 실행될 수 있도록 Rockchip은 RKNN(Rockchip Neural Network) 툴킷을 제공합니다. 이를 통해 개발자는 딥 러닝 모델을 변환하고 최적화하여 Rockchip의 NPU(신경 처리 장치)를 사용할 수 있습니다.
RKNN 모델은 지연 시간이 짧은 추론과 효율적인 전력 사용에 최적화되어 있습니다. 개발자는 모델을 RKNN으로 변환하여 Rockchip 기반 디바이스에서 더 빠른 처리 속도, 전력 소비 감소, 효율성 향상을 달성할 수 있습니다.
RKNN 모델이 Rockchip 지원 디바이스에서 AI 성능을 향상시키는 방법을 자세히 살펴보겠습니다.
광범위한 컴퓨팅 작업을 처리하는 CPU 및 GPU와 달리 Rockchip의 NPU는 딥 러닝을 위해 특별히 설계되었습니다. 개발자는 AI 모델을 RKNN 형식으로 변환하여 NPU에서 직접 추론을 실행할 수 있습니다. 따라서 빠르고 효율적인 처리가 필수적인 실시간 컴퓨터 비전 작업에 RKNN 모델이 특히 유용합니다.
NPU는 신경망 연산을 병렬로 처리하도록 설계되었기 때문에 AI 작업에서 CPU나 GPU보다 더 빠르고 효율적입니다. CPU는 한 번에 한 단계씩 작업을 처리하고 GPU는 여러 코어에 워크로드를 분산하는 반면, NPU는 AI 전용 계산을 더 효율적으로 수행하도록 최적화되어 있습니다.
결과적으로 RKNN 모델은 더 빠르게 실행되고 전력 사용량이 적어 배터리로 구동되는 장치, 스마트 카메라, 산업 자동화 및 실시간 의사 결정이 필요한 기타 엣지 AI 애플리케이션에 이상적입니다.
Ultralytics YOLO (You Only Look Once) 모델은 물체 감지, 인스턴스 분할, 이미지 분류와 같은 실시간 컴퓨터 비전 작업을 위해 설계되었습니다. 속도, 정확성, 효율성으로 잘 알려져 있으며 농업, 제조, 의료, 자율 시스템 등 다양한 산업 분야에서 널리 사용되고 있습니다.
이러한 모델은 시간이 지남에 따라 크게 개선되었습니다. 예를 들어, Ultralytics YOLOv5 는 PyTorch 객체 감지를 더 쉽게 사용할 수 있게 했습니다. 그 후, Ultralytics YOLOv8 은 포즈 추정 및 이미지 분류와 같은 새로운 기능을 추가했습니다. 이제 YOLO11 더 적은 리소스를 사용하면서 정확도를 높여 한 단계 더 발전했습니다. 실제로 YOLO11m은 COCO 데이터 세트에서 더 나은 성능을 보이면서도 YOLOv8m 22% 더 적은 매개 변수를 사용하여 더 정확하고 효율적입니다.
또한 Ultralytics YOLO 모델은 여러 형식으로 내보내기를 지원하므로 다양한 플랫폼에 유연하게 배포할 수 있습니다. 이러한 형식에는 ONNX, TensorRT, CoreML, OpenVINO 포함되므로 개발자는 대상 하드웨어에 따라 자유롭게 성능을 최적화할 수 있습니다.
YOLO11 RKNN 모델 포맷으로 내보내는 기능이 추가되어 이제 YOLO11 Rockchip의 NPU를 활용할 수 있습니다. 가장 작은 모델인 RKNN 형식의 YOLO11n은 이미지당 99.5ms라는 인상적인 추론 시간을 달성하여 임베디드 장치에서도 실시간 처리를 가능하게 합니다.
현재 YOLO11 객체 감지 모델은 RKNN 형식으로 내보낼 수 있습니다. 또한, 향후 업데이트에서 다른 컴퓨터 비전 작업과 INT8 양자화에 대한 지원을 추가하기 위해 노력 중이니 계속 지켜봐 주세요.
YOLO11 RKNN 포맷으로 내보내는 과정은 간단합니다. 사용자 지정 학습된 YOLO11 모델을 로드하고 대상 Rockchip 플랫폼을 지정한 다음 몇 줄의 코드만으로 RKNN 포맷으로 변환할 수 있습니다. RKNN 포맷은 RK3588, RK3566, RK3576을 비롯한 다양한 Rockchip SoC와 호환되므로 광범위한 하드웨어 지원을 보장합니다.
내보낸 RKNN 모델은 Rockchip 기반 디바이스에 배포할 수 있습니다. 모델을 배포하려면 내보낸 RKNN 파일을 Rockchip 디바이스에 로드하고 학습된 AI 모델을 사용하여 새로운 이미지 또는 비디오를 분석하고 실시간으로 객체를 감지하는 프로세스인 추론을 실행하기만 하면 됩니다. 단 몇 줄의 코드만으로 이미지 또는 비디오 스트림에서 객체를 식별할 수 있습니다.
실제 환경에서 Rockchip 지원 장치에 YOLO11 배포할 수 있는 위치에 대해 더 잘 이해하기 위해 몇 가지 주요 에지 AI 애플리케이션을 살펴보겠습니다.
Rockchip 프로세서는 Android 태블릿, 개발 보드 및 산업용 AI 시스템에서 널리 사용됩니다. Android, Linux 및 Python 지원하므로 다양한 산업 분야에 맞는 Vision AI 기반 솔루션을 쉽게 빌드하고 배포할 수 있습니다.
Rockchip 기반 디바이스에서 YOLO11 실행하는 일반적인 애플리케이션은 러기드 태블릿입니다. 러기드 태블릿은 창고, 건설 현장 및 산업 환경과 같은 열악한 환경을 위해 설계된 내구성이 뛰어난 고성능 태블릿입니다. 이 태블릿은 물체 감지 기능을 활용하여 효율성과 안전성을 향상시킬 수 있습니다.
예를 들어 물류 창고에서 작업자는 YOLO11 탑재된 Rockchip 기반 태블릿을 사용하여 재고를 자동으로 스캔하고 감지하여 인적 오류를 줄이고 처리 시간을 단축할 수 있습니다. 마찬가지로 건설 현장에서는 작업자가 헬멧과 조끼 등 필수 안전 장비를 착용하고 있는지 감지하는 데 이 태블릿을 사용하여 기업이 규정을 준수하고 사고를 예방할 수 있습니다.
제조 및 자동화와 관련하여 Rockchip 기반 산업용 보드는 품질 관리 및 공정 모니터링에서 큰 역할을 할 수 있습니다. 산업용 보드는 산업 환경의 임베디드 시스템용으로 설계된 소형 고성능 컴퓨팅 모듈입니다. 이러한 보드에는 일반적으로 센서, 카메라 및 자동화 기계와 통합할 수 있는 프로세서, 메모리, I/O 인터페이스 및 연결 옵션이 포함됩니다.
이러한 보드에서 YOLO11 모델을 실행하면 생산 라인을 실시간으로 분석하여 문제를 즉시 발견하고 효율성을 개선할 수 있습니다. 예를 들어, 자동차 제조에서 Rockchip 하드웨어와 YOLO11 사용하는 AI 시스템은 자동차가 조립 라인을 따라 이동하면서 스크래치, 정렬이 잘못된 부품 또는 페인트 결함을 감지할 수 있습니다. 이러한 결함을 실시간으로 식별함으로써 제조업체는 낭비를 줄이고 생산 비용을 낮추며 차량이 고객에게 인도되기 전에 더 높은 품질 표준을 보장할 수 있습니다.
Rockchip 기반 디바이스는 성능, 비용, 효율성의 균형이 잘 잡혀 있어 엣지 AI 애플리케이션에 YOLO11 배포하는 데 적합합니다.
다음은 Rockchip 기반 기기에서 YOLO11 실행하면 얻을 수 있는 몇 가지 이점입니다:
Ultralytics YOLO11 하드웨어 가속과 RKNN 형식을 활용하여 Rockchip 기반 장치에서 효율적으로 실행할 수 있습니다. 따라서 추론 시간이 단축되고 성능이 향상되어 실시간 컴퓨터 비전 작업과 엣지 AI 애플리케이션에 이상적입니다.
RKNN 툴킷은 양자화 및 미세 조정과 같은 주요 최적화 도구를 제공하여 YOLO11 모델이 Rockchip 플랫폼에서 잘 작동하도록 보장합니다. 효율적인 온디바이스 처리를 위한 모델 최적화는 에지 AI 채택이 증가함에 따라 필수적인 요소가 될 것입니다. 개발자는 올바른 툴과 하드웨어를 통해 다양한 산업 분야에서 컴퓨터 비전 솔루션의 새로운 가능성을 열어갈 수 있습니다.
커뮤니티에 가입하고 깃허브 리포지토리를 살펴보고 AI에 대해 자세히 알아보세요. 솔루션 페이지를 방문하여 농업 분야의 컴퓨터 비전과 의료 분야의 AI가 어떻게 혁신을 주도하고 있는지 알아보세요. 또한 라이선스 옵션을 확인하여 지금 바로 Vision AI 솔루션 구축을 시작하세요!
