Khám phá cách triển khai Ultralytics YOLO11 trên Rockchip sử dụng Bộ công cụ RKNN để tăng tốc AI, phát hiện đối tượng theo thời gian thực và tăng cường AI hiệu quả.
Một thuật ngữ thông dụng gần đây trong cộng đồng AI là AI biên, đặc biệt là khi nói đến thị giác máy tính . Khi các ứng dụng do AI thúc đẩy phát triển, nhu cầu chạy các mô hình hiệu quả trên các thiết bị nhúng có nguồn điện và tài nguyên tính toán hạn chế ngày càng tăng.
Ví dụ, máy bay không người lái sử dụng Vision AI để điều hướng theo thời gian thực, camera thông minh phát hiện vật thể ngay lập tức và hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không cần dựa vào điện toán đám mây. Các ứng dụng này yêu cầu xử lý AI nhanh chóng, hiệu quả trực tiếp trên các thiết bị biên để đảm bảo hiệu suất theo thời gian thực và độ trễ thấp. Tuy nhiên, chạy các mô hình AI trên các thiết bị biên không phải lúc nào cũng dễ dàng. Các mô hình AI thường yêu cầu nhiều năng lượng và bộ nhớ hơn mức nhiều thiết bị biên có thể xử lý.
Bộ công cụ RKNN của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các mô hình học sâu cho các thiết bị chạy bằng Rockchip. Nó sử dụng các Đơn vị xử lý thần kinh (NPU) chuyên dụng để tăng tốc độ suy luận, giảm độ trễ và mức tiêu thụ điện năng so với CPU hoặc GPU xử lý.
Cộng đồng Vision AI rất mong muốn chạy Ultralytics YOLO11 trên các thiết bị chạy Rockchip và chúng tôi đã lắng nghe bạn. Chúng tôi đã thêm hỗ trợ cho việc xuất YOLO11 sang định dạng mô hình RKNN . Trong bài viết này, chúng ta sẽ khám phá cách xuất sang RKNN hoạt động và lý do tại sao triển khai YOLO11 trên các thiết bị sử dụng chip Rockchip là một bước đột phá.
Rockchip là một công ty thiết kế hệ thống trên chip (SoC) - bộ xử lý nhỏ nhưng mạnh mẽ chạy nhiều thiết bị nhúng. Những con chip này kết hợp một CPU , GPU và Bộ xử lý thần kinh (NPU) để xử lý mọi thứ, từ các tác vụ tính toán chung đến các ứng dụng AI thị giác dựa trên phát hiện đối tượng và xử lý hình ảnh.
Rockchip SoC được sử dụng trong nhiều thiết bị, bao gồm máy tính bảng đơn (SBC), bảng phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi, xây dựng các thiết bị được cung cấp năng lượng bởi Rockchip SoC. Các bo mạch này phổ biến cho các ứng dụng AI biên và thị giác máy tính vì chúng cung cấp sự cân bằng giữa hiệu suất, hiệu quả năng lượng và giá cả phải chăng.
Để giúp các mô hình AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp Bộ công cụ RKNN (Rockchip Neural Network). Bộ công cụ này cho phép các nhà phát triển chuyển đổi và tối ưu hóa các mô hình học sâu để sử dụng Bộ xử lý thần kinh (NPU) của Rockchip.
Các mô hình RKNN được tối ưu hóa cho suy luận độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi các mô hình sang RKNN, các nhà phát triển có thể đạt được tốc độ xử lý nhanh hơn, giảm mức tiêu thụ điện năng và cải thiện hiệu quả trên các thiết bị chạy bằng Rockchip.
Hãy cùng xem xét kỹ hơn cách các mô hình RKNN cải thiện hiệu suất AI trên các thiết bị hỗ trợ Rockchip.
Không giống như CPU và GPU, xử lý nhiều tác vụ tính toán, NPU của Rockchip được thiết kế dành riêng cho việc học sâu. Bằng cách chuyển đổi các mô hình AI sang định dạng RKNN, các nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này làm cho các mô hình RKNN đặc biệt hữu ích cho các tác vụ thị giác máy tính thời gian thực, trong đó xử lý nhanh chóng và hiệu quả là điều cần thiết.
NPU nhanh hơn và hiệu quả hơn CPU và GPU cho các tác vụ AI vì chúng được xây dựng để xử lý các phép tính mạng nơ-ron song song. Trong khi CPU xử lý các tác vụ từng bước một và GPU phân phối khối lượng công việc trên nhiều lõi, NPU được tối ưu hóa để thực hiện các phép tính cụ thể của AI hiệu quả hơn.
Do đó, các mô hình RKNN chạy nhanh hơn và sử dụng ít điện năng hơn, khiến chúng trở nên lý tưởng cho các thiết bị chạy bằng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng AI tiên tiến khác yêu cầu ra quyết định theo thời gian thực.
Các mô hình YOLO (You Only Look Once) Ultralytics được thiết kế cho các tác vụ thị giác máy tính thời gian thực như phát hiện đối tượng, phân đoạn thể hiện và phân loại hình ảnh. Chúng được biết đến với tốc độ, độ chính xác và hiệu quả, và được sử dụng rộng rãi trong các ngành công nghiệp như nông nghiệp, sản xuất, chăm sóc sức khỏe và hệ thống tự động.
Những mô hình này đã được cải thiện đáng kể theo thời gian. Ví dụ, Ultralytics YOLOv5 giúp phát hiện đối tượng dễ sử dụng hơn với PyTorch . Sau đó, Ultralytics YOLOv8 đã thêm các tính năng mới như ước tính tư thế và phân loại hình ảnh. Bây giờ, YOLO11 đưa mọi thứ đi xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m hoạt động tốt hơn trên tập dữ liệu COCO trong khi sử dụng ít hơn 22% tham số so với YOLOv8m , khiến nó trở nên chính xác hơn và hiệu quả hơn.
Ultralytics YOLO các mô hình cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên nhiều nền tảng khác nhau. Các định dạng này bao gồm ONNX , TensorRT , CoreML , Và OpenVINO , mang đến cho các nhà phát triển sự tự do tối ưu hóa hiệu suất dựa trên phần cứng mục tiêu của họ.
Với sự hỗ trợ bổ sung cho việc xuất khẩu YOLO11 theo định dạng mô hình RKNN, YOLO11 giờ đây có thể tận dụng NPU của Rockchip. Mô hình nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận ấn tượng là 99,5ms cho mỗi hình ảnh, cho phép xử lý thời gian thực ngay cả trên các thiết bị nhúng.
Hiện nay, YOLO11 mô hình phát hiện đối tượng có thể được xuất sang định dạng RKNN. Ngoài ra, hãy theo dõi - chúng tôi đang làm việc để thêm hỗ trợ cho các tác vụ thị giác máy tính khác và lượng tử hóa INT8 trong các bản cập nhật trong tương lai.
Xuất khẩu YOLO11 sang định dạng RKNN là một quá trình đơn giản. Bạn có thể tải các YOLO11 mô hình, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi sang định dạng RKNN bằng một vài dòng mã. Định dạng RKNN tương thích với nhiều SoC Rockchip, bao gồm RK3588, RK3566 và RK3576, đảm bảo hỗ trợ phần cứng rộng rãi.
Sau khi xuất, mô hình RKNN có thể được triển khai trên các thiết bị chạy Rockchip. Để triển khai mô hình, bạn chỉ cần tải tệp RKNN đã xuất lên thiết bị Rockchip và chạy suy luận - quá trình sử dụng mô hình AI đã được đào tạo để phân tích hình ảnh hoặc video mới và phát hiện các đối tượng theo thời gian thực. Chỉ với một vài dòng mã, bạn có thể bắt đầu xác định các đối tượng từ hình ảnh hoặc luồng video.
Để có được một ý tưởng tốt hơn về nơi YOLO11 có thể triển khai trên các thiết bị hỗ trợ Rockchip trong thế giới thực, chúng ta hãy cùng tìm hiểu một số ứng dụng AI quan trọng.
Bộ xử lý Rockchip được sử dụng rộng rãi trong Android - dựa trên máy tính bảng, bảng phát triển và hệ thống AI công nghiệp. Với sự hỗ trợ cho Android , Linux và Python , bạn có thể dễ dàng xây dựng và triển khai các giải pháp dựa trên Vision AI cho nhiều ngành công nghiệp khác nhau.
Một ứng dụng phổ biến liên quan đến việc chạy YOLO11 trên các thiết bị chạy bằng Rockchip là máy tính bảng bền bỉ. Chúng là máy tính bảng bền bỉ, hiệu suất cao được thiết kế cho các môi trường khắc nghiệt như nhà kho, công trường xây dựng và các khu công nghiệp. Những máy tính bảng này có thể tận dụng tính năng phát hiện vật thể để cải thiện hiệu quả và an toàn.
Ví dụ, trong hậu cần kho bãi , công nhân có thể sử dụng máy tính bảng chạy bằng Rockchip với YOLO11 để tự động quét và phát hiện hàng tồn kho, giảm lỗi của con người và tăng tốc thời gian xử lý. Tương tự như vậy, tại các công trường xây dựng, những máy tính bảng này có thể được sử dụng để phát hiện xem công nhân có mặc đồ bảo hộ bắt buộc hay không, như mũ bảo hiểm và áo vest, giúp các công ty thực thi các quy định và ngăn ngừa tai nạn.
Về mặt sản xuất và tự động hóa, bo mạch công nghiệp chạy bằng Rockchip có thể đóng vai trò lớn trong kiểm soát chất lượng và giám sát quy trình. Bo mạch công nghiệp là mô-đun điện toán nhỏ gọn, hiệu suất cao được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bo mạch này thường bao gồm bộ xử lý, bộ nhớ, giao diện I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, camera và máy móc tự động.
Đang chạy YOLO11 các mô hình trên các bảng này giúp phân tích các dây chuyền sản xuất theo thời gian thực, phát hiện các vấn đề ngay lập tức và cải thiện hiệu quả. Ví dụ, trong sản xuất ô tô, một hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện các vết xước, các bộ phận không thẳng hàng hoặc các lỗi sơn khi xe di chuyển xuống dây chuyền lắp ráp. Bằng cách xác định các lỗi này theo thời gian thực, các nhà sản xuất có thể giảm thiểu chất thải, giảm chi phí sản xuất và đảm bảo các tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.
Các thiết bị dựa trên Rockchip cung cấp sự cân bằng tốt giữa hiệu suất, chi phí và hiệu quả, khiến chúng trở thành lựa chọn tuyệt vời để triển khai YOLO11 trong các ứng dụng AI tiên tiến.
Dưới đây là một số lợi ích của việc chạy bộ YOLO11 trên các thiết bị sử dụng Rockchip:
Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị dựa trên Rockchip bằng cách tận dụng khả năng tăng tốc phần cứng và định dạng RKNN. Điều này làm giảm thời gian suy luận và cải thiện hiệu suất, khiến nó trở nên lý tưởng cho các tác vụ thị giác máy tính thời gian thực và các ứng dụng AI biên.
Bộ công cụ RKNN cung cấp các công cụ tối ưu hóa chính như lượng tử hóa và tinh chỉnh, đảm bảo YOLO11 Các mô hình hoạt động tốt trên nền tảng Rockchip. Việc tối ưu hóa các mô hình để xử lý hiệu quả trên thiết bị sẽ rất cần thiết khi việc áp dụng AI biên ngày càng tăng. Với các công cụ và phần cứng phù hợp, các nhà phát triển có thể mở khóa những khả năng mới cho các giải pháp thị giác máy tính trong nhiều ngành công nghiệp khác nhau.
Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Xem cách thị giác máy tính trong nông nghiệp và AI trong chăm sóc sức khỏe thúc đẩy đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy xem các tùy chọn cấp phép của chúng tôi để bắt đầu xây dựng các giải pháp Vision AI của bạn ngay hôm nay!
Bắt đầu hành trình của bạn với tương lai của machine learning
