Triển khai lượng tử hóa Ultralytics YOLOv8 Mô hình trên thiết bị biên với DeGirum

Chào mừng bạn đến với bản tóm tắt của một cuộc nói chuyện sâu sắc khác từ YOLO Sự kiện VISION 2023 (YV23), được tổ chức sôi động Google cho Startups Campus ở Madrid. Bài nói chuyện này được trình bày bởi Shashi Chilappagar, Kiến trúc sư trưởng và Đồng sáng lập tại DeGirum. Nó đi sâu vào thế giới hấp dẫn của lượng tử hóa và triển khai các mô hình lượng tử hóa, khám phá những thách thức, giải pháp chính và khả năng trong tương lai.

Giới thiệu về lượng tử hóa và triển khai các mô hình lượng tử hóa

Shashi cung cấp một cái nhìn tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của nó trong việc tối ưu hóa Ultralytics YOLO Mô hình triển khai trên các thiết bị biên. Từ việc thảo luận về những điều cơ bản đến khám phá các phương pháp tiếp cận để cải thiện lượng tử hóa, những người tham dự đã có được những hiểu biết có giá trị về sự phức tạp của việc chuyển đổi và triển khai mô hình.

Những thách thức trong việc định lượng YOLO Mô hình

Lượng tử hóa thường đặt ra những thách thức, đặc biệt là với YOLO mô hình trong TFLite. Khán giả của chúng tôi đã tìm hiểu về sự sụt giảm đáng kể về độ chính xác quan sát được khi tất cả các đầu ra được lượng tử hóa với cùng một thang đo / điểm không, làm sáng tỏ sự phức tạp của việc duy trì độ chính xác của mô hình trong quá trình lượng tử hóa.

Cải thiện lượng tử hóa YOLO Mô hình

May mắn thay, các giải pháp tồn tại để giải quyết những thách thức này. Sự ra đời của ngã ba DigiRAM cung cấp một cách tiếp cận thân thiện với lượng tử hóa bằng cách tách đầu ra và tối ưu hóa giải mã hộp giới hạn. Với những cải tiến này, độ chính xác của mô hình lượng tử hóa cho thấy sự cải thiện đáng kể so với mức cơ sở.

Kiến trúc mô hình thân thiện với lượng tử hóa hơn

Khám phá các kiến trúc mô hình mới là chìa khóa để giảm thiểu tổn thất lượng tử hóa. Những người tham dự đã khám phá ra cách thay thế CILU bằng kích hoạt Relu6 bị ràng buộc dẫn đến tổn thất lượng tử hóa tối thiểu, mang lại kết quả đầy hứa hẹn để duy trì độ chính xác trong các mô hình lượng tử hóa.

Triển khai các mô hình lượng tử hóa

Triển khai các mô hình lượng tử hóa chưa bao giờ dễ dàng hơn thế, chỉ với năm dòng mã cần thiết để chạy bất kỳ mô hình nào trên nền tảng đám mây Digitim. Một bản demo mã trực tiếp cho thấy sự đơn giản của việc phát hiện các đối tượng bằng lượng tử hóa Ultralytics YOLOv5 mô hình, làm nổi bật sự tích hợp liền mạch của các mô hình lượng tử hóa vào các ứng dụng trong thế giới thực. 

Để đạt được hiệu quả này, Ultralytics Cung cấp nhiều tùy chọn triển khai mô hình, cho phép người dùng cuối triển khai hiệu quả các ứng dụng của họ trên các thiết bị nhúng và biên. Các định dạng xuất khác nhau bao gồm OpenVINO, TorchScript, TensorRT, CoreML, TFlite và TFlite CẠNH TPU, cung cấp tính linh hoạt và khả năng tương thích. 

Việc tích hợp với các ứng dụng của bên thứ ba để triển khai cho phép người dùng đánh giá hiệu suất của các mô hình của chúng tôi trong các tình huống thực tế.

Sử dụng các mô hình khác nhau trên phần cứng khác nhau

Những người tham dự cũng có được cái nhìn sâu sắc về tính linh hoạt của việc triển khai các mô hình khác nhau trên các nền tảng phần cứng khác nhau, cho thấy cách một cơ sở mã duy nhất có thể hỗ trợ nhiều mô hình trên các bộ tăng tốc khác nhau. Ví dụ về việc chạy các tác vụ phát hiện khác nhau trên các nền tảng phần cứng đa dạng đã chứng minh tính linh hoạt và khả năng mở rộng của phương pháp tiếp cận của chúng tôi.

Tài nguyên và Tài liệu

Để trao quyền cho người tham dự hơn nữa, chúng tôi đã giới thiệu phần tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, ví dụ, tài liệu và hơn thế nữa. Mục tiêu của chúng tôi là đảm bảo rằng mọi người đều có các công cụ và hỗ trợ cần thiết để thành công trong việc triển khai các mô hình lượng tử hóa một cách hiệu quả.

Tổng kết

Khi lĩnh vực lượng tử hóa phát triển, điều cần thiết là phải cập nhật thông tin và tham gia. Chúng tôi cam kết cung cấp hỗ trợ và tài nguyên liên tục để giúp bạn điều hướng hành trình thú vị này. Xem toàn bộ buổi nói chuyện tại đây! 

Hãy tham gia cùng chúng tôi khi chúng tôi tiếp tục khám phá các xu hướng và cải tiến mới nhất trong học máy và trí tuệ nhân tạo. Cùng nhau, chúng ta đang định hình tương lai của công nghệ và thúc đẩy sự thay đổi tích cực trên thế giới.

‍