Tối ưu hóa YOLOv8 Mô hình suy luận bằng cách sử dụng OpenVINO. Làm theo hướng dẫn của chúng tôi để chuyển đổi PyTorch mô hình để ONNX và tối ưu hóa chúng cho các ứng dụng thời gian thực.
Trong bài đăng trên blog này, chúng tôi sẽ xem xét cách bạn có thể xuất và tối ưu hóa được đào tạo trước hoặc được đào tạo tùy chỉnh của mình Ultralytics YOLOv8 Mô hình cho Suy luận bằng cách sử dụng OpenVINO. Nếu bạn đang sử dụng Intel-dựa trên hệ thống, cho dù đó là một CPU hoặc GPU, hướng dẫn này sẽ chỉ cho bạn cách tăng tốc đáng kể mô hình của bạn với nỗ lực tối thiểu.
Tối ưu hóa YOLOv8 Mô hình với OpenVINO có thể tăng tốc độ gấp 3 lần đối với các tác vụ suy luận, đặc biệt nếu bạn đang chạy Intel CPU. Việc tăng hiệu suất này có thể tạo ra sự khác biệt lớn trong các ứng dụng thời gian thực, từ phát hiện đối tượng đến phân đoạn và hệ thống bảo mật.
Điều đầu tiên, hãy chia nhỏ quy trình. Chúng ta sẽ chuyển đổi một PyTorch Mô hình để ONNX và sau đó tối ưu hóa nó bằng cách sử dụng OpenVINO. Quá trình này bao gồm một vài bước đơn giản và có thể được áp dụng cho các mô hình và định dạng khác nhau, bao gồm: TensorFlow, PyTorch, Caffe và ONNX.
Nhảy vào Ultralytics tài liệu, chúng tôi thấy rằng xuất một YOLOv8 Mô hình liên quan đến việc sử dụng phương thức xuất từUltralytics khuôn khổ. Phương pháp này cho phép chúng tôi chuyển đổi mô hình của chúng tôi từ PyTorch đến ONNXvà cuối cùng, tối ưu hóa nó cho OpenVINO. Kết quả là một mô hình chạy nhanh hơn đáng kể, tận dụng Intel'phần cứng mạnh mẽ.
Trước khi chạy tập lệnh xuất, bạn sẽ cần đảm bảo rằng tất cả các phụ thuộc cần thiết đã được cài đặt. Chúng bao gồm Ultralytics thư viện ONNXvà OpenVINO. Cài đặt các gói này là một quá trình đơn giản có thể được thực hiện thông qua pip, Python Trình cài đặt gói.
Sau khi môi trường của bạn được thiết lập, bạn có thể chạy tập lệnh xuất của mình. Tập lệnh này sẽ chuyển đổi PyTorch Mô hình để ONNX và sau đó đến OpenVINO. Quá trình này rất đơn giản và liên quan đến việc gọi một hàm duy nhất để xử lý việc xuất. Các Ultralytics Framework giúp bạn dễ dàng chuyển đổi và tối ưu hóa các mô hình của mình, đảm bảo bạn có được hiệu suất tốt nhất với ít rắc rối nhất.
Sau khi xuất, điều cần thiết là phải so sánh hiệu suất của các mô hình ban đầu và được tối ưu hóa. Bằng cách đo điểm chuẩn thời gian suy luận của cả hai mô hình, bạn có thể thấy rõ mức tăng hiệu suất. Thông thường, các OpenVINO Mô hình sẽ cho thấy thời gian suy luận giảm đáng kể so với bản gốc PyTorch mẫu. Điều này đặc biệt đúng đối với các mô hình lớn hơn, nơi tăng hiệu suất là đáng chú ý nhất.
Tối ưu hóa YOLOv8 Mô hình với OpenVINO đặc biệt có lợi cho các ứng dụng yêu cầu xử lý thời gian thực. Dưới đây là một vài ví dụ:
Bằng cách triển khai các tối ưu hóa này, bạn không chỉ cải thiện hiệu suất mà còn nâng cao độ tin cậy và hiệu quả của các ứng dụng của mình. Điều này có thể dẫn đến trải nghiệm người dùng tốt hơn, tăng năng suất và các giải pháp sáng tạo hơn.
Xuất và tối ưu hóa một YOLOv8 Mô hình cho OpenVINO là một cách mạnh mẽ để tận dụng Intel phần cứng cho các ứng dụng AI nhanh hơn và hiệu quả hơn. Chỉ với một vài bước đơn giản, bạn có thể chuyển đổi hiệu suất mô hình của mình và áp dụng nó vào các tình huống trong thế giới thực một cách hiệu quả.
Hãy chắc chắn kiểm tra thêm các hướng dẫn và hướng dẫn từ Ultralytics để tiếp tục nâng cao các dự án AI của bạn. Truy cập kho lưu trữ GitHub của chúng tôi và tham gia Ultralytics Cộng đồng để biết thêm thông tin chi tiết và cập nhật. Hãy cùng nhau đổi mới!
Hãy nhớ rằng, tối ưu hóa các mô hình của bạn không chỉ là về tốc độ — đó là về việc mở ra các khả năng mới và đảm bảo các giải pháp AI của bạn mạnh mẽ, hiệu quả và sẵn sàng cho tương lai.
Bắt đầu hành trình của bạn với tương lai của machine learning
