Tối ưu hóa các mô hình AI cho các thiết bị biên bằng Đào tạo nhận biết lượng tử hóa (QAT), đảm bảo độ chính xác và hiệu quả cao trong môi trường hạn chế về tài nguyên.
Đào tạo có nhận thức về lượng tử hóa (QAT) là một kỹ thuật tối ưu hóa quan trọng trong học máy, giúp thu hẹp khoảng cách giữa các mô hình AI có độ chính xác cao và việc triển khai hiệu quả của chúng trên các thiết bị có nguồn lực hạn chế. Khi các ứng dụng AI mở rộng sang các thiết bị biên như điện thoại thông minh, cảm biến IoT và hệ thống nhúng, nhu cầu về các mô hình vừa chính xác vừa hiệu quả về mặt tính toán trở nên tối quan trọng. QAT giải quyết thách thức này bằng cách mô phỏng các hiệu ứng của lượng tử hóa trong giai đoạn đào tạo mô hình, dẫn đến các mô hình mạnh mẽ và được tối ưu hóa cho phần cứng có độ chính xác thấp.
Đào tạo có nhận thức về lượng tử tinh chỉnh các mạng nơ-ron để chấp nhận độ chính xác số giảm vốn có trong môi trường triển khai. Không giống như lượng tử hóa sau đào tạo, được áp dụng sau khi mô hình được đào tạo đầy đủ, QAT tích hợp lượng tử hóa vào chính vòng lặp đào tạo. Điều này đạt được bằng cách mô phỏng quá trình lượng tử hóa – giảm độ chính xác số của trọng số và kích hoạt – trong quá trình truyền tiến và truyền lùi. Bằng cách đó, mô hình học cách bù đắp cho sự mất độ chính xác, tạo ra một mô hình duy trì độ chính xác cao hơn khi thực sự được lượng tử hóa để triển khai. Phương pháp này bao gồm việc sử dụng các hoạt động 'lượng tử hóa giả' mô phỏng số học có độ chính xác thấp, chẳng hạn như int8, trong khi vẫn thực hiện các phép tính độ dốc và cập nhật trọng số với độ chính xác đầy đủ. Cách tiếp cận này cho phép mô hình thích ứng và ít nhạy cảm hơn với các hiệu ứng lượng tử hóa, dẫn đến hiệu suất tốt hơn trong suy luận lượng tử hóa.
Để hiểu rõ hơn về các kỹ thuật tối ưu hóa, hãy tham khảo hướng dẫn về tối ưu hóa mô hình , cung cấp tổng quan nhanh về các phương pháp nâng cao hiệu quả mô hình.
Trong khi cả QAT và lượng tử hóa mô hình đều hướng đến mục tiêu giảm độ chính xác của mô hình, thì cách tiếp cận và kết quả của chúng lại khác nhau đáng kể. Lượng tử hóa mô hình thường là một quy trình sau đào tạo chuyển đổi mô hình đã đào tạo, có độ chính xác đầy đủ sang định dạng có độ chính xác thấp hơn (như INT8) để giảm kích thước mô hình và tăng tốc suy luận. Phương pháp này đơn giản nhưng đôi khi có thể dẫn đến giảm đáng kể độ chính xác, đặc biệt là đối với các mô hình phức tạp. Ngược lại, QAT chủ động chuẩn bị mô hình để lượng tử hóa trong quá trình đào tạo, do đó giảm thiểu mất độ chính xác và thường đạt được hiệu suất vượt trội trong môi trường có độ chính xác thấp.
Đào tạo độ chính xác hỗn hợp là một kỹ thuật tối ưu hóa khác tập trung vào việc tăng tốc quá trình đào tạo và giảm dấu chân bộ nhớ trong quá trình đào tạo. Nó bao gồm việc sử dụng cả số dấu phẩy động 16 bit và 32 bit trong mạng. Trong khi độ chính xác hỗn hợp chủ yếu nhắm vào hiệu quả đào tạo, QAT được thiết kế riêng để nâng cao hiệu suất của các mô hình sau khi lượng tử hóa, tập trung vào hiệu quả suy luận và độ chính xác trong các tình huống triển khai có độ chính xác thấp.
Đào tạo về lượng tử hóa là điều cần thiết để triển khai các mô hình AI trong các ứng dụng thực tế, nơi hiệu quả sử dụng tài nguyên là rất quan trọng. Sau đây là một vài ví dụ:
Trong các thiết bị thông minh như điện thoại thông minh và thiết bị IoT, tài nguyên tính toán và năng lượng bị hạn chế. QAT được sử dụng rộng rãi để tối ưu hóa các mô hình cho các ứng dụng AI biên , cho phép xử lý thời gian thực trực tiếp trên thiết bị. Ví dụ: Ultralytics YOLO , một mô hình phát hiện đối tượng tiên tiến, có thể được tối ưu hóa bằng QAT để đảm bảo phát hiện đối tượng hiệu quả theo thời gian thực trong các ứng dụng như hệ thống an ninh nhà thông minh hoặc camera hỗ trợ AI . Bằng cách giảm kích thước mô hình và nhu cầu tính toán, QAT giúp chạy các tác vụ AI phức tạp trên các thiết bị có khả năng xử lý hạn chế.
Xe tự hành và robot đòi hỏi các hệ thống AI có thể đưa ra quyết định nhanh chóng trong điều kiện hạn chế nghiêm ngặt về độ trễ và công suất. QAT đóng vai trò quan trọng trong việc tối ưu hóa các mô hình để triển khai trong các hệ thống nhúng trong các ứng dụng này. Ví dụ, việc áp dụng QAT vào các mô hình Ultralytics YOLOv8 có thể cải thiện đáng kể hiệu quả của các hệ thống phát hiện xe và theo dõi người đi bộ, vốn rất quan trọng đối với việc ra quyết định theo thời gian thực trong lái xe tự hành. Việc tối ưu hóa này đảm bảo rằng AI có thể hoạt động hiệu quả trong phạm vi công suất và giới hạn tính toán của phần cứng xe.
Để khám phá cách Ultralytics các giải pháp được áp dụng trong nhiều ngành công nghiệp khác nhau, hãy truy cập Ultralytics Solutions .
