Khám phá cách Knowledge Distillation tối ưu hóa AI bằng cách nén các mô hình để có hiệu suất nhanh hơn, hiệu quả hơn trên các thiết bị biên và các ứng dụng thực tế.
Knowledge Distillation là một kỹ thuật học máy tập trung vào việc chuyển giao kiến thức từ một mô hình lớn, phức tạp (thường được gọi là "giáo viên") sang một mô hình nhỏ hơn, đơn giản hơn (được gọi là "học sinh"). Phương pháp này cho phép mô hình học sinh đạt được hiệu suất tương đương với giáo viên trong khi vẫn hiệu quả hơn về mặt tài nguyên tính toán, khiến nó trở nên lý tưởng để triển khai trong các môi trường hạn chế về tài nguyên như thiết bị di động, thiết bị IoT hoặc hệ thống điện toán biên.
Quá trình chưng cất kiến thức bao gồm việc đào tạo mô hình học sinh để sao chép hành vi của mô hình giáo viên. Thay vì chỉ dựa vào dữ liệu được gắn nhãn gốc, học sinh học từ "nhãn mềm" hoặc đầu ra xác suất của giáo viên, chứa thông tin phong phú hơn về mối quan hệ giữa các lớp khác nhau. Kiến thức bổ sung này giúp học sinh khái quát hóa tốt hơn, ngay cả với ít tham số hơn.
Ví dụ, trong nhiệm vụ phân loại hình ảnh, mô hình giáo viên có thể đưa ra các xác suất như 90% cho "mèo", 8% cho "chó" và 2% cho "thỏ". Các xác suất mềm này cung cấp thông tin chi tiết về điểm tương đồng giữa các lớp, mà mô hình học sinh sử dụng để tinh chỉnh các dự đoán của mình.
Phương pháp chưng cất kiến thức đã được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau của trí tuệ nhân tạo và máy học:
Trong hình ảnh y khoa, các mô hình lớn được đào tạo để phát hiện các bất thường trong X-quang hoặc MRI có thể được chưng cất thành các mô hình nhỏ hơn để chẩn đoán nhanh hơn theo thời gian thực. Ví dụ, các mô hình YOLO Ultralytics , được biết đến với hiệu quả trong việc phát hiện vật thể, có thể được hưởng lợi từ quá trình chưng cất để tăng tốc độ và khả năng triển khai của chúng trong các thiết bị chăm sóc sức khỏe. Tìm hiểu thêm về AI trong chăm sóc sức khỏe .
Xe tự hành dựa vào các mô hình phát hiện và phân loại đối tượng để đưa ra quyết định theo thời gian thực. Các mô hình tinh chế đóng vai trò quan trọng ở đây vì chúng giúp giảm thời gian suy luận trong khi vẫn duy trì độ chính xác. Khám phá cách AI trong xe tự lái đang chuyển đổi an toàn và hiệu quả giao thông.
Trong NLP, các mô hình dựa trên bộ chuyển đổi lớn như BERT được chắt lọc thành các phiên bản nhỏ hơn, chẳng hạn như DistilBERT, để cho phép phân loại văn bản, dịch thuật và trả lời câu hỏi nhanh hơn trên các thiết bị biên. Tìm hiểu thêm về bộ chuyển đổi và NLP .
Trong các ngành công nghiệp như bán lẻ và sản xuất, Knowledge Distillation được sử dụng để triển khai các mô hình nhẹ cho các nhiệm vụ như quản lý hàng tồn kho và phát hiện lỗi. Ví dụ, Ultralytics Các mô hình thị giác máy tính được tối ưu hóa thông qua quá trình chưng cất có thể nâng cao hiệu quả trong sản xuất do AI thúc đẩy .
Trong khi cả Chắt lọc kiến thức và cắt tỉa mô hình đều tập trung vào việc tối ưu hóa mô hình, thì cắt tỉa làm giảm độ phức tạp của mô hình bằng cách loại bỏ các tham số ít quan trọng hơn, trong khi chưng cất liên quan đến việc đào tạo một mô hình riêng biệt, nhỏ hơn để mô phỏng hành vi của một mô hình lớn hơn.
Lượng tử hóa mô hình làm giảm độ chính xác của các tham số mô hình (ví dụ: chuyển đổi số dấu phẩy động 32 bit thành số nguyên 8 bit), trong khi chưng cất vẫn duy trì độ chính xác nhưng chuyển kiến thức sang kiến trúc nhỏ hơn.
Sử dụng chưng cất kiến thức, một lượng lớn YOLO mô hình có thể đào tạo một phiên bản nhỏ hơn để phát hiện các đối tượng trong luồng video với độ chính xác cao nhưng độ trễ thấp hơn. Điều này đặc biệt có giá trị đối với các ứng dụng như giám sát an ninh, nơi xử lý thời gian thực là rất quan trọng. Tìm hiểu thêm về khả năng suy luận thời gian thực của YOLO .
Trong canh tác chính xác, các mô hình AI lớn được đào tạo trên các tập dữ liệu phức tạp có thể được tinh chế thành các phiên bản nhỏ gọn để triển khai trên máy bay không người lái hoặc cảm biến thực địa, cho phép thực hiện các nhiệm vụ như phát hiện sâu bệnh hoặc theo dõi sức khỏe cây trồng. Khám phá cách AI đang chuyển đổi nông nghiệp .
Một số khuôn khổ hỗ trợ Chắt lọc kiến thức, giúp các học viên học máy có thể tiếp cận:
Knowledge Distillation tiếp tục đóng vai trò then chốt trong việc thúc đẩy các hệ thống AI, cho phép các mô hình mạnh mẽ nhưng hiệu quả cho các ứng dụng trong thế giới thực. Bằng cách thu hẹp khoảng cách giữa độ chính xác và hiệu quả, nó trao quyền cho AI tiếp cận nhiều thiết bị, ngành công nghiệp và người dùng hơn trên toàn cầu.
%25202.png)
%202.png)
