Ngăn ngừa quá khớp và cải thiện khả năng khái quát hóa mô hình bằng các kỹ thuật chính quy hóa như L1, L2, dropout và dừng sớm. Tìm hiểu thêm!
Chuẩn hóa là một tập hợp các kỹ thuật được sử dụng trong Học máy (ML) để ngăn ngừa một vấn đề phổ biến được gọi là quá khớp . Quá khớp xảy ra khi một mô hình học dữ liệu đào tạo quá tốt, bao gồm cả nhiễu và biến động ngẫu nhiên, ảnh hưởng tiêu cực đến hiệu suất của mô hình trên dữ liệu mới, chưa từng thấy. Các phương pháp chuẩn hóa đưa ra hình phạt cho độ phức tạp của mô hình, khuyến khích mô hình học các mẫu đơn giản hơn có thể khái quát hóa tốt hơn với dữ liệu mới. Điều này rất quan trọng để xây dựng các mô hình AI mạnh mẽ, bao gồm các mô hình được sử dụng trong thị giác máy tính (CV) và xử lý ngôn ngữ tự nhiên (NLP) .
Chuẩn hóa là nền tảng cho việc đào tạo các mô hình ML đáng tin cậy, đặc biệt là các mô hình phức tạp như mô hình học sâu (DL) và mạng nơ-ron (NN) . Nếu không có chuẩn hóa, các mô hình này có thể dễ dàng ghi nhớ dữ liệu đào tạo thay vì học các mẫu cơ bản. Điều này dẫn đến độ chính xác cao trên tập đào tạo nhưng hiệu suất kém trên dữ liệu xác thực hoặc đầu vào trong thế giới thực. Bằng cách thêm một thuật ngữ phạt vào hàm mất mát , chuẩn hóa giúp kiểm soát độ lớn của trọng số mô hình , đơn giản hóa hiệu quả mô hình và cải thiện khả năng khái quát hóa của nó. Sự cân bằng giữa việc khớp dữ liệu và duy trì tính đơn giản này thường được thảo luận trong bối cảnh đánh đổi độ lệch-phương sai . Đối với các mô hình như Ultralytics YOLO , chuẩn hóa góp phần đạt được độ chính xác cao trong các tác vụ đòi hỏi khắt khe như phát hiện đối tượng theo thời gian thực.
Một số kỹ thuật chính quy hóa được sử dụng rộng rãi:
Chính quy hóa khác biệt với các khái niệm ML quan trọng khác:
Các kỹ thuật chính quy hóa rất cần thiết cho sự thành công thực tế của nhiều ứng dụng AI:
Trong phân loại hình ảnh , mạng nơ-ron sâu như CNN có thể có hàng triệu tham số. Nếu không có chính quy hóa (như Dropout hoặc L2), các mô hình này có thể dễ dàng quá khớp với các tập dữ liệu như ImageNet . Chính quy hóa giúp đảm bảo rằng mô hình học các đặc điểm trực quan chung (cạnh, kết cấu, hình dạng) thay vì ghi nhớ các hình ảnh đào tạo cụ thể, dẫn đến độ chính xác phân loại tốt hơn trên các hình ảnh mới gặp phải trong các ứng dụng từ phân tích hình ảnh y tế đến lái xe tự động. Xem cách giải quyết quá khớp trong các dự án thị giác máy tính .
Trong các tác vụ NLP như phân tích tình cảm hoặc dịch máy, các mô hình như Transformers cũng có thể bị quá khớp, đặc biệt là với dữ liệu đào tạo hạn chế. Các kỹ thuật chính quy hóa, bao gồm dropout và weight decay (L2), được áp dụng để ngăn mô hình dựa quá nhiều vào các từ hoặc cụm từ cụ thể chỉ có trong ngữ liệu đào tạo. Điều này cải thiện khả năng hiểu và tạo ngôn ngữ của con người hiệu quả hơn của mô hình trong các tình huống thực tế như chatbot hoặc các công cụ tóm tắt nội dung .
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
