Thuật ngữ

Chính quy hóa

Ngăn ngừa quá khớp và cải thiện khả năng khái quát hóa mô hình bằng các kỹ thuật chính quy hóa như L1, L2, dropout và dừng sớm. Tìm hiểu thêm!

Chính quy hóa là một tập hợp các kỹ thuật được sử dụng trong học máy (ML) để ngăn ngừa một vấn đề phổ biến được gọi là quá khớp (overfitting ). Khi một mô hình quá khớp, nó học dữ liệu huấn luyện quá tốt, bao gồm cả nhiễu và biến động ngẫu nhiên, ảnh hưởng tiêu cực đến khả năng khái quát hóa và đưa ra dự đoán chính xác trên dữ liệu mới, chưa được biết đến. Chính quy hóa hoạt động bằng cách thêm một hình phạt cho độ phức tạp của mô hình vào hàm mất mát , ngăn mô hình học các mẫu quá phức tạp. Điều này giúp tạo ra một mô hình đơn giản hơn, tổng quát hơn, hoạt động tốt hơn trên cả dữ liệu huấn luyện và dữ liệu xác thực .

Các kỹ thuật chính quy hóa phổ biến

Có một số kỹ thuật chính quy hóa được sử dụng rộng rãi giúp cải thiện hiệu suất và độ mạnh mẽ của mô hình:

  • Chính quy hóa L1 và L2 : Đây là những hình thức chính quy hóa phổ biến nhất. Chúng thêm một điểm phạt vào hàm mất mát dựa trên kích thước trọng số của mô hình. Chính quy hóa L1 (Lasso) có xu hướng thu nhỏ trọng số của các đặc trưng ít quan trọng hơn về đúng 0, thực hiện lựa chọn đặc trưng một cách hiệu quả. Chính quy hóa L2 (Ridge hoặc Weight Decay) buộc các trọng số phải nhỏ nhưng hiếm khi bằng 0. Bạn có thể tìm hiểu sâu hơn về sự khác biệt toán học trong các tài liệu như Stanford CS229 course notes .
  • Lớp Dropout : Kỹ thuật này dành riêng cho mạng nơ-ron . Trong quá trình huấn luyện, nó ngẫu nhiên đặt một phần kích hoạt nơ-ron về 0 ở mỗi bước cập nhật. Điều này ngăn không cho nơ-ron đồng thích nghi quá mức và buộc mạng phải học các tính năng mạnh mẽ hơn. Khái niệm này đã được giới thiệu trong một bài báo nghiên cứu có ảnh hưởng lớn.
  • Tăng cường dữ liệu : Bằng cách nhân tạo mở rộng kích thước và tính đa dạng của dữ liệu huấn luyện , tăng cường dữ liệu giúp mô hình trở nên bất biến hơn với những thay đổi nhỏ. Các kỹ thuật phổ biến bao gồm xoay, cắt, thay đổi tỷ lệ và dịch chuyển màu sắc trong ảnh. Ultralytics cung cấp các phương pháp tăng cường dữ liệu YOLO tích hợp sẵn để cải thiện độ tin cậy của mô hình.
  • Dừng sớm : Đây là một phương pháp thực tế, trong đó hiệu suất của mô hình trên tập xác thực được theo dõi trong quá trình huấn luyện. Quá trình huấn luyện sẽ dừng lại khi hiệu suất xác thực không còn cải thiện, ngăn mô hình bắt đầu quá khớp ở các kỷ nguyên sau. Hướng dẫn thực tế về việc triển khai dừng sớm có sẵn trong tài liệu PyTorch.

Ứng dụng trong thế giới thực

Chính quy hóa là nền tảng để phát triển các mô hình học sâu (DL) hiệu quả trên nhiều lĩnh vực khác nhau.

  1. Thị giác Máy tính: Trong các mô hình phát hiện đối tượng như Ultralytics YOLO , việc điều chỉnh chính quy đóng vai trò quan trọng trong việc khái quát hóa từ các tập dữ liệu như COCO sang các ứng dụng thực tế. Ví dụ, trong AI cho các giải pháp ô tô , điều chỉnh chính quy L2 và dropout giúp bộ phát hiện biển báo giao thông hoạt động đáng tin cậy trong điều kiện ánh sáng và thời tiết khác nhau, ngăn chặn việc ghi nhớ các ví dụ cụ thể được thấy trong quá trình huấn luyện.
  2. Xử lý Ngôn ngữ Tự nhiên (NLP): Các Mô hình Ngôn ngữ Lớn (LLM) dễ bị quá khớp do số lượng tham số quá lớn. Trong các ứng dụng như dịch máy , dropout được sử dụng trong kiến trúc Transformer để đảm bảo mô hình học các quy tắc ngữ pháp và mối quan hệ ngữ nghĩa thay vì chỉ ghi nhớ các cặp câu cụ thể từ dữ liệu huấn luyện.

Chính quy hóa so với các khái niệm khác

Điều quan trọng là phải phân biệt chính quy hóa với các khái niệm liên quan khác trong ML:

  • Chuẩn hóa so với Chuẩn hóa : Chuẩn hóa là một kỹ thuật tiền xử lý dữ liệu , điều chỉnh các đặc trưng đầu vào theo một phạm vi chuẩn (ví dụ: từ 0 đến 1). Kỹ thuật này đảm bảo không có đặc trưng đơn lẻ nào chi phối quá trình học do quy mô của nó. Ngược lại, chuẩn hóa là một kỹ thuật hạn chế độ phức tạp của mô hình trong quá trình huấn luyện để tránh hiện tượng quá khớp. Mặc dù cả hai đều cải thiện hiệu suất mô hình, nhưng chuẩn hóa tập trung vào dữ liệu, trong khi chuẩn hóa tập trung vào chính mô hình. Chuẩn hóa theo lô là kỹ thuật chuẩn hóa theo từng lớp, cũng mang lại hiệu ứng chuẩn hóa nhẹ.
  • Chính quy hóa so với Điều chỉnh Siêu tham số : Các kỹ thuật chính quy hóa có các siêu tham số riêng, chẳng hạn như cường độ chính quy hóa (lambda) trong L1/L2 hoặc tỷ lệ bỏ học. Điều chỉnh siêu tham số là quá trình tìm kiếm các giá trị tối ưu cho các thiết lập này, thường được tự động hóa bằng các công cụ như lớp Ultralytics Tuner . Tóm lại, bạn sử dụng điều chỉnh siêu tham số để tìm ra cách tốt nhất để áp dụng chính quy hóa. Các nền tảng như Ultralytics HUB có thể giúp quản lý các thử nghiệm cần thiết cho quá trình này.

Tham gia cộng đồng Ultralytics

Tham gia vào tương lai của AI. Kết nối, cộng tác và phát triển với những nhà đổi mới toàn cầu

Tham gia ngay
Liên kết đã được sao chép vào clipboard