Chính quy hóa

Tầm quan trọng trong Học máy

Chuẩn hóa là điều cần thiết để đào tạo các mô hình ML đáng tin cậy, đặc biệt là các mô hình phức tạp như mô hình Học sâu (DL) và Mạng nơ-ron (NN) . Nếu không có chuẩn hóa, các mô hình này có thể chỉ ghi nhớ các ví dụ đào tạo thay vì học các mẫu cơ bản. Điều này dẫn đến độ chính xác cao trên tập đào tạo nhưng hiệu suất kém khi được đánh giá trên dữ liệu xác thực hoặc triển khai trong các tình huống thực tế. Bằng cách kết hợp một thuật ngữ phạt vào hàm mất mát hoặc sửa đổi quy trình đào tạo, chuẩn hóa giúp quản lý độ lớn của trọng số mô hình . Điều này thực sự đơn giản hóa mô hình và tăng cường khả năng khái quát hóa của nó. Sự cân bằng cẩn thận này giữa việc phù hợp với dữ liệu và duy trì tính đơn giản của mô hình là một khía cạnh quan trọng của sự đánh đổi độ lệch-phương sai . Đối với các mô hình như Ultralytics YOLO , việc áp dụng các kỹ thuật chuẩn hóa góp phần đáng kể vào việc đạt được hiệu suất cao trong các tác vụ đòi hỏi khắt khe như phát hiện đối tượng theo thời gian thực.

Các kỹ thuật chính quy hóa phổ biến

Một số kỹ thuật chính quy hóa được sử dụng rộng rãi:

• L1 Regularization (Lasso): Thêm một hình phạt tỷ lệ thuận với giá trị tuyệt đối của trọng số mô hình. Điều này khuyến khích sự thưa thớt, nghĩa là một số trọng số có thể trở thành chính xác bằng không, thực hiện lựa chọn tính năng hiệu quả. Tìm hiểu thêm về Lasso Regression .
• Chính quy hóa L2 (Ridge): Thêm một hình phạt tỷ lệ thuận với bình phương của trọng số mô hình. Điều này có xu hướng thu hẹp trọng số về 0 nhưng hiếm khi làm cho chúng chính xác bằng 0, giúp ngăn ngừa các vấn đề như đa cộng tuyến. Tìm hiểu thêm về Ridge Regression .
• Dropout Layer : Trong quá trình đào tạo, ngẫu nhiên đặt đầu ra của một phần tế bào thần kinh thành 0 tại mỗi bước cập nhật. Điều này ngăn không cho mạng trở nên quá phụ thuộc vào bất kỳ tế bào thần kinh đơn lẻ nào, buộc mạng phải học các tính năng mạnh mẽ hơn. Đọc bài báo Dropout gốc để biết chi tiết. Xem mẹo đào tạo mô hình để biết ứng dụng thực tế.
• Dừng sớm: Theo dõi hiệu suất của mô hình trên một tập dữ liệu xác thực riêng biệt trong quá trình đào tạo và dừng quá trình khi hiệu suất trên tập dữ liệu này không còn cải thiện hoặc bắt đầu xấu đi, ngăn mô hình quá khớp với dữ liệu đào tạo. Đây là một thực hành phổ biến trong quy trình học sâu .
• Tăng cường dữ liệu : Tăng kích thước và tính đa dạng của tập dữ liệu đào tạo một cách nhân tạo bằng cách tạo các bản sao đã sửa đổi của dữ liệu hiện có (ví dụ: xoay, cắt hoặc thay đổi màu sắc trong hình ảnh). Điều này hoạt động như một bộ điều chỉnh bằng cách phơi bày mô hình với phạm vi biến thể rộng hơn, giúp mô hình tổng quát hóa tốt hơn. Khám phá nhiều kỹ thuật tăng cường dữ liệu khác nhau và duyệt qua các tập dữ liệu Ultralytics để biết ví dụ.

Ứng dụng trong thế giới thực

Các kỹ thuật chính quy hóa được áp dụng trên nhiều lĩnh vực AI:

1. Phân tích hình ảnh y tế: Trong phân tích hình ảnh y tế , chẳng hạn như đào tạo Mạng nơ-ron tích chập (CNN) để phát hiện khối u trong quét MRI ( sử dụng các tập dữ liệu như Brain Tumor ), các tập dữ liệu thường bị giới hạn. Các kỹ thuật như chính quy hóa L2 và Dropout giúp ngăn mô hình không quá khớp với các lần quét bệnh nhân cụ thể trong tập dữ liệu đào tạo, dẫn đến chẩn đoán đáng tin cậy hơn trên bệnh nhân mới. Điều này rất quan trọng đối với các ứng dụng AI trong chăm sóc sức khỏe .
2. Xe tự hành: Hệ thống nhận thức trong xe tự hành dựa vào các mô hình như YOLO11 để phát hiện người đi bộ, phương tiện và chướng ngại vật. Việc chuẩn hóa đảm bảo các mô hình này có thể khái quát tốt với các điều kiện lái xe thực tế đa dạng và không thể đoán trước (ánh sáng, thời tiết, hình dạng vật thể khác nhau), điều này rất quan trọng đối với sự an toàn. Khám phá AI trong các giải pháp ô tô .
3. Dự báo tài chính: Khi xây dựng các mô hình để dự đoán xu hướng thị trường chứng khoán hoặc đánh giá rủi ro tín dụng, có thể sử dụng chính quy hóa L1. Nó giúp lựa chọn các chỉ số kinh tế có ảnh hưởng nhất bằng cách thu hẹp trọng số của các tính năng ít quan trọng hơn xuống bằng không, tạo ra các mô hình dự đoán đơn giản hơn, dễ diễn giải hơn và có khả năng mạnh mẽ hơn được sử dụng trong AI trong tài chính .

Sự khác biệt từ các khái niệm liên quan

Điều quan trọng là phải phân biệt chính quy hóa với các khái niệm ML liên quan khác:

• Thuật toán tối ưu hóa : Các thuật toán tối ưu hóa như Gradient Descent , Stochastic Gradient Descent (SGD) hoặc Adam Optimizer là các thủ tục được sử dụng để giảm thiểu hàm mất mát và tìm ra tập hợp tối ưu các tham số mô hình trong quá trình đào tạo . Mặt khác, chính quy hóa sửa đổi mục tiêu (chính hàm mất mát hoặc quy trình đào tạo) để ưu tiên khái quát hóa cùng với việc giảm thiểu lỗi đào tạo. Tối ưu hóa tìm ra giải pháp; chính quy hóa giúp đảm bảo đó là giải pháp tốt cho dữ liệu chưa biết.
• Điều chỉnh siêu tham số : Đây là quá trình lựa chọn các thiết lập cấu hình tối ưu cho một mô hình hoặc thuật toán đào tạo trước khi quá trình đào tạo bắt đầu. Các thiết lập này, được gọi là siêu tham số, bao gồm những thứ như tốc độ học , số lớp trong mạng nơ-ron hoặc cường độ của hình phạt chính quy hóa (ví dụ: giá trị lambda trong L1/L2). Chính quy hóa là một kỹ thuật được áp dụng trong quá trình đào tạo, trong khi điều chỉnh siêu tham số tối ưu hóa các tham số chi phối kỹ thuật đó và các kỹ thuật khác. Các công cụ như nền tảng Ultralytics HUB cung cấp khả năng điều chỉnh siêu tham số tự động .