Chuẩn hóa hàng loạt

Chuẩn hóa hàng loạt hoạt động như thế nào

Trong quá trình đào tạo, Chuẩn hóa theo lô chuẩn hóa các đầu vào thành một lớp cho mỗi lô nhỏ. Điều này có nghĩa là điều chỉnh dữ liệu để có giá trị trung bình bằng không và độ lệch chuẩn bằng một. Cụ thể, đối với mỗi tính năng trong lô nhỏ, nó tính toán giá trị trung bình và phương sai và sử dụng chúng để chuẩn hóa tính năng. Tuy nhiên, chỉ chuẩn hóa đơn giản có thể hạn chế sức mạnh biểu diễn của lớp. Để chống lại điều này, Chuẩn hóa theo lô giới thiệu hai tham số có thể học được cho mỗi tính năng: tham số tỷ lệ (gamma) và tham số dịch chuyển (beta). Các tham số này cho phép mạng học được tỷ lệ và giá trị trung bình tối ưu của các đầu vào được chuẩn hóa, trên thực tế cho phép mạng quyết định xem có nên chuẩn hóa hay không và mức độ chuẩn hóa như thế nào. Trong quá trình suy luận , Chuẩn hóa theo lô sử dụng số liệu thống kê tổng hợp (như trung bình động của giá trị trung bình và phương sai) được thu thập trong quá trình đào tạo, đảm bảo đầu ra xác định.

Lợi ích của chuẩn hóa hàng loạt

Áp dụng Chuẩn hóa theo lô mang lại một số lợi thế quan trọng cho việc đào tạo các mô hình học sâu:

• Đào tạo nhanh hơn: Cho phép sử dụng tốc độ học cao hơn, tăng tốc đáng kể quá trình hội tụ trong quá trình đào tạo mô hình .
• Ổn định việc học: Bằng cách giảm sự dịch chuyển biến phụ thuộc nội bộ (sự thay đổi trong phân phối đầu vào của lớp), nó làm cho quá trình học ổn định hơn và có thể dự đoán được. Điều này đặc biệt hữu ích trong các mạng rất sâu.
• Hiệu ứng chuẩn hóa: Chuẩn hóa theo lô bổ sung hiệu ứng chuẩn hóa nhẹ, đôi khi có thể làm giảm nhu cầu sử dụng các kỹ thuật chuẩn hóa khác như Dropout . Tiếng ồn do thống kê lô nhỏ tạo ra đóng vai trò là bộ chuẩn hóa.
• Giảm độ nhạy với quá trình khởi tạo: Các mạng có chuẩn hóa theo lô thường ít nhạy cảm hơn với trọng số ban đầu, giúp quá trình khởi tạo dễ dàng hơn.

Ứng dụng và Ví dụ

Chuẩn hóa theo lô được sử dụng rộng rãi, đặc biệt là trong các tác vụ thị giác máy tính liên quan đến Mạng nơ-ron tích chập (CNN) .

1. Phân loại hình ảnh: Các kiến trúc như ResNet , đạt được độ chính xác tiên tiến trên các chuẩn mực như ImageNet , phụ thuộc rất nhiều vào Chuẩn hóa theo lô sau các lớp tích chập để cho phép đào tạo các mạng rất sâu. Ultralytics các mô hình hỗ trợ các tác vụ phân loại hình ảnh trong đó BN góp phần mang lại hiệu suất mạnh mẽ.
2. Phát hiện đối tượng: Các mô hình như Ultralytics YOLO kết hợp Chuẩn hóa theo lô trong cấu trúc xương sống và cổ của chúng. Điều này giúp ổn định quá trình đào tạo và cải thiện khả năng phát hiện đối tượng chính xác và nhanh chóng của mô hình, rất quan trọng đối với các ứng dụng như xe tự hành và giám sát thời gian thực.

Những cân nhắc và giải pháp thay thế

Mặc dù rất hiệu quả, hiệu suất của Batch Normalization có thể phụ thuộc vào kích thước lô ; kích thước lô rất nhỏ có thể dẫn đến ước tính không chính xác về số liệu thống kê lô. Hành vi của nó cũng khác nhau giữa các giai đoạn đào tạo và suy luận, đòi hỏi phải xử lý cẩn thận các số liệu thống kê đang chạy. Các giải pháp thay thế như Layer Normalization , Instance Normalization và Group Normalization giải quyết một số hạn chế này và được sử dụng trong các bối cảnh khác nhau, đặc biệt là trong Recurrent Neural Networks (RNN) hoặc khi kích thước lô nhỏ. Có thể tìm thấy các triển khai trong các khuôn khổ phổ biến như PyTorch và TensorFlow .

Nhìn chung, Chuẩn hóa theo lô vẫn là một kỹ thuật cơ bản và được áp dụng rộng rãi, có tác động đáng kể đến động lực đào tạo và hiệu suất của các mô hình học sâu hiện đại.