Làm mịn nhãn

Làm thế nào để làm mịn nhãn hoạt động

Thay vì sử dụng 1 nghiêm ngặt cho lớp đúng và 0 cho các lớp khác (mã hóa một nóng), làm mịn nhãn điều chỉnh các xác suất mục tiêu này. Ví dụ, nếu chúng ta có K các lớp và một yếu tố làm mịn alpha, xác suất mục tiêu cho lớp chính xác trở thành 1 - alphavà xác suất cho mỗi lớp không chính xác trở thành alpha / (K-1). Điều chỉnh nhỏ này có nghĩa là mô hình bị phạt nếu nó gán một xác suất cực cao (gần bằng 1) cho một lớp duy nhất trong quá trình đào tạo, vì bản thân nhãn mục tiêu không thể hiện sự chắc chắn tuyệt đối. Kỹ thuật này đáng chú ý được thảo luận trong bối cảnh đào tạo các mô hình phân loại hình ảnh nâng cao trong "Suy nghĩ lại về Kiến trúc Inception cho Thị giác máy tính" giấy.

Lợi ích của việc làm mịn nhãn

Việc triển khai làm mịn nhãn có thể mang lại một số lợi thế:

• Cải thiện khả năng tổng quát hóa: Bằng cách ngăn mô hình trở nên quá chuyên biệt về các mẫu chính xác trong dữ liệu đào tạo (giảm tình trạng quá khớp ), mô hình thường hoạt động tốt hơn trên dữ liệu mới, chưa từng thấy. Tổng quát hóa là mục tiêu chính trong ML.
• Hiệu chuẩn mô hình tốt hơn: Các mô hình được đào tạo với làm mịn nhãn có xu hướng tạo ra điểm xác suất phản ánh tốt hơn khả năng thực sự của dự đoán là đúng. Điều này có nghĩa là độ tin cậy dự đoán là 80% có nhiều khả năng tương ứng với độ chính xác thực tế là 80%. Hiểu được hiệu chuẩn mô hình là rất quan trọng đối với các hệ thống AI đáng tin cậy.
• Giảm sự tự tin thái quá: Nó giải quyết trực tiếp vấn đề về các mô hình gán mức độ chắc chắn gần như tuyệt đối cho các dự đoán, điều này có thể gây ra vấn đề trong các ứng dụng thực tế khi tồn tại sự không chắc chắn. Sự tự tin thái quá có thể dẫn đến việc ra quyết định kém.
• Hiệu ứng chính quy hóa: Nó hoạt động như một dạng chính quy hóa , tương tự như các kỹ thuật như loại bỏ hoặc giảm trọng số, bằng cách thêm nhiễu vào nhãn, do đó hạn chế độ phức tạp của trọng số mô hình đã học.

Ứng dụng và Ví dụ

Làm mịn nhãn được áp dụng rộng rãi trong các tình huống phân loại trên nhiều miền khác nhau:

1. Phân loại hình ảnh: Trong các tác vụ phân loại hình ảnh quy mô lớn, chẳng hạn như đào tạo trên tập dữ liệu ImageNet , làm mịn nhãn giúp các mô hình tổng quát hóa tốt hơn và đạt được độ chính xác cao hơn trên các tập xác thực. Các mô hình như Vision Transformers (ViT) thường được hưởng lợi từ kỹ thuật này trong quá trình đào tạo. Bạn có thể đào tạo các mô hình phân loại bằng các công cụ như Ultralytics HUB .
2. Xử lý ngôn ngữ tự nhiên (NLP): Trong các tác vụ như dịch máy hoặc phân loại văn bản, trong đó các mô hình như Transformers được sử dụng, việc làm mịn nhãn có thể cải thiện hiệu suất bằng cách ngăn mô hình trở nên quá chắc chắn về các dự đoán hoặc phân loại từ cụ thể, đặc biệt là khi xét đến tính mơ hồ vốn có trong ngôn ngữ.
3. Nhận dạng giọng nói: Tương tự như NLP, các mô hình nhận dạng giọng nói có thể được hưởng lợi từ việc làm mịn nhãn để xử lý các biến thể trong cách phát âm và các lỗi không chính xác tiềm ẩn trong bản ghi trong dữ liệu đào tạo.

Mặc dù không phải lúc nào cũng được nêu chi tiết rõ ràng cho mọi kiến trúc, các kỹ thuật như làm mịn nhãn thường là một phần của công thức đào tạo tiêu chuẩn cho các mô hình tiên tiến, có khả năng bao gồm các mô hình phát hiện đối tượng như Ultralytics YOLO trong các giai đoạn phân loại của chúng, mặc dù tác động của nó có thể khác nhau tùy thuộc vào nhiệm vụ và tập dữ liệu cụ thể.

Các khái niệm liên quan

• Mã hóa One-Hot: Phương pháp chuẩn để biểu diễn nhãn phân loại trong đó làm mịn nhãn đưa ra một sửa đổi. Mã hóa One-hot gán 1 cho lớp thực và 0 cho các lớp khác.
• Chưng cất kiến thức: Kỹ thuật này cũng sử dụng các mục tiêu mềm, nhưng mục tiêu thì khác. Chưng cất kiến thức sử dụng các đầu ra xác suất của một mô hình "giáo viên" lớn hơn, được đào tạo trước làm nhãn mềm để đào tạo một mô hình "học sinh" nhỏ hơn, chuyển giao kiến thức đã học. Làm mịn nhãn là một kỹ thuật chính quy hóa độc lập được áp dụng trong quá trình đào tạo tiêu chuẩn.
• Hàm mất mát: Làm mịn nhãn thường được sử dụng kết hợp với các hàm mất mát như entropy chéo , sửa đổi phân phối mục tiêu mà theo đó mất mát được tính toán.
• Chuẩn hóa: Thuộc về phạm trù rộng hơn của các kỹ thuật chuẩn hóa nhằm cải thiện khái quát hóa mô hình và ngăn ngừa quá khớp. Các ví dụ khác bao gồm Dropout và chuẩn hóa L1/L2.

Những cân nhắc

Mặc dù có lợi, việc làm mịn nhãn đòi hỏi phải áp dụng cẩn thận. Hệ số làm mịn (alpha) là một siêu tham số cần điều chỉnh; giá trị quá nhỏ có thể có ít tác dụng, trong khi giá trị quá lớn có thể cản trở việc học bằng cách làm cho nhãn không cung cấp nhiều thông tin. Tác động của nó đối với hiệu chuẩn mô hình, mặc dù thường là tích cực, nhưng cần được đánh giá cho ứng dụng cụ thể, có khả năng yêu cầu các phương pháp hiệu chuẩn hậu hoc trong một số trường hợp. Đây là một công cụ đơn giản nhưng hiệu quả thường được sử dụng trong các khuôn khổ học sâu hiện đại như PyTorch và TensorFlow .