Làm mịn nhãn

Làm mịn nhãn là một kỹ thuật điều chỉnh được sử dụng rộng rãi trong học máy để cải thiện khả năng khái quát hóa của mô hình và ngăn ngừa hiện tượng quá khớp. Khi huấn luyện mạng nơ-ron , mục tiêu thường là giảm thiểu sai số giữa dự đoán và dữ liệu thực tế. Tuy nhiên, nếu một mô hình trở nên quá tự tin vào dự đoán của mình—gán xác suất gần 100% cho một lớp duy nhất—nó thường bắt đầu ghi nhớ nhiễu cụ thể trong dữ liệu huấn luyện thay vì học các mẫu mạnh mẽ. Hiện tượng này, được gọi là quá khớp , làm giảm hiệu suất trên các ví dụ mới, chưa được nhìn thấy. Làm mịn nhãn giải quyết vấn đề này bằng cách không khuyến khích mô hình dự đoán với độ chắc chắn tuyệt đối, về cơ bản là nói với mạng rằng luôn có một biên độ sai số nhỏ.

Cơ chế hoạt động của mục tiêu mềm

Để hiểu cách thức hoạt động của việc làm mịn nhãn, ta nên so sánh nó với các mục tiêu "cứng" tiêu chuẩn. Trong phương pháp truyền thống, học tập có giám sátCác nhãn phân loại thường được biểu diễn thông qua mã hóa one-hotVí dụ, trong một nhiệm vụ phân biệt giữa mèo và chó, hình ảnh "chó" sẽ có vectơ mục tiêu là... [0, 1]Để khớp hoàn hảo với điều này, mô hình sẽ đẩy mạnh các điểm số nội bộ của nó, được gọi là... nhật kýhướng tới vô cực, điều này có thể dẫn đến độ dốc không ổn định và không có khả năng thích ứng.

Làm mịn nhãn thay thế các giá trị 1 và 0 cứng nhắc này bằng các mục tiêu "mềm". Thay vì xác suất mục tiêu là 1.0Lớp học chính xác có thể được chỉ định. 0.9trong khi khối lượng xác suất còn lại (0.1) được phân bổ đồng đều trên các lớp không chính xác. Sự thay đổi nhỏ này làm thay đổi mục tiêu của hàm mất mát, chẳng hạn như entropy chéo, ngăn chặn chức năng kích hoạt (thường xuyên Softmax) từ việc bão hòa. Kết quả là một mô hình học được các cụm lớp chặt chẽ hơn trong không gian đặc trưng và tạo ra kết quả tốt hơn. hiệu chỉnh mô hìnhĐiều này có nghĩa là xác suất dự đoán phản ánh chính xác hơn khả năng đúng thực sự.

Các Ứng dụng Thực tế

Kỹ thuật này đặc biệt quan trọng trong các lĩnh vực mà dữ liệu vốn dĩ không rõ ràng hoặc các tập dữ liệu dễ bị lỗi khi gắn nhãn.

• Chẩn đoán y khoa: Trong lĩnh vực trí tuệ nhân tạo ứng dụng trong chăm sóc sức khỏe , dữ liệu lâm sàng hiếm khi chỉ có hai mặt trắng đen. Ví dụ, trong phân tích hình ảnh y khoa , một bản quét có thể cho thấy các đặc điểm rất gợi ý về một bệnh nhưng không mang tính quyết định. Việc huấn luyện với các nhãn cứng buộc mô hình phải bỏ qua sự không chắc chắn này. Bằng cách áp dụng làm mịn nhãn, mô hình vẫn giữ được mức độ hoài nghi nhất định, điều này rất quan trọng đối với các hệ thống hỗ trợ ra quyết định, nơi sự tự tin thái quá có thể dẫn đến chẩn đoán sai.
• Phân loại hình ảnh quy mô lớn: Các tập dữ liệu công khai khổng lồ như ImageNet thường chứa các hình ảnh bị gán nhãn sai hoặc hình ảnh chứa nhiều đối tượng hợp lệ. Nếu một mô hình cố gắng khớp với các ví dụ nhiễu này với độ tin cậy 100%, nó sẽ học được các liên kết không chính xác. Làm mịn nhãn hoạt động như một bộ đệm chống lại nhiễu nhãn, đảm bảo rằng một vài điểm dữ liệu xấu không làm sai lệch đáng kể trọng số cuối cùng của mô hình .

Triển khai làm mịn nhãn với Ultralytics

Các framework học sâu hiện đại đơn giản hóa việc ứng dụng kỹ thuật này. Sử dụng ultralytics Với gói phần mềm này, bạn có thể dễ dàng tích hợp làm mịn nhãn vào quy trình huấn luyện của mình. phân loại hình ảnh hoặc các tác vụ phát hiện. Điều này thường được thực hiện để tối ưu hóa hiệu năng của các mô hình tiên tiến như... YOLO26.

Ví dụ sau đây minh họa cách huấn luyện mô hình phân loại với tính năng làm mịn nhãn được bật:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

So sánh với các khái niệm liên quan

Việc phân biệt giữa làm mịn nhãn và các chiến lược điều chỉnh khác rất hữu ích để hiểu khi nào nên sử dụng nó.

• So sánh với Dropout: Lớp dropout sẽ ngẫu nhiên vô hiệu hóa các nơ-ron trong quá trình huấn luyện để buộc mạng phải học các biểu diễn dư thừa. Mặc dù cả hai đều ngăn ngừa hiện tượng quá khớp, nhưng dropout điều chỉnh kiến ​​trúc mạng một cách linh hoạt, trong khi làm mịn nhãn điều chỉnh mục tiêu tối ưu hóa (chính là các nhãn).
• So sánh với phương pháp chưng cất tri thức: Cả hai kỹ thuật đều liên quan đến việc huấn luyện trên các mục tiêu mềm. Tuy nhiên, trong phương pháp chưng cất tri thức , các mục tiêu mềm đến từ một mô hình "giáo viên" và chứa thông tin đã học (ví dụ: "cái này trông giống mèo 10%"). Ngược lại, làm mịn nhãn sử dụng các mục tiêu mềm "không chứa thông tin" được suy ra bằng toán học (ví dụ: "cho tất cả các lớp khác xác suất 10% như nhau").
• So với Tăng cường dữ liệu: Các chiến lược tăng cường dữ liệu thay đổi dữ liệu đầu vào (xoay, cắt xén, tô màu) để tăng tính đa dạng. Làm mịn nhãn thay đổi kỳ vọng đầu ra. Các quy trình huấn luyện toàn diện trên Nền tảng Ultralytics thường kết hợp tăng cường dữ liệu, dropout và làm mịn nhãn để đạt được độ chính xác tối đa.

Bằng cách giảm thiểu vấn đề suy giảm độ dốc ở các lớp cuối cùng và khuyến khích mô hình học được các đặc trưng mạnh mẽ hơn, làm mịn nhãn vẫn là một yếu tố thiết yếu trong các kiến ​​trúc học sâu hiện đại.