Thuật ngữ

Làm mịn nhãn

Khám phá cách làm mịn nhãn cải thiện các mô hình học máy bằng cách giảm tình trạng quá khớp, tăng cường khả năng tổng quát hóa và tăng cường độ tin cậy của dự đoán.

Xe lửa YOLO mô hình đơn giản
với Ultralytics TRUNG TÂM

Tìm hiểu thêm

Làm mịn nhãn là một kỹ thuật chính quy hóa thường được sử dụng trong đào tạo các mô hình học máy, đặc biệt là trong các tác vụ phân loại. Nó bao gồm việc sửa đổi các nhãn thực tế để ít tự tin hơn, thay thế mã hóa one-hot của các nhãn bằng phiên bản được làm mịn. Điều chỉnh này làm giảm sự tự tin thái quá trong các dự đoán của mô hình, cải thiện khả năng khái quát hóa và giảm thiểu tình trạng quá khớp.

Làm thế nào để làm mịn nhãn hoạt động

Trong một bài toán phân loại thông thường, mã hóa one-hot gán xác suất 1 cho lớp đúng và 0 cho tất cả các lớp khác. Làm mịn nhãn điều chỉnh các xác suất này bằng cách phân phối lại một phần nhỏ độ tin cậy từ lớp đúng cho tất cả các lớp. Ví dụ, thay vì biểu diễn nhãn dưới dạng [1, 0, 0], làm mịn nhãn có thể biểu diễn nó như [0.9, 0.05, 0.05] để có hệ số làm mịn là 0,1.

Bằng cách làm mềm sự thật cơ bản, mô hình tránh trở nên quá tự tin vào dự đoán của mình. Điều này làm cho mô hình mạnh mẽ hơn, đặc biệt là trong các tình huống dữ liệu chứa nhiễu hoặc khó phân loại.

Lợi ích của việc làm mịn nhãn

  1. Cải thiện khả năng tổng quát hóa : Bằng cách giảm sự tự tin thái quá vào dự đoán, việc làm mịn nhãn giúp các mô hình tổng quát hóa tốt hơn đối với dữ liệu chưa biết.
  2. Giảm thiểu hiện tượng quá khớp : Hoạt động như một bộ điều chỉnh, giúp mô hình ít nhạy cảm hơn với nhiễu trong nhãn đào tạo.
  3. Hiệu chuẩn nâng cao : Các mô hình được đào tạo bằng cách làm mịn nhãn thường tạo ra xác suất hiệu chuẩn tốt hơn, gần với khả năng chính xác thực tế hơn.

Ứng dụng của làm mịn nhãn

Phân loại hình ảnh

Làm mịn nhãn được sử dụng rộng rãi trong các tác vụ phân loại hình ảnh để cải thiện hiệu chuẩn và hiệu suất của mô hình. Ví dụ, các mô hình như mô hình được đào tạo trên tập dữ liệu ImageNet để phân loại hình ảnh thường sử dụng làm mịn nhãn để đạt được khả năng khái quát hóa tốt hơn và giảm tình trạng quá khớp.

Xử lý ngôn ngữ tự nhiên (NLP)

Trong NLP, làm mịn nhãn được sử dụng trong các tác vụ tuần tự như dịch máy. Các mô hình ngôn ngữ quy mô lớn như BERT (Bidirectional Encoder Representations from Transformers)các mô hình dựa trên Transformer được hưởng lợi từ việc làm mịn nhãn trong quá trình đào tạo để đảm bảo học tập ổn định và tránh quá tự tin vào dự đoán.

Ví dụ thực tế

  1. Xe tự lái : Trong các hệ thống xe tự hành, làm mịn nhãn được áp dụng cho các mô hình được đào tạo để phân loại hình ảnh và phát hiện đối tượng. Ví dụ, các tập dữ liệu như COCO để phát hiện đối tượng nâng cao được hưởng lợi từ kỹ thuật này để cải thiện tính mạnh mẽ của các mô hình như Ultralytics YOLO , được sử dụng rộng rãi trong việc phát hiện vật thể cho các hệ thống tự lái.

  2. Chẩn đoán chăm sóc sức khỏe : Trong các ứng dụng hình ảnh y tế, chẳng hạn như phát hiện khối u bằng cách sử dụng bộ dữ liệu phát hiện khối u não , làm mịn nhãn tăng cường độ tin cậy của dự đoán. Nó làm giảm nguy cơ mô hình quá tự tin vào các phân loại không chính xác, điều này rất quan trọng trong các lĩnh vực có rủi ro cao như chăm sóc sức khỏe.

Làm mịn nhãn so với các khái niệm liên quan

  • Quá khớp : Làm mịn nhãn trực tiếp chống lại quá khớp bằng cách ngăn mô hình quá tự tin vào dữ liệu đào tạo. Tìm hiểu thêm về cách phát hiện và ngăn chặn quá khớp trong các mô hình trên trang thuật ngữ quá khớp .
  • Chuẩn hóa : Mặc dù làm mịn nhãn là một dạng chuẩn hóa, nhưng nó khác với các kỹ thuật như chuẩn hóa L2 hoặc dropout. Các phương pháp này tập trung vào việc phạt trọng số hoặc giảm sự phụ thuộc vào các tế bào thần kinh cụ thể, trong khi làm mịn nhãn sửa đổi chính các nhãn mục tiêu. Để tìm hiểu sâu hơn về chuẩn hóa, hãy truy cập trang thuật ngữ chuẩn hóa .
  • Mất mát Cross-Entropy : Làm mịn nhãn sửa đổi mất mát cross-entropy truyền thống bằng cách đưa hệ số làm mịn vào phép tính hàm mất mát. Để khám phá thêm về hàm mất mát, hãy truy cập trang thuật ngữ hàm mất mát .

Thực hiện làm mịn nhãn với Ultralytics TRUNG TÂM

Ultralytics HUB cung cấp tích hợp liền mạch cho các mô hình phân loại đào tạo với làm mịn nhãn. Cho dù bạn đang làm việc với các tập dữ liệu như CIFAR-10 để phân loại hình ảnh hay các tập dữ liệu tùy chỉnh, Ultralytics HUB đơn giản hóa quá trình thiết lập siêu tham số, bao gồm các hệ số làm mịn nhãn, để tối ưu hóa hiệu suất của mô hình.

Kết thúc

Làm mịn nhãn là một kỹ thuật đơn giản nhưng mạnh mẽ giúp tăng cường độ mạnh mẽ và độ tin cậy của các mô hình học máy. Bằng cách làm mềm các nhãn mục tiêu, nó giúp các mô hình tổng quát hóa tốt hơn, tránh tình trạng quá khớp và đưa ra các dự đoán được hiệu chỉnh tốt. Cho dù bạn đang làm việc về phân loại hình ảnh, NLP hay phát hiện đối tượng, làm mịn nhãn là một công cụ có giá trị trong bộ công cụ học máy của bạn. Để biết thêm thông tin chi tiết về các kỹ thuật và ứng dụng liên quan, hãy khám phá thuật ngữ AI & thị giác máy tính của Ultralytics .

Đọc tất cả