Xác thực chéo

Cách thức hoạt động của Cross-Validation

Loại Cross-Validation phổ biến nhất là K-Fold Cross-Validation. Sau đây là bản phân tích đơn giản về quy trình:

1. Trộn bộ dữ liệu: Trộn ngẫu nhiên bộ dữ liệu để đảm bảo các điểm dữ liệu được phân phối mà không có sự thiên vị về thứ tự vốn có.
2. Chia thành Folds: Chia tập dữ liệu thành 'K' folds có kích thước bằng nhau (hoặc gần bằng nhau). Lựa chọn phổ biến cho K là 5 hoặc 10.
3. Đào tạo và xác thực lặp đi lặp lại:
   • Chọn một nếp gấp làm dữ liệu xác thực .
   • Huấn luyện mô hình trên các nếp gấp K-1 còn lại ( dữ liệu huấn luyện ).
   • Đánh giá hiệu suất của mô hình (ví dụ: độ chính xác ) trên nếp gấp xác thực được giữ lại.
   • Lặp lại quá trình này K lần, sử dụng mỗi lần gấp đúng một lần làm bộ xác thực.
4. Hiệu suất trung bình: Tính toán điểm hiệu suất trung bình thu được từ mỗi lần lặp. Điểm trung bình này cung cấp ước tính đáng tin cậy hơn về hiệu suất tổng quát của mô hình.

Các thư viện phổ biến như Scikit-learn cung cấp các triển khai hiệu quả cho nhiều kỹ thuật Xác thực chéo khác nhau.

Tại sao nên sử dụng Xác thực chéo?

Kiểm chứng chéo là một kỹ thuật cơ bản trong đánh giá mô hình vì một số lý do:

• Ước tính hiệu suất đáng tin cậy: Bằng cách tính trung bình kết quả qua nhiều lần phân tách, phương pháp này đưa ra ước tính ít sai lệch hơn về hiệu suất của mô hình trên dữ liệu mới so với phân tách đào tạo/xác thực duy nhất.
• Sử dụng dữ liệu hiệu quả: Cho phép sử dụng hầu hết dữ liệu cho cả mục đích đào tạo và xác thực trên nhiều lần lặp khác nhau, đặc biệt hữu ích cho các tập dữ liệu nhỏ hơn.
• Lựa chọn và điều chỉnh mô hình: Điều này rất quan trọng khi so sánh các mô hình khác nhau hoặc điều chỉnh siêu tham số , giúp lựa chọn cấu hình tổng quát nhất.
• Phát hiện quá khớp/dưới khớp: Giúp xác định xem một mô hình có quá phức tạp (quá khớp) hay quá đơn giản ( dưới khớp ) bằng cách quan sát các biến thể hiệu suất trên các phần khác nhau.

Xác thực chéo so với Phân tách đào tạo/xác thực đơn giản

Trong khi một phân tách đào tạo/xác thực đơn giản liên quan đến việc dành riêng một phần dữ liệu cho mục đích xác thực, thì Cross-Validation sử dụng dữ liệu hiệu quả hơn. Trong một phân tách đơn giản, số liệu hiệu suất phụ thuộc rất nhiều vào các điểm dữ liệu cụ thể nào sẽ nằm trong tập xác thực. Cross-Validation giảm thiểu sự phụ thuộc này bằng cách đảm bảo mọi điểm dữ liệu được sử dụng để xác thực đúng một lần, dẫn đến đánh giá ổn định và đáng tin cậy hơn. Ultralytics cung cấp hướng dẫn về việc triển khai Xác thực chéo K-Fold với Ultralytics YOLO .

Ứng dụng trong thế giới thực

Xác thực chéo được sử dụng rộng rãi trong nhiều lĩnh vực AI và ML:

1. Phân tích hình ảnh y tế: Khi phát triển mô hình AI để phát hiện khối u trong các lần quét bằng các kỹ thuật như phân đoạn hình ảnh , Cross-Validation giúp đảm bảo mô hình hoạt động đáng tin cậy trên các lần quét từ nhiều bệnh nhân và thiết bị khác nhau, mang lại sự tự tin trước khi triển khai lâm sàng. Điều này liên quan đến việc đào tạo và thử nghiệm trên các tập hợp con khác nhau của dữ liệu hình ảnh y tế của bệnh nhân.
2. Phát hiện đối tượng trong hệ thống tự động: Đối với mô hình YOLO Ultralytics được đào tạo để phát hiện đối tượng (ví dụ: xác định người đi bộ cho xe tự hành ), K-Fold Cross-Validation có thể đánh giá mức độ tổng quát hóa của mô hình trong nhiều điều kiện môi trường khác nhau (ánh sáng, thời tiết) có trong tập dữ liệu trước khi triển khai mô hình . Các nền tảng như Ultralytics HUB có thể tạo điều kiện thuận lợi cho việc quản lý các quy trình đào tạo như vậy.

Bằng cách cung cấp đánh giá mạnh mẽ về khái quát hóa mô hình, Cross-Validation là một công cụ không thể thiếu để xây dựng các hệ thống AI đáng tin cậy và hiệu quả.