Xác thực chéo

Cách thức hoạt động của Cross-Validation

Phương pháp Kiểm tra chéo phổ biến nhất là Kiểm tra chéo K-Fold. Quá trình này bao gồm việc phân vùng một tập dữ liệu thành nhiều phần:

1. Phân chia dữ liệu: Toàn bộ tập dữ liệu đào tạo được phân chia ngẫu nhiên thành 'k' tập con có kích thước bằng nhau hoặc "gấp".
2. Huấn luyện và Xác thực Lặp lại: Mô hình được huấn luyện 'k' lần. Trong mỗi lần lặp, một trong các nếp gấp được giữ lại làm tập xác thực, và mô hình được huấn luyện trên k-1 nếp gấp còn lại.
3. Đánh giá hiệu suất: Hiệu suất của mô hình được đánh giá trên nếp gấp được giữ lại. Các số liệu chính, chẳng hạn như độ chính xác hoặc Độ chính xác trung bình (mAP) , được ghi lại cho mỗi lần lặp.
4. Tính trung bình kết quả: Sau khi hoàn thành tất cả 'k' lần lặp, các số liệu hiệu suất sẽ được tính trung bình để đưa ra ước tính duy nhất, ổn định hơn về hiệu quả của mô hình.

Phương pháp này đảm bảo rằng mỗi điểm dữ liệu được đưa vào tập xác thực đúng một lần và vào tập huấn luyện k-1 lần. Hướng dẫn chi tiết về cách triển khai có thể được tìm thấy trong hướng dẫn Xác thực chéo K-Fold của Ultralytics .

Xác thực chéo so với Phân tách xác thực đơn giản

Trong một dự án ML điển hình, dữ liệu được chia thành tập huấn luyện, tập xác thực và tập kiểm tra.

• Dữ liệu xác thực : Được sử dụng trong giai đoạn đào tạo để điều chỉnh siêu tham số và đưa ra quyết định về kiến trúc mô hình.
• Dữ liệu thử nghiệm : Chỉ được sử dụng sau khi hoàn tất quá trình đào tạo và điều chỉnh để cung cấp đánh giá cuối cùng, khách quan về khả năng khái quát hóa của mô hình.

Việc phân tách huấn luyện/xác thực đơn giản đôi khi có thể gây hiểu lầm nếu tập xác thực, vô tình, chứa các mẫu đặc biệt dễ hoặc khó. Xác thực chéo khắc phục điều này bằng cách sử dụng mọi phần của tập dữ liệu cho cả huấn luyện và xác thực, cung cấp thước đo đáng tin cậy hơn về khả năng khái quát hóa của mô hình. Điều này đặc biệt hữu ích khi lượng dữ liệu khả dụng bị hạn chế. Các nền tảng phổ biến như Scikit-learn cung cấp các triển khai mạnh mẽ cho các kỹ thuật xác thực chéo .

Ứng dụng trong thế giới thực

Xác thực chéo là điều không thể thiếu trong việc xây dựng các hệ thống AI đáng tin cậy trên nhiều lĩnh vực khác nhau:

1. Phân tích hình ảnh y tế: Khi phát triển Mạng nơ-ron tích chập (CNN) cho phân tích hình ảnh y tế , chẳng hạn như phát hiện khối u trong ảnh chụp não bằng các tập dữ liệu như tập dữ liệu Khối u não , CV được sử dụng để đánh giá nghiêm ngặt độ chính xác chẩn đoán và khả năng khái quát hóa của mô hình trên nhiều dữ liệu bệnh nhân khác nhau. Đánh giá mạnh mẽ này rất quan trọng trước khi xem xét các thử nghiệm lâm sàng hoặc xin phê duyệt theo quy định từ các cơ quan như FDA .
2. Xe tự hành: Đối với các mô hình phát hiện vật thể như Ultralytics YOLO được sử dụng trong xe tự hành , CV giúp đảm bảo hiệu suất đáng tin cậy trong việc phát hiện người đi bộ, người đi xe đạp và các phương tiện khác trong nhiều điều kiện môi trường khác nhau. Việc xác thực này trên các tập dữ liệu phức tạp như Argoverse là rất quan trọng trước khi triển khai mô hình trong các hệ thống quan trọng về an toàn như AI trong các giải pháp ô tô .

Các ứng dụng khác bao gồm đánh giá mô hình phân đoạn hình ảnh , xử lý ngôn ngữ tự nhiên (NLP) như phân tích cảm xúc và đánh giá rủi ro trong mô hình tài chính . Các nền tảng như Ultralytics HUB có thể giúp quản lý các thí nghiệm và hiện vật được tạo ra trong quá trình đánh giá, từ đó hợp lý hóa vòng đời phát triển.