Nắm vững sự đánh đổi giữa độ lệch và phương sai trong học máy. Tìm hiểu các kỹ thuật để cân bằng độ chính xác và khái quát hóa để có hiệu suất mô hình tối ưu!
Sự đánh đổi giữa độ lệch và phương sai là một khái niệm cơ bản trong Học máy có giám sát (ML) mô tả sự căng thẳng giữa khả năng giảm thiểu lỗi phát sinh từ các giả định không chính xác (độ lệch) của mô hình và độ nhạy của mô hình đối với các biến thể trong dữ liệu đào tạo (phương sai). Việc tìm ra sự cân bằng phù hợp là rất quan trọng để xây dựng các mô hình có thể khái quát hóa tốt đối với dữ liệu mới, chưa từng thấy. Một mô hình có độ lệch cao ít chú ý đến dữ liệu đào tạo và đơn giản hóa quá mức các mô hình cơ bản, trong khi một mô hình có phương sai cao chú ý quá nhiều, về cơ bản là ghi nhớ dữ liệu đào tạo, bao gồm cả nhiễu của nó.
Độ lệch biểu thị lỗi được đưa vào khi xấp xỉ một vấn đề thực tế, có thể phức tạp, bằng một mô hình đơn giản hơn nhiều. Độ lệch cao có thể khiến thuật toán bỏ lỡ các mối quan hệ có liên quan giữa các tính năng và đầu ra mục tiêu, dẫn đến hiện tượng được gọi là thiếu phù hợp . Một mô hình thiếu phù hợp hoạt động kém trên cả dữ liệu đào tạo và dữ liệu thử nghiệm chưa thấy vì nó không nắm bắt được xu hướng cơ bản. Các mô hình đơn giản, như hồi quy tuyến tính được áp dụng cho dữ liệu phi tuyến tính cao, thường thể hiện độ lệch cao. Các kỹ thuật để giảm độ lệch thường liên quan đến việc tăng độ phức tạp của mô hình, chẳng hạn như thêm nhiều tính năng hơn hoặc sử dụng các thuật toán phức tạp hơn như các thuật toán được tìm thấy trong Học sâu (DL) .
Phương sai biểu thị độ nhạy của mô hình đối với các biến động trong dữ liệu đào tạo. Đó là lượng mà dự đoán của mô hình sẽ thay đổi nếu chúng ta đào tạo nó trên một tập dữ liệu đào tạo khác. Phương sai cao có thể khiến thuật toán mô hình hóa nhiễu ngẫu nhiên trong dữ liệu đào tạo, thay vì các đầu ra mong muốn, dẫn đến quá khớp . Một mô hình quá khớp hoạt động cực kỳ tốt trên dữ liệu đào tạo nhưng kém trên dữ liệu kiểm tra chưa biết vì nó không tổng quát hóa. Các mô hình phức tạp, như mạng nơ-ron sâu có nhiều lớp hoặc hồi quy đa thức bậc cao, dễ có phương sai cao. Giảm phương sai thường liên quan đến việc đơn giản hóa mô hình, sử dụng nhiều dữ liệu đào tạo hơn hoặc áp dụng các kỹ thuật chính quy hóa .
Về mặt lý tưởng, chúng ta muốn một mô hình có độ lệch thấp và phương sai thấp. Tuy nhiên, hai nguồn lỗi này thường có mối quan hệ nghịch đảo: độ lệch giảm có xu hướng làm tăng phương sai và ngược lại. Độ phức tạp của mô hình tăng thường làm giảm độ lệch nhưng làm tăng phương sai. Ngược lại, độ phức tạp của mô hình giảm làm tăng độ lệch nhưng làm giảm phương sai. Mục tiêu là tìm mức độ phức tạp của mô hình tối ưu để giảm thiểu tổng lỗi (tổng bình phương độ lệch, phương sai và lỗi không thể giảm) trên dữ liệu không nhìn thấy. Điều này liên quan đến việc cân bằng cẩn thận độ lệch và phương sai, thường được hình dung dưới dạng đường cong hình chữ U cho tổng lỗi so với độ phức tạp của mô hình, như đã thảo luận trong các tài nguyên như "Các yếu tố của học thống kê" .
Một số kỹ thuật giúp quản lý sự cân bằng giữa độ lệch và phương sai:
Điều quan trọng là phải phân biệt Sự đánh đổi giữa Độ lệch và Độ lệch chuẩn với các dạng độ lệch khác trong AI:
Trong khi Bias-Variance Tradeoff tập trung vào lỗi tổng quát hóa mô hình phát sinh từ độ phức tạp của mô hình và độ nhạy của dữ liệu, AI Bias và Dataset Bias liên quan đến các vấn đề về tính công bằng và biểu diễn. Quản lý sự đánh đổi nhằm mục đích tối ưu hóa các số liệu hiệu suất dự đoán như Độ chính xác hoặc Độ chính xác trung bình trung bình (mAP) , trong khi giải quyết AI/Dataset bias nhằm mục đích đảm bảo kết quả công bằng. Bạn có thể tìm hiểu thêm về số liệu hiệu suất trong hướng dẫn YOLO Performance Metrics của chúng tôi.
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
