Giám sát mô hình

Tại sao việc giám sát mô hình lại quan trọng?

Các mô hình ML được đào tạo trên dữ liệu lịch sử, nhưng thế giới thực là động. Những thay đổi trong các mẫu dữ liệu, hành vi của người dùng hoặc môi trường có thể khiến hiệu suất của mô hình giảm sau khi triển khai . Các lý do chính để giám sát bao gồm:

• Phát hiện sự suy giảm hiệu suất: Các mô hình có thể trở nên kém chính xác hơn theo thời gian. Giám sát giúp xác định sự sụt giảm trong các số liệu hiệu suất như độ chính xác , độ thu hồi hoặc điểm F1 . Bạn có thể tìm hiểu thêm về các số liệu hiệu suất YOLO trong hướng dẫn của chúng tôi .
• Xác định sự trôi dữ liệu: Các thuộc tính thống kê của dữ liệu đầu vào có thể thay đổi, một hiện tượng được gọi là sự trôi dữ liệu . Điều này có thể xảy ra khi dữ liệu mà mô hình nhìn thấy trong quá trình sản xuất khác biệt đáng kể so với dữ liệu đào tạo . Việc theo dõi các tính năng đầu vào giúp phát hiện những thay đổi như vậy.
• Phát hiện sự trôi dạt khái niệm: Mối quan hệ giữa các tính năng đầu vào và biến mục tiêu có thể thay đổi theo thời gian (sự trôi dạt khái niệm). Ví dụ, sở thích của khách hàng có thể thay đổi, khiến các mô hình dự đoán cũ trở nên lỗi thời. Sự trôi dạt khái niệm đòi hỏi phải đào tạo lại hoặc điều chỉnh mô hình.
• Đảm bảo hoạt động hiệu quả: Giám sát theo dõi các số liệu hoạt động như độ trễ suy luận , thông lượng và tỷ lệ lỗi để đảm bảo cơ sở hạ tầng phục vụ mô hình ( model serving ) hoạt động trơn tru.
• Duy trì tính công bằng và đạo đức: Việc giám sát có thể giúp phát hiện và giảm thiểu sự thiên vị trong AI bằng cách theo dõi hiệu suất trên các nhóm nhân khẩu học hoặc phân khúc dữ liệu khác nhau, thúc đẩy đạo đức AI .

Những khía cạnh nào được giám sát?

Việc theo dõi mô hình hiệu quả thường liên quan đến việc theo dõi một số loại số liệu:

• Hiệu suất dự đoán: Các số liệu như độ chính xác, Độ chính xác trung bình (mAP) , AUC và tỷ lệ lỗi, thường được so sánh với các điểm chuẩn được thiết lập trong quá trình xác thực .
• Chất lượng và tính toàn vẹn của dữ liệu: Theo dõi các giá trị bị thiếu, kiểu dữ liệu không khớp và vi phạm phạm vi trong dữ liệu đầu vào.
• Độ trôi dữ liệu đầu vào: Các biện pháp thống kê (ví dụ: chỉ số ổn định dân số, kiểm định Kolmogorov-Smirnov ) để so sánh sự phân bố các tính năng đầu vào sản xuất với sự phân bố dữ liệu đào tạo.
• Dự đoán/Độ trôi đầu ra: Theo dõi sự phân bổ của các dự đoán mô hình để phát hiện những thay đổi đáng kể.
• Số liệu vận hành: Số liệu cấp hệ thống như sử dụng CPU / GPU , sử dụng bộ nhớ, độ trễ yêu cầu và thông lượng. Các nền tảng như Prometheus thường được sử dụng cho mục đích này.
• Đo lường tính công bằng và thiên vị: Đánh giá sự chênh lệch hiệu suất của mô hình giữa các thuộc tính nhạy cảm (ví dụ: tuổi, giới tính, dân tộc) bằng cách sử dụng các đo lường như sự ngang bằng về mặt nhân khẩu học hoặc tỷ lệ cược cân bằng.

Giám sát mô hình so với các khái niệm liên quan

Điều quan trọng là phải phân biệt giám sát mô hình với các thuật ngữ tương tự:

• Khả năng quan sát : Trong khi giám sát tập trung vào việc theo dõi các số liệu được xác định trước để đánh giá các chế độ lỗi đã biết, khả năng quan sát cung cấp các công cụ (nhật ký, số liệu, dấu vết) để khám phá và hiểu các trạng thái và hành vi hệ thống chưa biết . Khả năng quan sát cho phép điều tra sâu hơn khi giám sát phát hiện ra bất thường.
• MLOps : MLOps là một tập hợp các hoạt động rộng hơn bao gồm toàn bộ vòng đời ML, bao gồm quản lý dữ liệu, đào tạo mô hình, triển khai, quản trị và giám sát. Giám sát mô hình là một thành phần quan trọng trong khuôn khổ MLOps, tập trung cụ thể vào tình trạng mô hình sau khi triển khai.
• Đánh giá mô hình: Đánh giá thường được thực hiện trước khi triển khai bằng cách sử dụng dữ liệu xác thực tĩnh hoặc dữ liệu thử nghiệm để đánh giá chất lượng của mô hình. Giám sát là một quá trình liên tục được thực hiện trên dữ liệu sản xuất trực tiếp sau khi triển khai. Tìm hiểu thông tin chi tiết về đánh giá mô hình và tinh chỉnh tại đây .

Ứng dụng trong thế giới thực

1. Hệ thống đề xuất thương mại điện tử: Nền tảng thương mại điện tử sử dụng mô hình ML để đề xuất sản phẩm ( hệ thống đề xuất ). Giám sát mô hình theo dõi tỷ lệ nhấp (CTR) và tỷ lệ chuyển đổi cho các mặt hàng được đề xuất. Nếu giám sát phát hiện CTR giảm đột ngột (hiệu suất giảm) hoặc thay đổi loại sản phẩm đang được mua (khái niệm trôi dạt do xu hướng mới), cảnh báo sẽ được kích hoạt. Điều này thúc đẩy quá trình điều tra và có khả năng đào tạo lại mô hình bằng dữ liệu tương tác mới hơn. Amazon Personalize bao gồm các tính năng để giám sát hiệu quả đề xuất.
2. Nhận thức của xe tự hành: Xe tự lái phụ thuộc rất nhiều vào các mô hình thị giác máy tính như Ultralytics YOLO để phát hiện vật thể . Giám sát mô hình liên tục theo dõi độ chính xác phát hiện ( số liệu hiệu suất YOLO ) và điểm tin cậy cho các vật thể như người đi bộ, người đi xe đạp và các phương tiện khác. Nó cũng giám sát các đặc điểm dữ liệu đầu vào (ví dụ: độ sáng hình ảnh, điều kiện thời tiết) để phát hiện sự trôi dạt. Nếu hiệu suất của mô hình giảm đáng kể trong các điều kiện cụ thể (ví dụ: mưa lớn, ánh sáng yếu), hệ thống có thể chuyển sang chế độ vận hành an toàn hơn hoặc đánh dấu nhu cầu cập nhật mô hình được đào tạo trên dữ liệu đa dạng hơn ( tăng cường dữ liệu ). Các công ty như Waymo đầu tư rất nhiều vào việc giám sát các hệ thống nhận thức của họ.

Công cụ và triển khai

Việc triển khai giám sát mô hình thường liên quan đến việc sử dụng các công cụ và nền tảng chuyên dụng. Các tùy chọn bao gồm từ các thư viện nguồn mở như Evidently AI và NannyML đến các dịch vụ được quản lý do các nhà cung cấp đám mây cung cấp ( AWS SageMaker Model Monitor , Google Vertex AI Model Monitoring , Azure Machine Learning data drift detection ) và các nền tảng MLOps chuyên dụng như Arize AI hoặc WhyLabs . Các nền tảng như Ultralytics HUB cung cấp cơ sở hạ tầng hỗ trợ triển khai và quản lý các mô hình, tích hợp với các giải pháp giám sát để hoàn thành chu trình MLOps. Các chiến lược bảo trì mô hình hiệu quả phụ thuộc rất nhiều vào việc giám sát mạnh mẽ.