Khả năng quan sát

Khả năng quan sát là gì?

Khả năng quan sát là khả năng đo lường và hiểu các trạng thái bên trong của hệ thống bằng cách kiểm tra các đầu ra của nó, chẳng hạn như nhật ký, số liệu và dấu vết. Không giống như giám sát truyền thống, thường tập trung vào các bảng điều khiển được xác định trước và các chế độ lỗi đã biết (ví dụ: CPU sử dụng, tỷ lệ lỗi), khả năng quan sát giúp các nhóm chủ động khám phá hành vi của hệ thống và chẩn đoán các vấn đề mới—kể cả những vấn đề không lường trước được trong quá trình phát triển. Trong bối cảnh của MLOps , nó cho phép đặt ra những câu hỏi sâu hơn về lý do tại sao một hệ thống lại hoạt động theo một cách nhất định, điều này rất quan trọng đối với bản chất lặp đi lặp lại của quá trình phát triển và triển khai mô hình ML.

Tại sao khả năng quan sát lại quan trọng trong AI/ML?

Tính phức tạp và bản chất "hộp đen" thường thấy của các mô hình học sâu khiến khả năng quan sát trở nên không thể thiếu. Các lý do chính bao gồm:

• Gỡ lỗi các sự cố phức tạp: Xác định nguyên nhân gốc rễ của sự suy giảm hiệu suất tinh vi hoặc dự đoán không mong muốn trong các mô hình như Ultralytics YOLOv8 .
• Phát hiện dữ liệu và sự trôi dạt khái niệm: Theo dõi đầu vào và đầu ra của mô hình để phát hiện sự thay đổi trong phân phối dữ liệu ( Sự trôi dạt dữ liệu ) hoặc những thay đổi trong các khái niệm cơ bản mà mô hình học được, điều này có thể làm giảm độ chính xác .
• Tối ưu hóa hiệu suất: Hiểu rõ các điểm nghẽn trong quy trình suy luận hoặc sử dụng tài nguyên trong quá trình đào tạo và suy luận.
• Đảm bảo độ tin cậy và tính mạnh mẽ: Liên tục xác thực rằng các mô hình hoạt động như mong đợi trong môi trường sản xuất, điều này rất quan trọng đối với các ứng dụng trong xe tự hành hoặc phân tích hình ảnh y tế .
• Xây dựng lòng tin và khả năng giải thích: Cung cấp thông tin chi tiết về hành vi của mô hình, đóng góp vào nỗ lực AI có thể giải thích (XAI) .

Khả năng quan sát so với giám sát

Mặc dù có liên quan, khả năng quan sát và giám sát khác nhau về phạm vi và mục đích. Giám sát bao gồm việc thu thập và phân tích dữ liệu về các số liệu được xác định trước để theo dõi tình trạng hệ thống so với các điểm chuẩn đã biết. Tuy nhiên, khả năng quan sát sử dụng các đầu ra dữ liệu (nhật ký, số liệu, dấu vết – thường được gọi là " ba trụ cột của khả năng quan sát ") để cho phép phân tích khám phá sâu hơn, cho phép bạn hiểu 'lý do' đằng sau các trạng thái hệ thống, đặc biệt là những trạng thái không mong muốn. Hãy nghĩ về giám sát như việc xem bảng điều khiển, trong khi khả năng quan sát là có các công cụ để điều tra bất kỳ bất thường nào được hiển thị trên bảng điều khiển đó hoặc ở nơi khác.

Ứng dụng trong thế giới thực

1. Chẩn đoán lỗi phát hiện đối tượng: Một mô hình phát hiện đối tượng được triển khai để giám sát kệ bán lẻ bằng Ultralytics YOLO11 đột nhiên bắt đầu thiếu các mặt hàng. Các công cụ quan sát liên hệ các số liệu hiển thị các thay đổi về độ sáng của hình ảnh (dữ liệu đầu vào trôi) với các bản ghi cho biết điểm tin cậy thấp hơn, xác định các thay đổi về môi trường (ví dụ: đèn cửa hàng mới) là nguyên nhân, hướng dẫn các chiến lược đào tạo lại hoặc tăng cường dữ liệu .
2. Cải thiện Hệ thống Đề xuất: Một dịch vụ phát trực tuyến sử dụng khả năng quan sát để theo dõi các yêu cầu của người dùng thông qua công cụ đề xuất của mình. Họ nhận thấy độ trễ tăng lên (số liệu) đối với một số phân khúc người dùng nhất định. Các dấu vết cho thấy một nút thắt trong một dịch vụ vi mô cụ thể trong quá trình truy xuất tính năng. Nhật ký xác nhận tỷ lệ lỗi cao hơn cho dịch vụ này, hướng dẫn các nỗ lực tối ưu hóa có mục tiêu để cải thiện trải nghiệm của người dùng.

Công cụ và Nền tảng

Việc triển khai khả năng quan sát thường liên quan đến việc tích hợp nhiều công cụ khác nhau. Các nền tảng đa năng như Datadog , Grafana và Prometheus được sử dụng rộng rãi để thu thập và trực quan hóa số liệu và nhật ký. Các tiêu chuẩn như OpenTelemetry giúp các ứng dụng công cụ tạo dữ liệu theo dõi. Trong không gian ML, các nền tảng như Weights & Biases , MLflow và Ultralytics HUB cung cấp các tính năng chuyên biệt để theo dõi các thí nghiệm, giám sát hiệu suất mô hình và quản lý vòng đời ML, kết hợp các nguyên tắc quan sát chính để giám sát và bảo trì mô hình .