Khả năng quan sát

Khả năng quan sát đề cập đến khả năng hiểu được trạng thái bên trong của một hệ thống phức tạp chỉ dựa trên các đầu ra bên ngoài của nó. Trong các lĩnh vực Trí tuệ Nhân tạo (AI) và Học máy (ML) đang phát triển nhanh chóng, khả năng quan sát không chỉ đơn thuần là kiểm tra trạng thái mà còn cung cấp những hiểu biết sâu sắc về lý do tại sao một mô hình lại hoạt động theo một cách nhất định. Khi các kiến ​​trúc Học sâu (DL) hiện đại — chẳng hạn như YOLO26 tiên tiến nhất — ngày càng trở nên tinh vi, chúng thường hoạt động như những "hộp đen". Công cụ quan sát tạo ra một cửa sổ trong suốt nhìn vào các hệ thống này, cho phép các nhóm kỹ thuật gỡ lỗi các hành vi bất thường, truy tìm nguyên nhân gốc rễ của lỗi và đảm bảo độ tin cậy trong môi trường sản xuất.

Khả năng quan sát so với Giám sát

Mặc dù thường được sử dụng thay thế cho nhau, khả năng quan sát và giám sát mô hình phục vụ các mục đích riêng biệt nhưng bổ sung cho nhau trong vòng đời MLOps .

• Giám sát mô hình mang tính phản ứng và tập trung vào "những điều chưa biết nhưng đã được xác định". Nó bao gồm việc theo dõi các chỉ số được xác định trước như độ trễ suy luận , CPU việc giám sát giúp xác định mức độ sử dụng hoặc tỷ lệ lỗi so với các ngưỡng đã thiết lập. Giám sát trả lời câu hỏi: "Hệ thống có hoạt động tốt không?"
• Khả năng quan sát mang tính chủ động và giải quyết những "vấn đề không biết mà ta biết". Nó cung cấp dữ liệu chi tiết—nhật ký, dấu vết và các sự kiện có số lượng lớn—cần thiết để điều tra các vấn đề mới phát sinh mà không được dự đoán trước trong quá trình chuẩn bị dữ liệu huấn luyện . Như được mô tả trong cuốn sách Google SRE Book , một hệ thống có khả năng quan sát cho phép bạn hiểu được các hành vi mới mà không cần phải viết mã mới. Nó trả lời câu hỏi: "Tại sao hệ thống lại hoạt động theo cách này?"

Ba trụ cột của khả năng quan sát (Observability)

Để đạt được khả năng quan sát thực sự trong các quy trình Thị giác máy tính (CV) , các hệ thống thường dựa vào ba loại dữ liệu đo từ xa chính:

1. Nhật ký (Logs) : Bản ghi bất biến, có dấu thời gian về các sự kiện riêng biệt. Trong một quy trình phát hiện, nhật ký có thể ghi lại độ phân giải của ảnh đầu vào hoặc cấu hình điều chỉnh siêu tham số cụ thể được sử dụng trong quá trình chạy. Việc ghi nhật ký có cấu trúc, thường ở định dạng JSON , cho phép truy vấn và phân tích phức tạp.
2. Số liệu thống kê: Dữ liệu số được tổng hợp và đo lường theo thời gian, chẳng hạn như độ chính xác trung bình, mức tiêu thụ bộ nhớ hoặc mức sử dụng GPU . Các công cụ như Prometheus và Grafana là tiêu chuẩn để lưu trữ dữ liệu chuỗi thời gian này nhằm trực quan hóa các xu hướng.
3. Theo dõi: Việc theo dõi giúp giám sát vòng đời của một yêu cầu khi nó di chuyển qua nhiều dịch vụ nhỏ khác nhau. Đối với các ứng dụng AI phân tán, các tiêu chuẩn như OpenTelemetry giúp lập bản đồ đường đi của một yêu cầu, làm nổi bật các điểm nghẽn trong công cụ suy luận hoặc độ trễ mạng. Các công cụ chuyên dụng như Jaeger giúp trực quan hóa các giao dịch phân tán này.

Triển khai khả năng quan sát trong Python

Bạn có thể nâng cao khả năng quan sát trong các quy trình huấn luyện của mình bằng cách sử dụng các hàm gọi lại để ghi nhật ký các trạng thái nội bộ cụ thể. Ví dụ sau đây minh họa cách thêm một hàm gọi lại tùy chỉnh vào phiên huấn luyện YOLO26 để theo dõi các chỉ số hiệu suất trong thời gian thực.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Các Ứng dụng Thực tế

Khả năng quan sát là yếu tố then chốt để triển khai các mô hình hiệu năng cao trong môi trường năng động, nơi dữ liệu thử nghiệm có thể không hoàn toàn trùng khớp với điều kiện thực tế.

• Xe tự hành: Trong quá trình phát triển xe tự hành , khả năng quan sát cho phép các kỹ sư tái tạo lại trạng thái chính xác của hệ thống trong sự kiện ngắt kết nối. Bằng cách đối chiếu các tín hiệu phát hiện vật thể với nhật ký cảm biến và lệnh điều khiển, các nhóm có thể xác định xem lỗi phanh là do nhiễu cảm biến, lỗi dự đoán mô hình hay lỗi logic trong mô-đun lập kế hoạch.
• Chẩn đoán Y tế: Trong lĩnh vực Trí tuệ Nhân tạo ứng dụng trong chăm sóc sức khỏe , đảm bảo hiệu suất ổn định là yếu tố sống còn đối với sự an toàn của bệnh nhân. Các công cụ giám sát có thể giúp... detect Hiện tượng trôi dữ liệu xảy ra khi hiệu suất của mô hình giảm sút khi được áp dụng cho hình ảnh từ một loại máy quét MRI mới. Dấu vết có thể cho thấy liệu vấn đề bắt nguồn từ sự thay đổi trong quá trình tiền xử lý dữ liệu hình ảnh hay sự dịch chuyển trong phân bố dữ liệu đầu vào, cho phép khắc phục nhanh chóng mà không ảnh hưởng đến tính an toàn của AI .

Tích hợp với các công cụ hiện đại

Các quy trình làm việc hiện đại thường tích hợp khả năng quan sát trực tiếp vào nền tảng huấn luyện. Người dùng Nền tảng Ultralytics được hưởng lợi từ khả năng trực quan hóa tích hợp sẵn các đường cong tổn thất, hiệu suất hệ thống và phân tích tập dữ liệu. Ngoài ra, việc tích hợp tiêu chuẩn với các công cụ như TensorBoard và MLflow cho phép các nhà khoa học dữ liệu duy trì việc theo dõi thử nghiệm chặt chẽ và khả năng quan sát trong toàn bộ vòng đời của mô hình.