Thuật ngữ

Khả năng quan sát

Khám phá cách khả năng quan sát nâng cao các hệ thống AI/ML như Ultralytics YOLO . Nhận thông tin chi tiết, tối ưu hóa hiệu suất và đảm bảo độ tin cậy trong các ứng dụng thực tế.

Xe lửa YOLO mô hình đơn giản
với Ultralytics TRUNG TÂM

Tìm hiểu thêm

Khả năng quan sát cung cấp những hiểu biết quan trọng về hành vi và hiệu suất của các hệ thống phức tạp, đặc biệt quan trọng trong lĩnh vực năng động của Trí tuệ nhân tạo (AI)Học máy (ML) . Đối với người dùng làm việc với các mô hình phức tạp như Ultralytics YOLO , việc hiểu trạng thái nội bộ của các ứng dụng được triển khai thông qua các đầu ra bên ngoài của chúng là chìa khóa để duy trì độ tin cậy, tối ưu hóa hiệu suất và đảm bảo độ tin cậy trong các ứng dụng thực tế . Nó giúp thu hẹp khoảng cách giữa phát triển mô hình và thành công trong hoạt động.

Khả năng quan sát là gì?

Khả năng quan sát là khả năng đo lường và hiểu các trạng thái bên trong của hệ thống bằng cách kiểm tra các đầu ra của nó, chẳng hạn như nhật ký, số liệu và dấu vết. Không giống như giám sát truyền thống, thường tập trung vào bảng thông tin được xác định trước và các chế độ lỗi đã biết (ví dụ: mức sử dụng CPU , tỷ lệ lỗi), khả năng quan sát trang bị cho các nhóm khả năng chủ động khám phá hành vi của hệ thống và chẩn đoán các vấn đề mới, ngay cả những vấn đề không lường trước được trong quá trình phát triển. Trong bối cảnh của MLOps (Hoạt động học máy) , khả năng quan sát cho phép đặt câu hỏi sâu hơn về lý do tại sao một hệ thống lại hoạt động theo một cách nhất định, điều này rất quan trọng đối với bản chất lặp đi lặp lại của quá trình phát triển và triển khai mô hình ML. Đó là về việc có được khả năng hiển thị vào các hệ thống phức tạp, bao gồm các mô hình học sâu .

Tại sao khả năng quan sát lại quan trọng trong AI/ML?

Tính phức tạp và bản chất "hộp đen" thường thấy của các mô hình học sâu khiến khả năng quan sát trở nên không thể thiếu. Các lý do chính bao gồm:

  • Tối ưu hóa hiệu suất: Xác định các điểm nghẽn trong đường ống suy luận hoặc trong quá trình đào tạo phân tán , tối ưu hóa việc sử dụng tài nguyên ( GPU ) và cải thiện các số liệu như độ trễ suy luận .
  • Độ tin cậy và gỡ lỗi: Phát hiện và chẩn đoán nhanh các vấn đề như dữ liệu trôi dạt , mô hình suy thoái theo thời gian hoặc hành vi bất ngờ do các trường hợp ngoại lệ trong dữ liệu đầu vào. Điều này giúp duy trì độ chính xác và độ mạnh mẽ của mô hình.
  • Độ tin cậy và khả năng giải thích: Cung cấp thông tin chi tiết về dự đoán và hành vi của mô hình, hỗ trợ các nỗ lực trong AI có thể giải thích (XAI) và xây dựng lòng tin của người dùng, đặc biệt là trong các ứng dụng quan trọng như xe tự hành hoặc chăm sóc sức khỏe .
  • Tuân thủ và Quản trị: Đảm bảo các mô hình hoạt động trong ranh giới đạo đức được xác định ( Đạo đức AI ) và đáp ứng các yêu cầu theo quy định bằng cách ghi lại các quyết định và giám sát sự thiên vị của thuật toán . Tính minh bạch trong AI là một lợi ích chính.

Khả năng quan sát so với giám sát

Mặc dù có liên quan, khả năng quan sát và giám sát khác nhau về phạm vi và mục đích. Giám sát bao gồm việc thu thập và phân tích dữ liệu về các số liệu được xác định trước để theo dõi tình trạng hệ thống so với các điểm chuẩn đã biết (ví dụ: theo dõi điểm mAP của mô hình phát hiện đối tượng đã triển khai). Nó trả lời các câu hỏi như "Hệ thống có hoạt động không?" hoặc "Tỷ lệ lỗi có dưới X không?". Giám sát mô hình là một loại giám sát cụ thể tập trung vào các mô hình ML trong sản xuất.

Tuy nhiên, khả năng quan sát sử dụng các đầu ra dữ liệu (nhật ký, số liệu, dấu vết – thường được gọi là " ba trụ cột của khả năng quan sát ") để cho phép phân tích khám phá sâu hơn. Nó cho phép bạn hiểu 'lý do' đằng sau các trạng thái hệ thống, đặc biệt là những trạng thái không mong muốn. Hãy nghĩ về việc giám sát như việc xem bảng điều khiển báo cáo các vấn đề đã biết, trong khi khả năng quan sát cung cấp các công cụ (như truy vấn nhật ký hoặc theo dõi yêu cầu) để điều tra bất kỳ bất thường nào, đã biết hoặc chưa biết. Nó tạo điều kiện cho việc gỡ lỗi các hệ thống phức tạp .

Các thành phần chính (Ba trụ cột)

Khả năng quan sát dựa vào ba loại dữ liệu đo từ xa chính:

  1. Nhật ký: Bản ghi có dấu thời gian của các sự kiện riêng biệt xảy ra trong hệ thống. Nhật ký cung cấp thông tin chi tiết, theo ngữ cảnh hữu ích để gỡ lỗi các sự cố cụ thể hoặc hiểu các chuỗi hoạt động. Ví dụ bao gồm thông báo lỗi, sự kiện ứng dụng hoặc chi tiết yêu cầu.
  2. Số liệu: Biểu diễn số về hiệu suất hoặc hành vi của hệ thống được đo theo các khoảng thời gian. Số liệu có thể tổng hợp và hiệu quả để theo dõi xu hướng, thiết lập cảnh báo và hiểu tình trạng chung của hệ thống (ví dụ: độ trễ yêu cầu, tỷ lệ lỗi, sử dụng tài nguyên ).
  3. Traces: Bản ghi hiển thị hành trình của một yêu cầu hoặc hoạt động khi nó lan truyền qua các thành phần khác nhau của một hệ thống phân tán. Traces giúp trực quan hóa luồng, xác định các điểm nghẽn hiệu suất và hiểu được sự phụ thuộc giữa các dịch vụ, rất quan trọng đối với kiến trúc vi dịch vụ hoặc đường ống ML phức tạp.

Ứng dụng trong thế giới thực

Các hoạt động thực hành khả năng quan sát rất quan trọng trong việc triển khai AI/ML phức tạp:

  • Hệ thống lái xe tự động: Trong AI cho các giải pháp ô tô , khả năng quan sát là rất quan trọng. Nhật ký từ các cảm biến (như LiDAR, camera), số liệu về tốc độ suy luận của mô hình nhận thức và các dấu vết theo dõi quá trình ra quyết định từ nhận thức đến kiểm soát được phân tích liên tục. Điều này giúp các kỹ sư tại các công ty như Waymo chẩn đoán các lỗi hiếm gặp (ví dụ: xác định nhầm một vật thể trong điều kiện thời tiết cụ thể) và đảm bảo tính an toàn và độ tin cậy của hệ thống.
  • Phân tích hình ảnh y tế: Khi triển khai AI để phân tích hình ảnh y tế , khả năng quan sát giúp đảm bảo chất lượng chẩn đoán. Các số liệu theo dõi điểm tin cậy của mô hình và tỷ lệ đồng ý với các bác sĩ X quang. Nhật ký ghi lại các trường hợp ngoại lệ hoặc hình ảnh được đánh dấu để xem xét. Dấu vết có thể theo dõi hình ảnh từ khi tiếp nhận đến khi xử lý trước, suy luận và báo cáo, giúp xác định nguồn lỗi hoặc sự chậm trễ và duy trì sự tuân thủ các quy định về chăm sóc sức khỏe ( Nghiên cứu AI X quang ).

Công cụ và Nền tảng

Việc triển khai khả năng quan sát thường liên quan đến các công cụ và nền tảng chuyên dụng. Các giải pháp nguồn mở như Prometheus (số liệu), Grafana (hình ảnh hóa), Loki (nhật ký) và Jaeger hoặc Zipkin (theo dõi) rất phổ biến. OpenTelemetry cung cấp một tiêu chuẩn trung lập với nhà cung cấp cho công cụ đo lường. Các nền tảng thương mại như Datadog , New RelicDynatrace cung cấp các giải pháp tích hợp. Các nền tảng MLOps như MLflow , Weights & BiasesClearML thường bao gồm các tính năng để theo dõi các thí nghiệm và giám sát các mô hình, góp phần vào khả năng quan sát toàn bộ hệ thống. Ultralytics HUB tạo điều kiện quản lý các lần chạy đào tạo, tập dữ liệu và các mô hình đã triển khai, tích hợp với các công cụ như TensorBoard để trực quan hóa số liệu, đây là một khía cạnh quan trọng của khả năng quan sát trong giai đoạn đào tạo mô hình .

Đọc tất cả