Trước đây chúng tôi đã khám phá cách AI có thể được sử dụng trong các ngành công nghiệp khác nhau như chăm sóc sức khỏe , sản xuất và du lịch . Chúng tôi cũng đã xem xét cách AI có thể cải thiện các nhiệm vụ công việc hàng ngày và thảo luận về các ý tưởng kinh doanh AI hàng đầu . Tất cả các cuộc thảo luận này chắc chắn dẫn đến cùng một câu hỏi chính: làm thế nào chúng ta có thể đo lường thành công của các triển khai AI như vậy? Đây là một câu hỏi quan trọng vì chỉ triển khai các giải pháp AI là không đủ. Đảm bảo rằng các giải pháp này thực sự mang lại kết quả là điều khiến chúng thay đổi cuộc chơi. 

Chúng ta có thể đo lường các số liệu hiệu suất AI để xác định liệu mô hình AI có thực sự hiệu quả trong việc làm cho các quy trình hiệu quả hơn, thúc đẩy sự đổi mới hay giải quyết vấn đề hay không. Bằng cách tập trung vào các chỉ số hiệu suất chính (KPI) phù hợp, chúng ta có thể hiểu được giải pháp AI đang hoạt động tốt như thế nào và cần cải thiện ở đâu.

Trong bài viết này, chúng ta sẽ xem xét cách đo lường thành công của việc triển khai AI bằng các KPI phù hợp nhất. Chúng tôi sẽ đề cập đến sự khác biệt giữa KPI kinh doanh và KPI hiệu suất AI, xem xét các số liệu chính như độ chính xác và khả năng thu hồi , và giúp bạn chọn KPI tốt nhất cho các giải pháp AI cụ thể của mình.

Sự khác biệt giữa KPI kinh doanh AI và KPI hiệu suất AI

‍

Khi bạn nghĩ đến KPI, bạn sẽ cho rằng chúng liên quan đến các số liệu kinh doanh như lợi tức đầu tư (ROI), tiết kiệm chi phí hoặc doanh thu tạo ra - đặc biệt là khi nói đến AI doanh nghiệp. Các KPI kinh doanh AI này đo lường cách AI tác động đến thành công chung của công ty và phù hợp với các mục tiêu kinh doanh rộng hơn. 

Tuy nhiên, KPI hiệu suất AI tập trung vào mức độ hoạt động tốt của chính hệ thống AI, sử dụng các số liệu như độ chính xác, độ chính xác và khả năng thu hồi. Chúng ta sẽ đi sâu vào chi tiết các số liệu này bên dưới, nhưng về bản chất, trong khi KPI kinh doanh thể hiện các lợi ích về mặt tài chính và chiến lược của AI, thì KPI hiệu suất đảm bảo rằng mô hình AI đang thực hiện công việc của mình một cách hiệu quả.

Một số số liệu thực sự có thể phục vụ cho cả hai mục đích. Ví dụ, hiệu quả tăng lên , như việc giảm thời gian hoặc nguồn lực cần thiết để hoàn thành một nhiệm vụ, có thể vừa là KPI hiệu suất (cho thấy giải pháp AI hoạt động tốt như thế nào) vừa là KPI kinh doanh (đo lường mức tiết kiệm chi phí và cải thiện năng suất). Sự hài lòng của khách hàng là một số liệu chéo khác. Nó có thể phản ánh sự thành công của một công cụ dịch vụ khách hàng do AI điều khiển về cả hiệu suất kỹ thuật và tác động của nó đối với các mục tiêu kinh doanh chung.

Hiểu các số liệu hiệu suất AI chính

Có một số số liệu phổ biến được sử dụng để đo lường mức độ hiệu quả của mô hình AI. Trước tiên, chúng ta sẽ xem xét định nghĩa của chúng và cách tính toán chúng. Sau đó, chúng ta sẽ xem cách theo dõi các số liệu này.

Độ chính xác

Độ chính xác là một số liệu đo lường mức độ chính xác của mô hình AI trong việc xác định các kết quả dương tính thực (trường hợp mô hình xác định đúng một đối tượng hoặc tình trạng như mong đợi). Ví dụ, trong hệ thống nhận dạng khuôn mặt , kết quả dương tính thực sẽ xảy ra khi hệ thống nhận dạng và xác định đúng khuôn mặt của một người mà nó đã được đào tạo để phát hiện . 

Để tính độ chính xác, trước tiên hãy đếm số lượng kết quả dương tính thật. Sau đó, bạn có thể chia số này cho tổng số mục mà mô hình gắn nhãn là dương tính. Tổng số này bao gồm cả nhận dạng đúng và lỗi, được gọi là kết quả dương tính giả. Về cơ bản, độ chính xác cho bạn biết tần suất mô hình chính xác khi nó tuyên bố đã nhận dạng được điều gì đó.

Precision = True Positives / (True Positives + False Positives)

‍

Điều này đặc biệt quan trọng trong các tình huống mà hậu quả của các kết quả dương tính giả có thể tốn kém hoặc gây gián đoạn. Ví dụ, trong sản xuất tự động , tỷ lệ chính xác cao cho thấy hệ thống có thể đánh dấu chính xác hơn các sản phẩm lỗi và ngăn chặn việc loại bỏ hoặc làm lại các mặt hàng tốt không cần thiết. Một ví dụ tốt khác là giám sát an ninh . Độ chính xác cao giúp giảm thiểu báo động giả và chỉ tập trung vào các mối đe dọa thực sự cần phản hồi bảo mật.

Nhớ lại

Recall giúp đo lường khả năng của mô hình AI trong việc xác định tất cả các trường hợp có liên quan hoặc kết quả dương tính thực trong một tập dữ liệu. Nói một cách đơn giản, nó biểu thị mức độ hệ thống AI có thể nắm bắt tất cả các trường hợp thực tế của một tình trạng hoặc đối tượng mà nó được thiết kế để phát hiện. Recall có thể được tính bằng cách chia số lần phát hiện chính xác cho tổng số trường hợp dương tính đáng lẽ phải được phát hiện (bao gồm cả các trường hợp mà mô hình xác định chính xác và các trường hợp mà nó bỏ sót).

Recall = True Positives / (True Positives + False Negatives)

Hãy xem xét một hệ thống hình ảnh y tế hỗ trợ AI được sử dụng để phát hiện ung thư. Trong bối cảnh này, khả năng thu hồi phản ánh tỷ lệ các trường hợp ung thư thực tế mà hệ thống xác định chính xác. Khả năng thu hồi cao rất quan trọng trong những tình huống như vậy vì việc bỏ lỡ chẩn đoán ung thư có thể dẫn đến hậu quả nghiêm trọng đối với việc chăm sóc bệnh nhân.

Độ chính xác so với thu hồi

Độ chính xác và khả năng thu hồi giống như hai mặt của một đồng xu khi đánh giá hiệu suất của mô hình AI và chúng thường đòi hỏi sự cân bằng. Thách thức là việc cải thiện một số liệu thường có thể gây tổn hại đến số liệu kia. 

Giả sử bạn muốn có độ chính xác cao hơn. Mô hình có thể trở nên chọn lọc hơn và chỉ có thể xác định được những điểm tích cực mà nó rất chắc chắn. Mặt khác, nếu bạn muốn cải thiện khả năng nhớ lại, mô hình có thể xác định được nhiều điểm tích cực hơn, nhưng điều này có thể bao gồm nhiều kết quả dương tính giả hơn và cuối cùng làm giảm độ chính xác. 

Chìa khóa là tìm ra sự cân bằng phù hợp giữa độ chính xác và khả năng thu hồi dựa trên nhu cầu cụ thể của ứng dụng. Một công cụ hữu ích cho việc này là đường cong Precision-Recall, cho thấy mối quan hệ giữa hai số liệu ở các ngưỡng khác nhau. Bằng cách phân tích đường cong này, bạn có thể xác định điểm tối ưu mà mô hình hoạt động tốt nhất cho trường hợp sử dụng cụ thể của mình. Hiểu được sự đánh đổi sẽ giúp tinh chỉnh các mô hình AI để hoạt động tối ưu cho các trường hợp sử dụng dự định của chúng.

‍

Độ chính xác trung bình trung bình (mAP)

Độ chính xác trung bình trung bình (mAP) là một số liệu được sử dụng để đánh giá hiệu suất của các mô hình AI cho các tác vụ như phát hiện đối tượng , trong đó mô hình cần xác định và phân loại nhiều đối tượng trong một hình ảnh. mAP cung cấp cho bạn một điểm số duy nhất cho thấy mô hình hoạt động tốt như thế nào trên tất cả các danh mục khác nhau mà nó được đào tạo để nhận dạng. Hãy cùng xem cách tính toán.

Diện tích bên dưới Đường cong Độ chính xác-Thu hồi cung cấp Độ chính xác trung bình (AP) cho lớp đó. AP đo lường mức độ chính xác mà mô hình đưa ra dự đoán cho một lớp cụ thể, xem xét cả độ chính xác và thu hồi trên nhiều mức độ tin cậy khác nhau (mức độ tin cậy đề cập đến mức độ chắc chắn của mô hình trong các dự đoán của nó). Sau khi AP được tính toán cho từng lớp, mAP được xác định bằng cách lấy trung bình các giá trị AP này trên tất cả các lớp.

‍

mAP hữu ích trong các ứng dụng như lái xe tự động , nơi nhiều đối tượng, chẳng hạn như người đi bộ, phương tiện và biển báo giao thông, cần được phát hiện cùng lúc. Điểm mAP cao có nghĩa là mô hình luôn hoạt động tốt trên tất cả các danh mục, khiến mô hình trở nên đáng tin cậy và chính xác trong nhiều tình huống khác nhau.

Tính toán số liệu hiệu suất một cách dễ dàng

Các công thức và phương pháp tính toán các số liệu hiệu suất AI chính có vẻ khó khăn. Tuy nhiên, các công cụ như gói Ultralytics có thể giúp bạn thực hiện việc này một cách đơn giản và nhanh chóng. Cho dù bạn đang làm việc trên các tác vụ phát hiện, phân đoạn hay phân loại đối tượng , Ultralytics cung cấp các tiện ích cần thiết để tính toán nhanh các số liệu quan trọng như độ chính xác, độ thu hồi và độ chính xác trung bình (mAP).

Để bắt đầu tính toán số liệu hiệu suất bằng Ultralytics , bạn có thể cài đặt Ultralytics gói như hình dưới đây.

pip install ultralytics

Đối với ví dụ này, chúng tôi sẽ tải một mô hình YOLOv8 được đào tạo trước và sử dụng nó để xác thực số liệu hiệu suất, nhưng bạn có thể tải bất kỳ mô hình nào được Ultralytics hỗ trợ . Sau đây là cách bạn có thể thực hiện:

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

Sau khi mô hình được tải, bạn có thể thực hiện xác thực trên tập dữ liệu của mình. Đoạn mã sau sẽ giúp bạn tính toán các số liệu hiệu suất khác nhau, bao gồm độ chính xác, độ thu hồi và mAP:

# Run the evaluation
results = model.val()

# Print specific metrics
print("Mean average precision:", results.box.map)
print("Precision:", results.box.p)
print("Recall:", results.box.r)

Sử dụng các công cụ như Ultralytics giúp việc tính toán số liệu hiệu suất dễ dàng hơn nhiều, do đó bạn có thể dành nhiều thời gian hơn để cải thiện mô hình của mình và ít thời gian hơn để lo lắng về các chi tiết của quy trình đánh giá.

Hiệu suất AI được đo lường như thế nào sau khi triển khai?

Khi phát triển mô hình AI của bạn, bạn có thể dễ dàng kiểm tra hiệu suất của nó trong một môi trường được kiểm soát. Tuy nhiên, sau khi mô hình được triển khai, mọi thứ có thể trở nên phức tạp hơn. May mắn thay, có những công cụ và phương pháp hay nhất có thể giúp bạn theo dõi giải pháp AI của mình sau khi triển khai . 

Các công cụ như Prometheus, Grafana và Evidently AI được thiết kế để liên tục theo dõi hiệu suất mô hình của bạn. Chúng có thể cung cấp thông tin chi tiết theo thời gian thực, phát hiện các bất thường và cảnh báo bạn về bất kỳ vấn đề tiềm ẩn nào. Các công cụ này vượt xa việc giám sát truyền thống bằng cách cung cấp các giải pháp tự động, có thể mở rộng, thích ứng với bản chất động của các mô hình AI trong sản xuất.

Để đo lường mức độ thành công của mô hình AI sau khi triển khai, sau đây là một số biện pháp tốt nhất cần tuân theo:

• Đặt ra các số liệu hiệu suất rõ ràng : Quyết định các số liệu chính như độ chính xác, độ tin cậy và thời gian phản hồi để thường xuyên kiểm tra mức độ hoạt động của mô hình.
• Kiểm tra thường xuyên để phát hiện sự trôi dạt của dữ liệu : Hãy chú ý đến những thay đổi trong dữ liệu mà mô hình của bạn đang xử lý, vì điều này có thể ảnh hưởng đến dự đoán nếu không được quản lý đúng cách.
• Tiến hành thử nghiệm A/B : Sử dụng thử nghiệm A/B để so sánh hiệu suất của mô hình hiện tại với các phiên bản hoặc điều chỉnh mới. Điều này sẽ cho phép bạn đánh giá định lượng các cải tiến hoặc thoái lui trong hành vi của mô hình.
• Ghi lại và kiểm tra hiệu suất : Lưu giữ nhật ký chi tiết về số liệu hiệu suất và những thay đổi được thực hiện đối với hệ thống AI của bạn. Điều này rất quan trọng đối với việc kiểm tra, tuân thủ và cải thiện kiến trúc mô hình của bạn theo thời gian.

Việc lựa chọn KPI AI tối ưu chỉ là bước khởi đầu

Việc triển khai và quản lý thành công một giải pháp AI phụ thuộc vào việc lựa chọn đúng KPI và cập nhật chúng. Nhìn chung, việc lựa chọn các số liệu làm nổi bật mức độ hiệu quả của giải pháp AI về mặt kỹ thuật và tác động kinh doanh là rất quan trọng. Khi mọi thứ thay đổi, cho dù đó là tiến bộ công nghệ hay thay đổi trong chiến lược kinh doanh của bạn, điều quan trọng là phải xem xét lại và điều chỉnh các KPI này. 

Bằng cách duy trì đánh giá hiệu suất năng động, bạn có thể giữ cho hệ thống AI của mình có liên quan và hiệu quả. Bằng cách theo dõi các số liệu này, bạn sẽ có được những hiểu biết có giá trị giúp cải thiện hoạt động của mình. Một cách tiếp cận chủ động đảm bảo rằng các nỗ lực AI của bạn thực sự có giá trị và giúp thúc đẩy doanh nghiệp của bạn tiến lên!

Tham gia cộng đồng của chúng tôi và đổi mới cùng chúng tôi! Khám phá kho lưu trữ GitHub của chúng tôi để xem những tiến bộ về AI của chúng tôi. Tìm hiểu cách chúng tôi đang định hình lại các ngành công nghiệp như sản xuất và chăm sóc sức khỏe bằng công nghệ AI tiên phong. 🚀