Nous avons précédemment exploré la façon dont l'IA peut être utilisée dans différents secteurs tels que la santé, la fabrication et le tourisme. Nous avons également examiné comment l'IA peut améliorer les tâches professionnelles quotidiennes et discuté des principales idées commerciales en matière d'IA. Toutes ces discussions mènent inévitablement à la même question clé : comment pouvons-nous mesurer le succès de ces mises en œuvre de l'IA ? C'est une question importante car il ne suffit pas de déployer des solutions d'IA. C'est en s'assurant que ces solutions produisent réellement des résultats qu'elles changent la donne. 

Nous pouvons mesurer les paramètres de performance de l'IA pour déterminer si un modèle d'IA est vraiment efficace pour rendre les processus plus efficients, susciter l'innovation ou résoudre des problèmes. En nous concentrant sur les bons indicateurs clés de performance (ICP), nous pouvons comprendre dans quelle mesure une solution d'IA fonctionne et où elle pourrait avoir besoin d'être améliorée.

Dans cet article, nous allons voir comment mesurer le succès des implémentations d'IA avec les KPI les plus pertinents. Nous aborderons les différences entre les KPI commerciaux et les KPI de performance de l'IA, nous passerons en revue les mesures clés telles que la précision et le rappel, et nous t'aiderons à choisir les meilleurs KPI pour tes solutions d'IA spécifiques.

La différence entre les indicateurs commerciaux de l'IA et les indicateurs de performance de l'IA.

‍

Lorsque tu penses aux indicateurs clés de performance, il est naturel de supposer qu'ils concernent tous des mesures commerciales comme le retour sur investissement (ROI), les économies de coûts ou les revenus générés - en particulier lorsqu'on parle d'IA d'entreprise. Ces KPI d'entreprise de l'IA mesurent l'impact de l'IA sur la réussite globale d'une entreprise et s'alignent sur des objectifs commerciaux plus larges. 

Cependant, les ICP de performance de l'IA se concentrent sur le fonctionnement du système d'IA lui-même, en utilisant des mesures telles que l'exactitude, la précision et le rappel. Nous entrerons dans les détails de ces mesures ci-dessous, mais en substance, alors que les ICP commerciaux présentent les avantages financiers et stratégiques de l'IA, les ICP de performance permettent de s'assurer qu'un modèle d'IA fait son travail efficacement.

Certaines métriques peuvent en fait servir les deux objectifs. Par exemple, les gains d'efficacité, comme la réduction du temps ou des ressources nécessaires pour accomplir une tâche, peuvent être à la fois un ICP de performance (montrant à quel point la solution d'IA fonctionne bien) et un ICP commercial (mesurant les économies de coûts et les améliorations de la productivité). La satisfaction des clients est une autre mesure transversale. Elle peut refléter le succès d'un outil de service client piloté par l'IA à la fois en termes de performance technique et d'impact sur les objectifs commerciaux globaux.

Comprendre les principales mesures de performance de l'IA

Il existe quelques métriques courantes utilisées pour mesurer les performances d'un modèle d'IA. Tout d'abord, nous allons jeter un coup d'œil à leur définition et à leur mode de calcul. Ensuite, nous verrons comment ces métriques peuvent être contrôlées.

Précision

La précision est une métrique qui mesure l'exactitude avec laquelle un modèle d'IA identifie les vrais positifs ( cas où le modèle identifie correctement un objet ou une condition comme il est censé le faire). Par exemple, dans un système de reconnaissance faciale, un vrai positif se produirait lorsque le système reconnaît et identifie correctement le visage d'une personne qu'il a été formé à détecter. 

Pour calculer la précision, compte d'abord le nombre de vrais positifs. Tu peux ensuite diviser ce nombre par le nombre total d'éléments que le modèle a étiquetés comme positifs. Ce total comprend à la fois les identifications correctes et les erreurs, qui sont appelées faux positifs. En gros, la précision t'indique combien de fois le modèle a raison lorsqu'il prétend avoir reconnu quelque chose.

Precision = True Positives / (True Positives + False Positives)

‍

C'est particulièrement important dans les scénarios où les conséquences des faux positifs peuvent être coûteuses ou perturbatrices. Par exemple, dans la fabrication automatisée, un taux de précision élevé indique que le système peut signaler plus précisément les produits défectueux et empêcher la mise au rebut ou le retravail inutiles de bons articles. Un autre bon exemple est celui de la surveillance de sécurité. Un taux de précision élevé permet de minimiser les fausses alarmes et de se concentrer sur les menaces réelles qui nécessitent une intervention de sécurité.

Rappel

Le rappel permet de mesurer la capacité d'un modèle d'IA à identifier toutes les instances pertinentes, ou vrais positifs, au sein d'un ensemble de données. En termes simples, il représente la capacité d'un système d'IA à capturer tous les cas réels d'une condition ou d'un objet qu'il est censé détecter. Le rappel peut être calculé en divisant le nombre de détections correctes par le nombre total de cas positifs qui auraient dû être détectés (il comprend à la fois les cas que le modèle a correctement identifiés et ceux qu'il a manqués).

Recall = True Positives / (True Positives + False Negatives)

Prenons l'exemple d'un système d'imagerie médicale basé sur l'IA et utilisé pour la détection du cancer. Le rappel, dans ce contexte, reflète le pourcentage de cas réels de cancer que le système identifie correctement. Un taux de rappel élevé est vital dans de tels scénarios, car manquer un diagnostic de cancer peut avoir de graves conséquences sur les soins prodigués aux patients.

Précision et rappel

La précision et le rappel sont comme les deux faces d'une même pièce lorsqu'il s'agit d'évaluer les performances d'un modèle d'IA, et ils nécessitent souvent un équilibre. Le défi est que l'amélioration d'une métrique peut souvent se faire au détriment de l'autre. 

Disons que tu pousses à une plus grande précision. Le modèle peut devenir plus sélectif et n'identifier que les positifs dont il est très sûr. D'un autre côté, si tu cherches à améliorer le rappel, le modèle peut identifier plus de positifs, mais cela peut inclure plus de faux positifs et finir par diminuer la précision. 

La clé est de trouver le bon équilibre entre la précision et le rappel en fonction des besoins spécifiques de ton application. Un outil utile pour cela est la courbe de précision-rappel, qui montre la relation entre les deux mesures à différents seuils. En analysant cette courbe, tu peux déterminer le point optimal où le modèle est le plus performant pour ton cas d'utilisation spécifique. Comprendre le compromis aide à affiner les modèles d'IA pour qu'ils fonctionnent de manière optimale pour les cas d'utilisation prévus.

‍

Précision moyenne (mAP)

La précision moyenne (mAP) est une mesure utilisée pour évaluer les performances des modèles d'IA pour des tâches telles que la détection d'objets, où le modèle doit identifier et classer plusieurs objets dans une image. La mAP te donne un score unique qui montre les performances du modèle dans toutes les différentes catégories qu'il a été entraîné à reconnaître. Voyons comment il est calculé.

La zone située sous une courbe de précision-rappel donne la précision moyenne (AP) pour cette classe. La PA mesure la précision avec laquelle le modèle fait des prédictions pour une classe spécifique, en tenant compte à la fois de la précision et du rappel pour différents niveaux de confiance (les niveaux de confiance se réfèrent au degré de certitude du modèle dans ses prédictions). Une fois que la PA est calculée pour chaque classe, le mAP est déterminé en faisant la moyenne de ces valeurs de PA pour toutes les classes.

‍

Le mAP est utile dans des applications telles que la conduite autonome, où plusieurs objets, tels que des piétons, des véhicules et des panneaux de signalisation, doivent être détectés simultanément. Un score mAP élevé signifie que le modèle obtient systématiquement de bons résultats dans toutes les catégories, ce qui le rend fiable et précis dans un grand nombre de scénarios.

Calcule les paramètres de performance sans effort

Les formules et les méthodes de calcul des principales mesures de performance de l'IA peuvent sembler décourageantes. Cependant, des outils tels que le progicielUltralytics peuvent rendre les choses simples et rapides. Que tu travailles sur des tâches de détection, de segmentation ou de classification d' objets, Ultralytics fournit les utilitaires nécessaires pour calculer rapidement des mesures importantes telles que la précision, le rappel et la précision moyenne (mAP).

Pour commencer à calculer les mesures de performance à l'aide de Ultralytics, tu peux installer le paquet Ultralytics comme indiqué ci-dessous.

pip install ultralytics

Pour cet exemple, nous allons charger un modèle YOLOv8 pré-entraîné et l'utiliser pour valider les mesures de performance, mais tu peux charger n'importe lequel des modèles pris en charge fournis par Ultralytics. Voici comment tu peux le faire :

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

Une fois le modèle chargé, tu peux effectuer la validation sur ton ensemble de données. L'extrait de code suivant t'aidera à calculer diverses mesures de performance, notamment la précision, le rappel et le mAP :

# Run the evaluation
results = model.val()

# Print specific metrics
print("Mean average precision:", results.box.map)
print("Precision:", results.box.p)
print("Recall:", results.box.r)

L'utilisation d'outils tels que Ultralytics facilite grandement le calcul des mesures de performance, ce qui te permet de passer plus de temps à améliorer ton modèle et moins de temps à te préoccuper des détails du processus d'évaluation.

Comment les performances de l'IA sont-elles mesurées après son déploiement ?

Lorsque tu développes ton modèle d'IA, il est facile de tester ses performances dans un environnement contrôlé. Cependant, une fois le modèle déployé, les choses peuvent devenir plus compliquées. Heureusement, il existe des outils et des bonnes pratiques qui peuvent t'aider à surveiller ta solution d'IA après son déploiement. 

Des outils comme Prometheus, Grafana et Evidently AI sont conçus pour suivre en permanence les performances de ton modèle. Ils peuvent fournir des aperçus en temps réel, détecter les anomalies et t'alerter de tout problème potentiel. Ces outils vont au-delà de la surveillance traditionnelle en proposant des solutions automatisées et évolutives qui s'adaptent à la nature dynamique des modèles d'IA en production.

Pour mesurer le succès de ton modèle d'IA après son déploiement, voici quelques bonnes pratiques à suivre :

• Définis des mesures de performance claires: Décide de mesures clés comme l'exactitude, la précision et le temps de réponse pour vérifier régulièrement les performances de ton modèle.
• Vérifie régulièrement la dérive des données: Garde un œil sur les changements dans les données que ton modèle traite, car cela peut affecter ses prédictions s'il n'est pas géré correctement.
• Effectue des tests A/B : Utilise les tests A/B pour comparer les performances de ton modèle actuel à celles de nouvelles versions ou de nouvelles mises au point. Cela te permettra d'évaluer quantitativement les améliorations ou les régressions dans le comportement du modèle.
• Documente et vérifie les performances: Conserve des journaux détaillés des mesures de performance et des changements apportés à ton système d'IA. C'est crucial pour les audits, la conformité et l'amélioration de l'architecture de ton modèle au fil du temps.

La sélection d'indicateurs clés de performance optimaux en matière d'IA n'est qu'un début

Pour déployer et gérer avec succès une solution d'IA, il faut choisir les bons indicateurs clés de performance et les tenir à jour. Dans l'ensemble, il est vital de choisir des indicateurs qui mettent en évidence les résultats de la solution d'IA sur le plan technique et en termes d'impact sur l'entreprise. À mesure que les choses changent, qu'il s'agisse d'avancées technologiques ou de changements dans ta stratégie commerciale, il est important de revoir et d'ajuster ces ICP. 

En gardant tes évaluations de performance dynamiques, tu peux garder ton système d'IA pertinent et efficace. En restant à l'affût de ces mesures, tu obtiendras des informations précieuses qui t'aideront à améliorer tes opérations. Une approche proactive garantit que tes efforts en matière d'IA sont vraiment utiles et contribuent à faire avancer ton entreprise !

Rejoins notre communauté et innove avec nous ! Explore notre dépôt GitHub pour découvrir nos avancées en matière d'IA. Découvre comment nous remodelons des secteurs tels que la fabrication et les soins de santé grâce à des technologies d'IA pionnières. 🚀