Model İzleme

Model İzleme Neden Önemlidir?

Makine öğrenimi modelleri geçmiş veriler üzerinde eğitilir ancak gerçek dünya dinamiktir. Veri kalıplarındaki, kullanıcı davranışındaki veya ortamdaki değişiklikler, bir modelin performansının dağıtımdan sonra düşmesine neden olabilir. İzleme için temel nedenler şunlardır:

• Performans Düşüşünü Tespit Etme: Modeller zaman içinde daha az doğru hale gelebilir. İzleme, hassasiyet, geri çağırma veya F1 puanı gibi performans ölçütlerindeki düşüşleri belirlemeye yardımcı olur. KılavuzumuzdaYOLO performans ölçümleri hakkında daha fazla bilgi edinebilirsiniz.
• Veri Kaymasının Belirlenmesi: Girdi verilerinin istatistiksel özellikleri değişebilir, bu da veri kayması olarak bilinen bir olgudur. Bu, modelin üretimde gördüğü veriler eğitim verilerinden önemli ölçüde farklı olduğunda meydana gelebilir. Girdi özelliklerinin izlenmesi bu tür kaymaların tespit edilmesine yardımcı olur.
• Kavram Kaymasını Tespit Etme: Girdi özellikleri ile hedef değişken arasındaki ilişki zaman içinde değişebilir (kavram kayması). Örneğin, müşteri tercihleri evrim geçirerek eski tahmin modellerini geçersiz kılabilir. Kavram kayması, modelin yeniden eğitilmesini veya uyarlanmasını gerektirir.
• Operasyonel Sağlığın Sağlanması: İzleme, model sunma altyapısının(model sunma) sorunsuz çalıştığından emin olmak için çıkarım gecikmesi, verim ve hata oranları gibi operasyonel metrikleri izler.
• Adaleti ve Etiği Korumak: İzleme, farklı demografik gruplar veya veri segmentleri arasındaki performansı izleyerek YZ' deki önyargıyı tespit etmeye ve azaltmaya yardımcı olabilir ve YZ etiğini teşvik edebilir.

Hangi Unsurlar İzleniyor?

Etkili model izleme tipik olarak birkaç metrik kategorisinin izlenmesini içerir:

• Tahmin Performansı: Doğruluk, Ortalama Ortalama Kesinlik (mAP), AUC ve hata oranları gibi metrikler, genellikle doğrulama sırasında belirlenen ölçütlerle karşılaştırılır.
• Veri Kalitesi ve Bütünlüğü: Giriş verilerindeki eksik değerlerin, veri türü uyumsuzluklarının ve aralık ihlallerinin izlenmesi.
• Girdi Verisi Kayması: Üretim girdi özelliklerinin dağılımını eğitim verisi dağılımıyla karşılaştırmak için istatistiksel ölçümler (örn. popülasyon kararlılık endeksi, Kolmogorov-Smirnov testi).
• Tahmin/Çıktı Kayması: Önemli kaymaları tespit etmek için model tahminlerinin dağılımının izlenmesi.
• Operasyonel Metrikler: Sistem düzeyinde metrikler CPU/GPU kullanım, bellek kullanımı, istek gecikmesi ve verim. Bunun için genellikle Prometheus gibi platformlar kullanılır.
• Adalet ve Önyargı Ölçütleri: Demografik eşitlik veya eşitlenmiş oranlar gibi metrikler kullanarak hassas nitelikler (örn. yaş, cinsiyet, etnik köken) arasındaki model performansı eşitsizliklerini değerlendirmek.

Model İzleme ve İlgili Kavramlar

Model izlemeyi benzer terimlerden ayırt etmek önemlidir:

• Gözlemlenebilirlik: İzleme, bilinen arıza modlarını değerlendirmek için önceden tanımlanmış metrikleri izlemeye odaklanırken, gözlemlenebilirlik bilinmeyen sistem durumlarını ve davranışlarını keşfetmek ve anlamak için araçlar (günlükler, metrikler, izler) sağlar. Gözlemlenebilirlik, izleme bir anormallik tespit ettiğinde daha derin bir araştırma yapılmasını sağlar.
• MLOps: MLOps, veri yönetimi, model eğitimi, dağıtım, yönetişim ve izleme dahil olmak üzere tüm ML yaşam döngüsünü kapsayan daha geniş bir uygulama kümesidir. Model izleme, MLOps çerçevesi içinde kritik bir bileşendir ve özellikle dağıtım sonrası model sağlığına odaklanır.
• Model Değerlendirmesi: Değerlendirme genellikle bir modelin kalitesini değerlendirmek için statik doğrulama verileri veya test verileri kullanılarak dağıtımdan önce gerçekleştirilir. İzleme, dağıtımdan sonra canlı üretim verileri üzerinde gerçekleştirilen sürekli bir süreçtir. Model değerlendirme ve ince ayar hakkında içgörüleri burada bulabilirsiniz.

Gerçek Dünya Uygulamaları

1. E-ticaret Öneri Sistemleri: Bir e-ticaret platformu, ürün önerileri için bir makine öğrenimi modeli kullanır(öneri sistemi). Model izleme, önerilen ürünler için tıklama oranlarını (TO) ve dönüşüm oranlarını izler. İzleme, TO'da ani bir düşüş (performans düşüşü) veya satın alınan ürün türlerinde bir değişiklik (yeni bir trend nedeniyle kavram kayması) tespit ederse, uyarılar tetiklenir. Bu, araştırmaya ve potansiyel olarak modelin daha yeni etkileşim verileriyle yeniden eğitilmesine yol açar. Amazon Personalize, öneri etkinliğini izlemeye yönelik özellikler içerir.
2. Otonom Araç Algısı: Sürücüsüz araçlar büyük ölçüde bilgisayarla görme modellerine dayanır. Ultralytics YOLOnesne tespiti için. Model izleme, yayalar, bisikletliler ve diğer araçlar gibi nesneler için algılama doğruluğunuYOLO performans ölçümleri) ve güven puanlarını sürekli olarak izler. Ayrıca sapmayı tespit etmek için girdi veri özelliklerini (ör. görüntü parlaklığı, hava koşulları) izler. Modelin performansı belirli koşullarda (örn. şiddetli yağmur, düşük ışık) önemli ölçüde düşerse, sistem daha güvenli bir çalışma moduna geçebilir veya daha çeşitli veriler üzerinde eğitilmiş model güncellemeleri ihtiyacını işaretleyebilir(veri artırımı). Waymo gibi şirketler algı sistemlerini izlemek için büyük yatırımlar yapmaktadır.

Araçlar ve Uygulama

Model izlemenin uygulanması genellikle özel araçların ve platformların kullanılmasını gerektirir. Seçenekler, Evidently AI ve NannyML gibi açık kaynaklı kütüphanelerden bulut sağlayıcıları tarafından sunulan yönetilen hizmetlere(AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring, Azure Machine Learning data drift detection) ve Arize AI veya WhyLabs gibi özel MLOps platformlarına kadar uzanmaktadır. Ultralytics HUB gibi platformlar, MLOps döngüsünü tamamlamak için izleme çözümleriyle entegre olarak modellerin dağıtılmasını ve yönetilmesini destekleyen altyapı sağlar. Etkili model bakım stratejileri büyük ölçüde sağlam izlemeye dayanır.