Gözlemlenebilirlik

Gözlenebilirlik ve İzleme

Sıklıkla birlikte kullanılsa da, gözlemlenebilirlik ve model izleme birbirinden farklı kavramlardır.

• İzleme, bilinen hata modlarını izlemek için veri toplama ve analiz etme sürecidir. Hata oranının %5'i aşması veya çıkarım gecikmesinin 200 ms'yi aşması gibi belirli, önceden tanımlanmış eşikler için uyarılar ayarlarsınız. Bir şeylerin yanlış olup olmadığını size söyler.
• Gözlemlenebilirlik, sorunu daha önce hiç görmemiş olsanız bile bir şeyin neden yanlış olduğunu anlamanızı sağlayan sistemin bir özelliğidir. Keşifsel analiz ve kök neden tanımlamasına izin vermek için ayrıntılı günlükler, metrikler ve izler kullanır. Gözlemlenebilir bir sistem, daha fazla bilgi toplamak için yeni kod göndermek zorunda kalmadan hata ayıklayabileceğiniz bir sistemdir. Bu yetenek, üretimdeki yapay zeka sistemlerinin öngörülemeyen doğasını yönetmek için kritik öneme sahiptir.

Gözlemlenebilirliğin Üç Ayağı

Gözlemlenebilirlik tipik olarak üç temel telemetri verisi türü üzerine inşa edilir:

1. Günlükler: Bunlar, olayların değişmez, zaman damgalı kayıtlarıdır. ML sistemlerinde, günlükler bireysel tahmin isteklerini, veri doğrulama hatalarını veya sistem yapılandırma değişikliklerini yakalayabilir. Geleneksel günlük kaydı basit bir metin olabilirken, yapılandırılmış günlük kaydı (örneğin JSON formatında) günlüklerin büyük ölçekte sorgulanmasını ve analiz edilmesini çok daha kolay hale getirir.
2. Metrikler: Bunlar, zaman içinde ölçülen verilerin sayısal gösterimleridir. Makine öğrenimi sistemlerindeki temel metrikler arasında model doğruluğu, tahmin verimi, CPU/GPU kullanımı ve bellek kullanımı yer alır. Prometheus gibi zaman serisi veritabanları bu verileri depolamak ve sorgulamak için yaygın olarak kullanılır.
3. İzler: İzler, bir sistemin tüm bileşenleri boyunca hareket eden tek bir istek veya işlemin ayrıntılı bir görünümünü sağlar. Bir bilgisayarla görüntü işleme hattında, bir iz, tek bir görüntüyü alımdan ve ön işlemeden model çıkarımına ve son işlemeye kadar takip edebilir ve her adımda harcanan zamanı gösterebilir. Bu, dağıtılmış sistemlerdeki darboğazları ve hataları tespit etmek için çok değerlidir.

Gözlemlenebilirlik Yapay Zeka Sistemleri İçin Neden Önemlidir?

Derin öğrenme modelleri oldukça karmaşık ve opak olabilir, bu da gerçek dünyadaki davranışlarını anlamayı zorlaştırır. Gözlemlenebilirlik şunlar için gereklidir:

• Hata Ayıklama ve Sorun Giderme: Ultralytics YOLO11 gibi bir model yanlış bir tahmin yaptığında, gözlemlenebilirlik araçları nedenini anlamak için giriş verilerini ve model aktivasyonlarını izlemeye yardımcı olabilir.
• Sürüklenmeyi Tespit Etme: Yapay zeka modelleri, veri kayması (üretim veri dağılımının eğitim verilerinden farklı olması) veya kavram kayması nedeniyle zaman içinde bozulabilir. Gözlemlenebilirlik, veri dağılımlarını ve model performansını izleyerek bu değişimleri tespit etmeye yardımcı olur.
• Güven ve Adilliğin Sağlanması: Sağlık hizmetlerinde yapay zeka gibi hassas uygulamalarda gözlemlenebilirlik, model kararlarının net bir denetim izini sağlayarak Açıklanabilir Yapay Zeka (XAI) ve Yapay Zeka ' da Şeffaflığı destekler. Bu, mevzuata uygunluk ve paydaşlarla güven oluşturmak için çok önemlidir.
• Performansı Optimize Etme: Ekipler, kaynak kullanımını ve gecikme süresini izleyerek model verimliliğini optimize edebilir ve MLOps'un temel hedeflerinden biri olan operasyonel maliyetleri azaltabilir.

Gerçek Dünya Uygulamaları

1. Otonom Araçlar: Otonom bir araç, gerçek zamanlı nesne tespiti için bir algılama modeli kullanır. Gözlemlenebilirlik aracı, bir kamera karesini sensörden karara kadar tüm sistem boyunca izler. Araç alacakaranlıkta bir yayayı tespit edemezse, mühendisler görüntü ön işleme adımındaki gecikmenin neden olup olmadığını görmek için izleri kullanabilir. Ayrıca sistemik sorunları belirlemek için günün farklı zamanlarında algılama güven puanlarına ilişkin metrikleri analiz edebilirler.
2. Perakende Envanter Yönetimi: Akıllı bir perakende sistemi, raf stokunu izlemek için kameralar kullanır. Bir gözlemlenebilirlik platformu raf başına tespit edilen ürün sayısını, API çağrılarının sıklığını ve tahminlerin gecikme süresini izler. Sistem belirli bir ürün için yanlış stok seviyeleri bildirirse, geliştiriciler bu ürünün SKU'su için izleri filtreleyebilir, günlüğe kaydedilen görüntüleri ve tahmin puanlarını inceleyebilir ve sorunun zayıf aydınlatma veya olağandışı ambalajdan kaynaklanıp kaynaklanmadığını belirleyebilir. Bu, daha iyi veri artırımı ile hızlı teşhis ve yeniden eğitime olanak tanır.

Araçlar ve Platformlar

Gözlemlenebilirliği uygulamak genellikle özel araçlar ve platformlar gerektirir. Grafana (görselleştirme), Loki (günlükler) ve Jaeger (izleme) gibi açık kaynaklı çözümler popülerdir. OpenTelemetry, enstrümantasyon için satıcıdan bağımsız bir standart sağlar. Datadog, New Relic ve Dynatrace gibi ticari platformlar entegre çözümler sunar. MLflow, Weights & Biases ve ClearML gibi MLOps platformları genellikle deneyleri izlemek ve modelleri izlemek için özellikler içerir. Ultralytics HUB, model eğitimi aşamasında gözlemlenebilirliğin önemli bir yönü olan metrikleri görselleştirmek için TensorBoard gibi araçlarla entegre olarak eğitim çalışmalarını ve dağıtılan modelleri yönetmeyi kolaylaştırır.