Gözlemlenebilirlik

Gözlemlenebilirlik Nedir?

Gözlemlenebilirlik, günlükler, metrikler ve izler gibi çıktılarını inceleyerek bir sistemin iç durumlarını ölçme ve anlama yeteneğidir. Tipik olarak önceden tanımlanmış gösterge tablolarına ve bilinen arıza modlarına odaklanan geleneksel izlemenin aksine (örn, CPU kullanım, hata oranları), gözlemlenebilirlik ekipleri sistem davranışını proaktif olarak keşfetme ve geliştirme sırasında öngörülmeyenler de dahil olmak üzere yeni sorunları teşhis etme konusunda donatır. MLOps (Makine Öğrenimi Operasyonları) bağlamında, bir sistemin neden belirli bir şekilde davrandığına dair daha derin sorular sorulmasına olanak tanır; bu da ML model geliştirme ve dağıtımının yinelemeli doğası için çok önemlidir. Derin öğrenme modelleri de dahil olmak üzere karmaşık sistemlere görünürlük kazandırmakla ilgilidir.

YZ/ML'de Gözlemlenebilirlik Neden Önemlidir?

Derin öğrenme modellerinin karmaşıklığı ve genellikle "kara kutu" niteliği, gözlemlenebilirliği vazgeçilmez kılmaktadır. Temel nedenler şunlardır:

• Performans Optimizasyonu: Çıkarım işlem hattındaki veya dağıtılmış eğitim sırasındaki darboğazları belirleme, kaynak kullanımını optimize etme (GPU) ve çıkarım gecikmesi gibi metriklerin iyileştirilmesi.
• Güvenilirlik ve Hata Ayıklama: Veri kayması, zaman içinde modelin bozulması veya girdi verilerindeki uç durumların neden olduğu beklenmedik davranışlar gibi sorunları hızlı bir şekilde tespit ve teşhis etme. Bu, model doğruluğunun ve sağlamlığının korunmasına yardımcı olur.
• Güven ve Açıklanabilirlik: Model tahminleri ve davranışları hakkında içgörü sağlamak, Açıklanabilir Yapay Zeka (XAI) çabalarını desteklemek ve özellikle otonom araçlar veya sağlık hizmetleri gibi kritik uygulamalarda kullanıcı güveni oluşturmak.
• Uyumluluk ve Yönetişim: Modellerin tanımlanmış etik sınırlar(YZ Etiği) içinde çalışmasını sağlamak ve kararları kaydederek ve algoritmik önyargıları izleyerek yasal gereklilikleri karşılamak. YZ 'de şeffaflık önemli bir avantajdır.

Gözlenebilirlik ve İzleme

Birbirleriyle ilişkili olsalar da, gözlemlenebilirlik ve izleme kapsam ve amaç bakımından farklılık gösterir. İzleme, sistem sağlığını bilinen ölçütlere göre izlemek için önceden tanımlanmış metrikler hakkında veri toplamayı ve analiz etmeyi içerir (örneğin, konuşlandırılmış bir nesne algılama modelinin mAP puanını izlemek). "Sistem çalışıyor mu?" veya "Hata oranı X'in altında mı?" gibi sorulara yanıt verir. Model izleme, üretimdeki makine öğrenimi modellerine odaklanan özel bir izleme türüdür.

Gözlemlenebilirlik ise veri çıktılarını (loglar, metrikler, izler - genellikle"gözlemlenebilirliğin üç ayağı" olarak adlandırılır) kullanarak daha derin, keşifsel analizler yapılmasını sağlar. Sistem durumlarının, özellikle de beklenmedik olanların arkasındaki 'neden'i anlamanızı sağlar. İzlemeyi bilinen sorunları raporlayan bir gösterge tablosuna bakmak olarak düşünün, gözlemlenebilirlik ise bilinen veya bilinmeyen herhangi bir anormalliği araştırmak için araçlar (günlükleri sorgulamak veya istekleri izlemek gibi) sağlar. Karmaşık sistemlerde hata ayıklamayı kolaylaştırır.

Temel Bileşenler (Üç Sütun)

Gözlemlenebilirlik üç temel telemetri verisi türüne dayanır:

1. Günlükler: Sistem içinde meydana gelen ayrı olayların zaman damgalı kayıtları. Günlükler, belirli olayların hatalarını ayıklamak veya işlem sıralarını anlamak için yararlı olan ayrıntılı, bağlamsal bilgiler sağlar. Örnekler arasında hata mesajları, uygulama olayları veya istek ayrıntıları yer alır.
2. Metrikler: Zaman aralıkları boyunca ölçülen sistem performansı veya davranışının sayısal gösterimleri. Metrikler, eğilimleri izlemek, uyarıları ayarlamak ve genel sistem sağlığını anlamak için toplanabilir ve etkilidir (örneğin, istek gecikmesi, hata oranı, kaynak kullanımı).
3. İzler: Bir istek veya işlemin dağıtılmış bir sistemin çeşitli bileşenleri arasında yayılırken izlediği yolu gösteren kayıtlardır. İzler akışı görselleştirmeye, performans darboğazlarını belirlemeye ve hizmetler arasındaki bağımlılıkları anlamaya yardımcı olur; bu da mikro hizmet mimarileri veya karmaşık makine öğrenimi ardışık düzenleri için çok önemlidir.

Gerçek Dünya Uygulamaları

Gözlemlenebilirlik uygulamaları, sofistike AI/ML dağıtımlarında hayati öneme sahiptir:

• Otonom Sürüş Sistemleri: Otomotiv çözümleri için yapay zekada gözlemlenebilirlik kritik öneme sahiptir. Sensörlerden (LiDAR, kameralar gibi) alınan kayıtlar, algı modeli çıkarım hızına ilişkin metrikler ve algıdan kontrole kadar karar verme sürecini izleyen izler sürekli olarak analiz edilir. Bu, Waymo gibi şirketlerdeki mühendislerin nadir arızaları (örneğin, belirli hava koşullarında bir nesneyi yanlış tanımlama) teşhis etmelerine ve sistemin güvenliğini ve güvenilirliğini sağlamalarına yardımcı olur.
• Tıbbi Görüntü Analizi: Tıbbi görüntü analizi için yapay zeka kullanıldığında, gözlemlenebilirlik tanısal kalitenin sağlanmasına yardımcı olur. Metrikler, modelin güven puanını ve radyologlarla anlaşma oranını takip eder. Günlükler, inceleme için işaretlenen uç durumları veya görüntüleri kaydeder. İzler, bir görüntüyü alımdan ön işleme, çıkarım ve raporlamaya kadar takip edebilir, hata veya gecikme kaynaklarını belirlemeye ve sağlık hizmetleri düzenlemelerine uyumu sürdürmeye yardımcı olur(Radiology AI research).

Araçlar ve Platformlar

Gözlemlenebilirliği uygulamak genellikle özel araçlar ve platformlar gerektirir. Prometheus (metrikler), Grafana (görselleştirme), Loki (günlükler) ve Jaeger veya Zipkin (izleme) gibi açık kaynaklı çözümler popülerdir. OpenTelemetry, enstrümantasyon için satıcıdan bağımsız bir standart sağlar. Datadog, New Relic ve Dynatrace gibi ticari platformlar entegre çözümler sunar. MLflow gibi MLOps platformları, Weights & Biasesve ClearML genellikle deneyleri izlemek ve modelleri izlemek için özellikler içerir ve genel sistem gözlemlenebilirliğine katkıda bulunur. Ultralytics HUB, model eğitimi aşamasında gözlemlenebilirliğin önemli bir yönü olan metrikleri görselleştirmek için TensorBoard gibi araçlarla entegre olarak eğitim çalışmalarını, veri kümelerini ve konuşlandırılmış modelleri yönetmeyi kolaylaştırır.