Veri Ön İşleme

Veri ön işleme, makine öğrenimi sürecinde ham verilerin algoritmalar için temiz ve anlaşılır bir biçime dönüştürüldüğü kritik ilk adımdır. Gerçek dünyada veriler genellikle eksik, tutarsız ve belirli davranışlar veya eğilimlerden yoksundur, bu da bilgisayarlar için "kirli" veya "gürültülü" görünmelerine neden olur. Ön işleme, ham bilgiler ile sinir ağlarının ihtiyaç duyduğu yapılandırılmış girdiler arasındaki boşluğu doldurur ve Ön işleme, ham bilgiler ile sinir ağlarının ihtiyaç duyduğu yapılandırılmış girdiler arasındaki boşluğu doldurarak, nihai modelin doğruluğunu ve verimliliğini önemli ölçüde etkiler. Veri kümelerini standartlaştırarak ve temizleyerek, mühendisler YOLO26 gibi sofistike mimarilerin gürültü yerine anlamlı kalıpları öğrenmesini sağlar.

Veri Ön İşleme Neden Önemlidir?

Makine öğrenimi modelleri, özellikle bilgisayar görüşünde kullanılanlar, giriş verilerinin kalitesine ve ölçeğine duyarlıdır. Uygun ön işleme yapılmazsa, model eğitim sırasında yakınsama konusunda zorluk yaşayabilir veya güvenilmez tahminler üretebilir. Örneğin, bir veri kümesindeki görüntüler farklı çözünürlük veya renk ölçeklerine sahipse, model gerçek nesne algılama görevine odaklanmak yerine bu tutarsızlıkları ele almak için ekstra kapasite harcamak zorunda kalır.

Ön işleme teknikleri genel olarak şunları amaçlamaktadır:

• Veri Kalitesini İyileştirin: Veri kümesinin sorun alanını doğru bir şekilde temsil etmesini sağlamak için hataları, aykırı değerleri ve yinelemeleri kaldırın .
• Girdileri Standartlaştırma: Özellikleri (piksel değerleri gibi) genellikle 0 ile 1 arasında tek tip bir aralığa yeniden ölçeklendirin, böylece gradyan iniş fonksiyonu gibi optimizasyon algoritmalarının daha sorunsuz çalışmasına yardımcı olun.
• Karmaşıklığı Azaltın: Boyut indirgeme gibi tekniklerle veri temsilini basitleştirin ve öğrenme sürecini hızlandırın. Öğrenme sürecini hızlandırın.

Ön İşlemede Temel Teknikler

Eğitim için verileri hazırlamak üzere birkaç standart yöntem kullanılır ve her biri veri akışında belirli bir amaca hizmet eder. Veri akışı.

• Veri Temizleme: Bu, eksik değerlerin işlenmesi (imputasyon), tutarsız etiketlerin düzeltilmesi ve bozuk dosyaların filtrelenmesini içerir. Görsel yapay zeka bağlamında bu, bulanık görüntülerin kaldırılması veya yanlış sınır kutusu koordinatlarının düzeltilmesi anlamına gelebilir.
• Normalleştirme ve Ölçeklendirme: Piksel yoğunlukları büyük ölçüde değişkenlik gösterebileceğinden, görüntülerin normalleştirilmesi yüksek değerli piksellerin öğrenme sürecini domine etmemesini sağlar. Yaygın yöntemler arasında Min-Max ölçeklendirme ve Z-skor normalleştirme bulunur.
• Kodlama: Sınıf etiketleri (örneğin, "kedi", "köpek") gibi kategorik veriler sayısal formatlara dönüştürülmelidir. Teklikodlama veya etiket kodlama gibi teknikler standart uygulamadır.
• Yeniden boyutlandırma ve biçimlendirme: Derin öğrenme modelleri genellikle sabit boyutlu girdiler bekler. Ön işleme boru hatları, farklı görüntüleri otomatik olarak gerçek zamanlı çıkarım için yaygın olan 640x640 piksel gibi standart bir boyuta yeniden boyutlandırır. Bu, modelin çalışması için gerekli olan bir işlemdir.

Gerçek Dünya Uygulamaları

Veri ön işleme, tüm sektörlerde yaygın olarak kullanılmakta olup, ham verilerin eyleme geçirilebilir içgörülere dönüştürülmesini sağlamaktadır.

Tıbbi Görüntüleme Tanısı

Sağlık hizmetlerinde yapay zeka alanında, ön işleme X-ışınları veya MRI taramalarını analiz etmek için hayati önem taşır. Ham tıbbi görüntüler genellikle sensörlerden gelen gürültü veya kullanılan makineye bağlı olarak aydınlatma ve kontrast farklılıkları içerir. Histogram eşitleme gibi ön işleme adımları, tümörleri veya kırıkları daha görünür hale getirmek için kontrastı artırırken, gürültü azaltma filtreleri görüntü yapısını netleştirir. Bu hazırlık, modellerin tümör tespiti işlemini daha yüksek hassasiyetle gerçekleştirmesini sağlar ve yanlış negatif sonuçları azaltarak hayat kurtarabilir.

Otonom Sürüş

Otonom araçlar, LiDAR, radar ve kameralar dahil olmak üzere birden fazla sensörden gelen verilere dayanır. Bu sensörler farklı hızlarda ve ölçeklerde veri üretir. Ön işleme, bu akışları senkronize eder ve verileri birleştirmeden önce yağmur veya parlama gibi çevresel gürültüleri filtreler. Otonom araçlar için bu, algılama sisteminin yolun tutarlı bir görüntüsünü almasını sağlayarak, gerçek zamanlı ortamlarda güvenli navigasyon ve güvenilir yaya algılama sağlar.

İlgili Kavramlar

Veri ön işlemeyi, makine öğrenimi iş akışında geçen diğer terimlerden ayırmak önemlidir.

• vs. Veri Artırma: Ön işleme, verileri model tarafından teknik olarak kullanılabilir hale getirirken (ör. yeniden boyutlandırma), artırma mevcut verilerin yeni varyasyonlarını oluşturur (ör. görüntüleri döndürme veya çevirme) ve veri kümesinin çeşitliliğini artırır. Daha fazla bilgi için YOLO artırma kılavuzumuza bakın.
• vs. Özellik Mühendisliği: Ön işleme, temizleme ve biçimlendirme ile ilgilidir. Özellik mühendisliği, model performansını iyileştirmek için verilerden yeni, anlamlı değişkenler oluşturmayı içerir, örneğin boy ve kilo sütunlarından "vücut kitle indeksi" hesaplamak gibi.
• vs. Veri Etiketleme: Etiketleme, nesnelerin etrafına sınırlayıcı kutular çizmek gibi temel gerçeği tanımlama sürecidir. Ön işleme, veri toplama ve etiketleme işlemlerinden sonra, ancak veriler sinir ağına beslenmeden önce gerçekleştirilir. .

Pratik Örnek

Ultralytics , ön işleme genellikle eğitim süreci sırasında otomatik olarak gerçekleştirilir. Ancak, OpenCV gibi kütüphaneleri kullanarak görüntüleri manuel olarak da ön işleme tabi tutabilirsiniz. Aşağıdaki kod parçacığı, bir görüntünün yüklenmesini, YOLO26 gibi bir model için standart giriş boyutuna yeniden boyutlandırılmasını ve piksel değerlerinin normalleştirilmesini göstermektedir.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Büyük ölçekli projeler için, Ultralytics gibi araçların kullanılması bu iş akışlarını kolaylaştırabilir. Platform, veri kümesi yönetimini basitleştirerek, birçok ön işleme ve açıklama görevini otomatikleştirerek ham veriden dağıtılmış modele geçişi hızlandırır.