Doğrulama Verileri

Doğrulama Verilerinin Rolü

Model eğitim süreci sırasında bir makine öğrenimi modeli eğitim verilerinden örüntüler öğrenir. Ancak, modeli yalnızca bu veriler üzerinden değerlendirmek yanıltıcı olabilir çünkü model, aşırı uyum olarak bilinen bir olgu olan eğitim örneklerini basitçe ezberleyebilir. Doğrulama verileri bir kontrol noktası görevi görür. Geliştiriciler, eğitim sırasında modelin performansını periyodik olarak bu ayrı set üzerinde değerlendirerek şunları yapabilirler:

1. Hiperparametreleri Ayarlayın: Doğrulama kümesi üzerinde hesaplanan performans ölçümlerine(Doğruluk, mAP, vb.) göre öğrenme oranı, yığın boyutu veya model karmaşıklığı gibi ayarları yapın. Bu genellikle hiperparametre ayarlama kılavuzlarında tartışılan teknikler kullanılarak yapılır.
2. Modelleri Seçin: Farklı model mimarilerini veya sürümlerini (örneğin, Ultralytics YOLOv8 ile YOLOv10'u karşılaştırmak) doğrulama performanslarına göre karşılaştırın.
3. Aşırı Uyumu Önleyin: Eğitim performansı artarken modelin doğrulama kümesinde daha kötü performans göstermeye başladığını tespit etmek için doğrulama metriklerini izleyin, bu da aşırı uyuma işaret eder. Erken durdurma gibi teknikler doğrulama performansına dayanır.

Eğitim ve Test Verilerine Karşı Doğrulama Verileri

Eğitim, doğrulama ve test veri kümeleri arasındaki ayrımı anlamak, sağlam model geliştirme için temeldir:

• Eğitim Verileri: Örüntüleri öğrenmek ve model ağırlıklarını ayarlamak için doğrudan öğrenme algoritması tarafından kullanılan veri kümesinin en büyük kısmı. Model, eğitim döngüleri(epoklar) sırasında bu verileri sık sık "görür".
• Doğrulama Verileri: Eğitim sırasında dolaylı olarak kullanılan daha küçük bir kısım. Model doğrudan bu verilerden öğrenmez, ancak bu set üzerindeki performans hiperparametreler ve model yapısı hakkındaki kararlara rehberlik eder. Modelin geliştirme aşamasında yeni verilere ne kadar iyi genelleme yapabileceği konusunda geri bildirim sağlar .
• Test Verileri: Modelin eğitim veya doğrulama sırasında hiç görmediği tamamen ayrı bir veri bölümü. Tüm eğitim ve ayarlama tamamlandıktan sonra, modelin görülmemiş gerçek dünya verileri üzerindeki genelleme yeteneğinin nihai ve tarafsız bir tahminini sağlamak için yalnızca bir kez kullanılır.

Veri seti versiyonlama ve yönetimi için genellikle Ultralytics HUB gibi araçlar kullanılarak yönetilen uygun ayırma, test setinden gelen bilgilerin eğitim veya model seçim sürecine "sızmamasını" sağlar, bu da aşırı iyimser performans tahminlerine yol açabilir.

Hiperparametre Ayarlama ve Model Seçimi

Doğrulama verileri hiperparametre ayarı için vazgeçilmezdir. Hiperparametreler, öğrenme süreci başlamadan önce ayarlanan, modelin dışındaki yapılandırma ayarlarıdır. Örnekler arasında öğrenme hızı, bir sinir ağındaki katman sayısı veya kullanılan optimizasyon algoritmasının türü yer alır. Geliştiriciler farklı hiperparametre kombinasyonlarıyla birden fazla model versiyonunu eğitir, her birini doğrulama kümesinde değerlendirir ve en iyi performansı veren kombinasyonu seçer. Bu sistematik arama, genellikle MLOps araçlarıyla entegre platformlar tarafından kolaylaştırılan Grid Search veya Bayesian Optimization gibi yöntemler kullanılarak otomatikleştirilebilir.

Gerçek Dünyadan Örnekler

1. Bilgisayarla Görme Nesne Algılama: Bir kişiyi eğitirken Ultralytics YOLO (örneğin, VisDrone veri kümesini kullanarak), etiketli görüntülerin bir kısmı doğrulama verisi olarak ayrılır. Eğitim sırasında, modelin mAP'si (Ortalama Ortalama Hassasiyet) her epoktan sonra bu doğrulama kümesi üzerinde hesaplanır. Bu doğrulama mAP'si, test setinde son bir performans kontrolünden önce eğitimin ne zaman durdurulacağına (erken durdurma) veya hangi veri artırma tekniklerinin en iyi sonucu vereceğine karar vermeye yardımcı olur. Etkili model değerlendirme stratejileri büyük ölçüde bu ayrıma dayanır.
2. Doğal Dil İşleme Metin Sınıflandırma: Müşteri yorumlarını olumlu veya olumsuz olarak sınıflandırmak için bir model geliştirirken(duyarlılık analizi), en uygun mimariyi seçmek (örneğin, LSTM vs. Transformer) veya bırakma oranları gibi hiperparametreleri ayarlamak için bir doğrulama seti kullanılır. Doğrulama setinde en yüksek F1 puanını veya doğruluğu elde eden model nihai test için seçilecektir. Gibi kaynaklar Hugging Face genellikle bu amaç için önceden bölünmüş veri kümeleri sağlar.

Çapraz Doğrulama

Mevcut veri miktarı sınırlı olduğunda, Çapraz Doğrulama (özellikle K-Kat Çapraz Doğrulama) adı verilen bir teknik sıklıkla kullanılır. Burada eğitim verileri 'K' alt kümeye (kat) ayrılır. Model, her seferinde eğitim için K-1 kat ve doğrulama seti olarak kalan kat kullanılarak K kez eğitilir. Daha sonra tüm K çalıştırmaların ortalaması alınır. Bu, Ultralytics K-Fold Cross-Validation kılavuzunda açıklandığı gibi, model performansının daha sağlam bir tahminini sağlar ve sınırlı verilerin daha iyi kullanılmasını sağlar.

Özetle, doğrulama verileri güvenilir ve yüksek performanslı Yapay Zeka (AI) modelleri oluşturmanın temel taşıdır. Etkili hiperparametre ayarı, model seçimi ve aşırı uyumun önlenmesini sağlayarak modellerin eğitildikleri verilerin çok ötesinde genelleme yapmasını sağlar.