Sinirsel Stil Transferi

Sinirsel Stil Aktarımı (NST), bilgisayar görme alanında yapay zekanın bir görüntünün görsel içeriğini başka bir görüntünün sanatsal stiliyle harmanlamasını sağlayan gelişmiş bir optimizasyon tekniğidir. Derin sinir ağlarını, özellikle Convolutional Neural Networks (CNNs) kullanarak, bu algoritma "içerik" fotoğrafının (örneğin bir şehir manzarası) korurken, "stil" referansının (örneğin ünlü bir tablo) dokularını, renklerini ve fırça darbelerini uygulayan yeni bir çıktı görüntüsü sentezler. Bu süreç, düşük seviyeli istatistiksel özellik çıkarma ile yüksek seviyeli sanatsal yaratıcılık arasındaki boşluğu etkili bir şekilde doldurarak, benzersiz, stilize görsellerin üretilmesini sağlar.

Sinirsel Stil Transferi Nasıl Çalışır

NST'nin arkasındaki mekanizma, derin bir ağın içeriği stilden ayırma yeteneğine dayanır. Bir görüntü, önceden eğitilmiş bir ağdan (genellikle büyük ImageNet üzerinde eğitilmiş VGG mimarisi) geçerken, farklı katmanlar farklı türde bilgiler çıkarır. Erken katmanlar kenarlar ve dokular gibi düşük seviyeli ayrıntıları yakalarken, daha derin katmanlar yüksek seviyeli anlamsal içerik ve şekilleri temsil eder.

Gatys ve diğerleri tarafından yapılan araştırmada ilk kez ayrıntılı olarak açıklanan NST süreci, rastgele bir gürültü görüntüsünü yinelemeli olarak değiştiren bir optimizasyon algoritması içerir ve iki farklı hata değerini aynı anda en aza indirir:

• İçerik Kaybı: Bu metrik, oluşturulan görüntü ile orijinal içerik fotoğrafı arasındaki yüksek düzeyli özellik haritalarındaki farkı hesaplar. Sahnenin nesnelerinin ve düzeninin tanınabilir kalmasını sağlar.
• Stil Kaybı: Bu metrik, oluşturulan görüntü ile stil referansı arasındaki doku korelasyonlarındaki farkı ölçer. Genellikle, özelliklerin istatistiksel dağılımını yakalamak için Gram matrisi kullanır ve uzamsal düzenlemeden bağımsız olarak "stili" etkili bir şekilde temsil eder. *

Ağ ağırlıklarının güncellendiği standart model eğitiminden farklı olarak , NST ağ ağırlıklarını dondurur ve kayıp fonksiyonları en aza indirilene kadar giriş görüntüsünün piksel değerlerini günceller .

Gerçek Dünya Uygulamaları

Başlangıçta sanatsal filtreler oluşturmak için popüler hale gelen NST, daha geniş yapay zeka alanında estetiğin ötesinde pratik bir kullanıma sahiptir. .

• Veri Artırma: Geliştiriciler, NST'yi kullanarak sağlam modellerin eğitimi için sentetik veriler oluşturabilirler. Örneğin, gündüz sürüş görüntülerine çeşitli hava koşulları (yağmur, sis, gece) uygulamak, otonom araç sistemlerinin milyonlarca gerçek dünya örneği toplamaya gerek kalmadan çeşitli çevre koşullarıyla başa çıkabilmesi için eğitilmesine yardımcı olabilir. .
• Yaratıcı Araçlar ve Tasarım: NST, modern fotoğraf düzenleme yazılımları ve mobil uygulamaların özelliklerini güçlendirerek kullanıcıların anında sanatsal filtreler uygulamasını sağlar. Profesyonel tasarımda, 3D modelleme ve sanal ortamlar için doku aktarımına yardımcı olur.

Diğer Üretken Kavramlarla İlişkisi

Nöral Stil Aktarımını, Ultralytics ünde bulunan diğer görüntü oluşturma tekniklerinden ayırmak önemlidir: Ultralytics :

• NST ve Generative Adversarial Networks (GANs): NST genellikle belirli bir çift girdiye (bir içerik, bir stil) dayalı olarak tek bir görüntüyü optimize eder ve genellikle görüntü başına daha yavaştır. Buna karşılık, GAN'lar tüm alanlar arasındaki eşleşmeyi öğrenir (örneğin, tüm atları zebralara dönüştürür) ve eğitildikten sonra neredeyse anında görüntüler üretebilir.
• NST ve Transfer Öğrenimi: Her ikisi de önceden eğitilmiş ağları kullanmakla birlikte, transfer öğrenimi yeni bir görevi gerçekleştirmek için modelin ağırlıklarının ince ayarını içerir (örneğin, sınıflandırıcıyı detect için kullanmak gibi). NST, önceden eğitilmiş modeli yalnızca piksel değerlerinin değiştirilmesini yönlendirmek için bir özellik çıkarıcı olarak kullanır .

Özellik Çıkarma Uygulaması

NST'nin özü, önceden eğitilmiş bir modeli yükleyerek iç özellik katmanlarına erişmektir. YOLO26 gibi modern nesne algılayıcılar algılama hızı ve doğruluğu açısından optimize edilmiş olsa da , VGG-19 gibi mimariler, özel özellik hiyerarşileri nedeniyle stil aktarımı için standart olmaya devam etmektedir.

Aşağıdaki PyTorch örneği, NST'nin özellik çıkarma aşamasında backbone kullanılan bir model backbone nasıl yükleneceğini göstermektedir:

import torchvision.models as models

# Load VGG19, a standard backbone for Neural Style Transfer
# We use the 'features' module to access the convolutional layers
vgg = models.vgg19(weights=models.VGG19_Weights.DEFAULT).features

# Freeze parameters: NST updates the image pixels, not the model weights
for param in vgg.parameters():
    param.requires_grad = False

print("VGG19 loaded. Ready to extract content and style features.")

Stil aktarımı ile zenginleştirilmiş veri kümelerini yönetmek veya aşağı akış algılama modellerini eğitmek isteyen kullanıcılar için Ultralytics , veri kümesi açıklaması, sürüm oluşturma ve model dağıtımı için merkezi bir ortam sağlar.