Öz-İlgi (Self-Attention)

Öz dikkat, derin öğrenmede modellerin bir girdi dizisi içindeki farklı öğelerin birbirlerine göre önemini ölçmelerini sağlayan temel bir mekanizmadır. Verileri sırayla işleyen veya yalnızca yerel komşuluklara odaklanan geleneksel mimarilerin aksine, öz dikkat, bir sinir ağının tüm bağlamı aynı anda incelemesine olanak tanır. Bu yetenek, sistemlerin bir cümledeki kelimeler veya bir görüntüdeki farklı bölgeler gibi verilerin uzak kısımları arasındaki karmaşık ilişkileri tanımlamasına yardımcı olur. Bu, üretken yapay zeka ve modern algılama sistemlerinde büyük ilerlemeler sağlayan Transformer mimarisinin temel yapı taşıdır. Bu, üretken yapay zeka ve modern algılama sistemlerinde büyük ilerlemeler sağlayan Transformer mimarisinin temel yapı taşıdır.

Öz-Dikkat Nasıl Çalışır

Mekanizma, her bir girdi özelliğine genellikle "dikkat puanı" olarak adlandırılan bir ağırlık atayarak bilişsel odağı taklit eder. Bu puanları hesaplamak için model, genellikle gömülü olaraktemsil edilen girdi verilerini üç farklı vektöre dönüştürür: Sorgu, Anahtar ve Değer.

• Sorgu (Q): Dizinin geri kalanından ilgili bağlamı arayan mevcut öğeyi temsil eder.
• Anahtar (K): Sorgunun eşleştiği dizideki her öğe için etiket veya tanımlayıcı görevi görür. .
• Değer (V): Toplanacak öğenin gerçek bilgi içeriğini içerir.

Model, uyumluluğu belirlemek için bir öğenin Sorgusunu diğer tüm öğelerin Anahtarlarıyla karşılaştırır. Bu uyumluluk puanları, olasılık benzeri ağırlıklar oluşturmak için bir softmax fonksiyonu kullanılarak normalleştirilir. Bu ağırlıklar daha sonra Değerlere uygulanarak bağlam açısından zengin bir temsil oluşturur. Bu süreç, Büyük Dil Modelleri (LLM'ler) ve görme sistemlerinin önemli bilgilere öncelik verirken gürültüyü filtrelemesini sağlar.

Gerçek Dünya Uygulamaları

Öz-dikkatin çok yönlülüğü, yapay zeka (AI) alanının çeşitli alanlarında yaygın olarak benimsenmesine yol açmıştır. Yapay zeka (AI).

• Doğal Dil İşleme (NLP): Makine çevirisi gibi görevlerde, öz dikkat, zamirleri referanslarına bağlayarak belirsizliği giderir. Örneğin, "Hayvan çok yorgun olduğu için caddeyi geçmedi" cümlesinde model, öz dikkat özelliğini kullanarak "o" kelimesini "cadde" yerine "hayvan" ile güçlü bir şekilde ilişkilendirir. Bu bağlamsal farkındalık, Google gibi araçlara güç sağlar.
• Küresel Görüntü Bağlamı: Bilgisayar Görme (CV) alanında, Vision Transformer (ViT) gibi mimariler görüntüleri parçalara ayırır ve sahneyi küresel olarak anlamak için kendi kendine dikkat uygular. Bu, nesneyi tanımlamanın çevresini anlamaya dayandığı karmaşık ortamlarda nesne algılama için hayati önem taşır.

İlgili Terimleri Ayırt Etme

Benzer kavramlarla birlikte sıklıkla tartışılsa da, bu terimlerin farklı teknik tanımları vardır:

• Dikkat Mekanizması: Modellerin belirli veri parçalarına odaklanmasını sağlayan geniş bir teknik kategorisi. Bir modelin bir diziyi (kod çözücü çıktısı gibi) kullanarak farklı bir diziyi (kodlayıcı girdisi gibi) sorguladığı Çapraz Dikkat'i kapsar.
• Öz Dikkat: Sorgu, Anahtar ve Değerin tümünün aynı girdi dizisinden kaynaklandığı belirli bir dikkat türüdür. Tek bir veri kümesi içindeki iç bağımlılıkları öğrenmek için tasarlanmıştır.
• Flash Dikkat: Stanford Üniversitesi araştırmacıları tarafından geliştirilen ve matematiksel çıktıyı değiştirmeden GPU'larda öz dikkat hesaplamasını önemli ölçüde daha hızlı ve daha bellek verimli hale getiren bir optimizasyon algoritması. .

Kod Örneği

Aşağıdaki Python , nasıl kullanılacağını göstermektedir. RTDETR, Transformer tabanlı bir nesne algılayıcıdır ve içerir ultralytics paket. Standart evrişimli ağların aksine, bu model görsel özellikleri işlemek için büyük ölçüde öz dikkat mekanizmasına dayanmaktadır.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

Evrim ve Gelecekteki Etkisi

Öz-dikkat, önceki Tekrarlayan Sinir Ağlarını (RNN'ler) engelleyen kaybolan gradyan sorununu etkili bir şekilde çözdü ve büyük temel modellerin eğitimini mümkün kıldı. Son derece etkili olmasına rağmen, standart öz-dikkatin hesaplama maliyeti, dizi uzunluğu ile birlikte karesel olarak artar. Bu sorunu çözmek için, mevcut araştırmalar verimli doğrusal dikkat mekanizmalarına odaklanmaktadır.

Ultralytics , bu gelişmeleri CNN'lerin hızını bağlamsal dikkat gücüne birleştiren YOLO26 gibi son teknoloji modellere Ultralytics üstün gerçek zamanlı çıkarımUltralytics . Bu optimize edilmiş modeller, Ultralytics aracılığıyla kolayca eğitilebilir ve dağıtılabilir, böylece yeni nesil akıllı uygulamalar geliştiren geliştiriciler için iş akışını kolaylaştırır.