Öz Dikkat

Öz Dikkat Nasıl Çalışır?

Öz-dikkatin arkasındaki temel fikir, insanların bağlamlarını göz önünde bulundurarak bilginin belirli kısımlarına odaklanma yeteneğini taklit etmektir. Örneğin bir cümleyi okurken, bir kelimenin anlamı genellikle onu çevreleyen kelimelere bağlıdır. Self-attention, bir yapay zeka modelinin bir girdi dizisi içindeki tüm öğeler (kelimeler veya görüntü yamaları gibi) arasındaki ilişkileri değerlendirmesini sağlar. Her bir öğe için dizideki diğer tüm öğelere göre 'dikkat puanları' hesaplar. Bu puanlar, belirli bir öğe için bir çıktı temsili oluştururken her bir öğenin ne kadar 'dikkat' veya ağırlık alması gerektiğini belirler ve modelin bağlamı ve uzun menzilli bağımlılıkları anlamak için girdinin en alakalı kısımlarına odaklanmasına etkili bir şekilde izin verir. Bu süreç, her bir girdi öğesi için genellikle girdi katıştırmalarından türetilen sorgu, anahtar ve değer temsillerinin oluşturulmasını içerir.

Temel Avantajlar

Kendi kendine dikkat, eski dizi işleme tekniklerine göre çeşitli avantajlar sunar:

• Uzun Menzilli Bağımlılıkları Yakalama: Yerel özelliklere odaklanan Evrişimli Sinir Ağlarının (CNN'ler) veya kaybolan gradyanlar gibi sorunlar nedeniyle uzun dizilerle mücadele edebilen Tekrarlayan Sinir Ağlarının (RNN 'ler) aksine, öz dikkat, dizideki birbirinden uzak öğeler arasındaki ilişkileri doğrudan modelleyebilir.
• Paralelleştirme: Farklı öğeler arasında öz dikkat hesaplamaları paralel olarak gerçekleştirilebilir, bu da RNN'lerin doğası gereği sıralı olan yapısına kıyasla eğitim ve çıkarımda önemli hızlanmalara yol açar. Bu verimlilik, ImageNet gibi büyük veri kümeleri üzerinde büyük modelleri eğitmek için çok önemlidir.
• Geliştirilmiş Bağlamsal Anlama: Modeller, girdinin tüm parçalarının alaka düzeyini tartarak bağlamsal açıdan daha zengin temsiller oluşturabilir ve karmaşık görevlerde performansı artırabilir.

Öz Dikkat ve Geleneksel Dikkat

Her ikisi de dikkat mekanizmaları şemsiyesi altına girse de, öz dikkat geleneksel dikkatten önemli ölçüde farklıdır. Geleneksel dikkat tipik olarak iki farklı dizinin unsurları arasındaki dikkat puanlarını hesaplar, örneğin makine çevirisi sırasında bir kaynak cümledeki kelimeleri hedef cümledeki kelimelerle ilişkilendirmek gibi. Bununla birlikte, kendi kendine dikkat, girdinin öğelerini aynı girdinin diğer öğeleriyle ilişkilendirerek tek bir dizi içindeki dikkat puanlarını hesaplar. Bu dahili odaklanma, girdinin yapısı ve bağlamının derinlemesine anlaşılmasını gerektiren görevlerdeki etkinliğinin anahtarıdır.

Yapay Zeka Uygulamaları

Öz-dikkat, çeşitli alanlardaki birçok son teknoloji model için temeldir:

• Doğal Dil İşleme (NLP): Makine çevirisi (örneğin, zamirleri cümlenin başındaki öncüllerine göre doğru şekilde çevirme), metin özetleme (en göze çarpan cümleleri belirleme) ve soru yanıtlama gibi görevler için BERT ve GPT-4 gibi modelleri güçlendirmek.
• Bilgisayarla Görme: Küresel görüntü bağlamını anlayarak Görüntü Dönüştürücüler'in (ViT ) görüntü sınıflandırmada en yüksek performansı elde etmesini sağlar. gibi nesne algılama modellerinde de kullanılır. RT-DETR ve içindeki varyantlar Ultralytics YOLO ailesi (örneğin, YOLO12'deki alan dikkati), işlemeyi ilgili görüntü bölgelerine odaklamak için. Diğer uygulamalar arasında görüntü segmentasyonu ve tıbbi görüntü analizi yer alır.
• Konuşma Tanıma: Ses dizisinin ilgili kısımlarına odaklanarak modellerin konuşulan dili anlama becerisini geliştirmek.

Gelecekteki Yönelimler

Araştırmalar, daha fazla hesaplama verimliliği (örneğin, FlashAttention ve seyrek dikkat varyantları gibi yöntemler) ve daha geniş uygulanabilirlik hedefleyerek kendi kendine dikkat mekanizmalarını iyileştirmeye devam etmektedir. YZ modellerinin karmaşıklığı arttıkça, kendi kendine dikkatin bir köşe taşı teknolojisi olarak kalması ve özel YZ uygulamalarından Yapay Genel Zeka (AGI) arayışına kadar alanlarda ilerleme sağlaması beklenmektedir. Ultralytics HUB gibi araçlar ve platformlar, bu gelişmiş teknikleri içeren modellerin eğitimini ve dağıtımını kolaylaştırır.