Ultralytics YOLO modellerini optimize etmeye yardımcı olmak için Sony'nin IMX500 sensör ve AITRIOS platformu ile son teknoloji yapay zeka işleme alanındaki atılımlarını özetlerken bize katılın.
Edge AI, yapay zeka (AI) modellerinin doğrudan akıllı telefonlar, kameralar ve drone'lar gibi cihazlarda çalışmasını sağlar. En önemli avantajı, buluta güvenmeden daha hızlı, gerçek zamanlı karar vermeyi desteklemesidir. Aslında araştırmalar, uç platformlarda yapay zeka kullanmanın operasyonel verimliliği %40'a kadar artırabileceğini gösteriyor.
Uç yapay zeka, özellikle de bilgisayarla görme alanındaki son gelişmeler, Ultralytics'un yapay zeka meraklılarını ve uzmanlarını Vision AI'daki en son gelişmeleri keşfetmek için bir araya getiren yıllık hibrit etkinliği YOLO Vision 2024'te (YV24) ana konu haline geldi. Etkinliğin en önemli noktalarından biri, Sony'nin yeni son teknoloji yapay zeka donanım ve yazılım çözümlerini sergilediği açılış sunumuydu. IMX500 sensör ve AITRIOS platformu öne çıkarıldı ve Sony, bu yeniliklerin Ultralytics YOLO gibi modellerin dağıtımını nasıl daha kolay ve verimli hale getirdiğini gösterdi. Ultralytics YOLO11 ve Ultralytics YOLOv8 kenarda.
Oturum, Sony'nin görüntüleme çözümlerine odaklanan bir İş Geliştirme Müdürü olan Wei Tang ve uç cihazlarda derin öğrenme modellerini dağıtma konusunda uzmanlığa sahip bir Uç Derin Öğrenme Ürün Müdürü olan Amir Servi tarafından yönetildi.
Bu makalede, Sony'nin YV24'teki konuşmasını tekrar ele alacağız ve IMX500 sensör ile AITRIOS platformunun daha hızlı, gerçek zamanlı ve uçta yapay zeka işleme için YOLO modellerinin kullanımını nasıl optimize ettiğini inceleyeceğiz. Hadi başlayalım!
Wei Tang, Sony'nin yıllar önce fotoğrafçılıkta yaptığı gibi uç yapay zekayı erişilebilir hale getirme hedefinden bahsederek oturumu açtı. Sony'nin şu anda uç bilişim aracılığıyla gelişmiş Vision AI' yı daha fazla insana ulaştırmaya nasıl odaklandığını vurguladı. Bunun arkasındaki itici faktörlerden biri, uç yapay zekanın çevre üzerinde yaratabileceği olumlu etki. Uç bilişim, verileri devasa veri merkezleri yerine doğrudan cihazlarda işleyerek enerji kullanımını azaltmaya ve karbon emisyonlarını düşürmeye yardımcı oluyor. Bu, Sony'nin yalnızca daha iyi çalışan değil, aynı zamanda daha sürdürülebilir bir gelecek yaratmaya yardımcı olan teknoloji geliştirme taahhüdüne mükemmel şekilde uyan daha akıllı ve daha çevreci bir yaklaşım.
Wei, Sony'nin görüntüleme ve algılama teknolojilerinde uzmanlaşmış bölümü Sony Semiconductor Solutions'ın gelişmiş görüntü sensörlerini nasıl ürettiğini anlatmaya devam etti. Bu sensörler çeşitli cihazlarda kullanılıyor ve ışığı elektronik sinyallere dönüştürerek görüntü yakalıyor. Her yıl sevk edilen 1,2 milyardan fazla sensörle, dünyadaki cep telefonlarının neredeyse yarısında bulunan bu sensörler, Sony'yi görüntüleme sektöründe önemli bir oyuncu haline getiriyor.
Bu uzmanlığı temel alan Sony, şimdi bu sensörleri görüntü yakalayan cihazlardan verileri gerçek zamanlı olarak işleyebilen akıllı araçlara dönüştürerek işleri daha da ileri götürüyor ve doğrudan cihazlarda yapay zeka destekli içgörüler sağlıyor. Sony'nin bu değişimi desteklemek için kullandığı donanım ve yazılım çözümlerini tartışmadan önce, bu yeniliklerin çözmeyi amaçladığı uç yapay zeka zorluklarını anlayalım.
Uç yapay zeka çözümleri geliştirmek, özellikle kamera ve sensör gibi cihazlarla çalışırken birkaç temel zorlukla birlikte gelir. Bu cihazların çoğu sınırlı güce ve işlem yeteneğine sahiptir, bu da gelişmiş yapay zeka modellerini verimli bir şekilde çalıştırmayı zorlaştırır.
İşte diğer ana sınırlamalardan bazıları:
Sony IMX500 Akıllı Görüş Sensörü, uç yapay zeka işlemede ezber bozan bir donanım parçasıdır. Yonga üzerinde yapay zeka özelliklerine sahip dünyanın ilk akıllı görüş sensörüdür. Bu sensör; veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları gibi uç yapay zeka alanındaki birçok zorluğun üstesinden gelinmesine yardımcı olur.
Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken, IMX500 tüm hikayeyi anlatır. Verileri doğrudan sensör üzerinde işleyerek cihazların gerçek zamanlı olarak içgörü üretmesine olanak tanır. Oturum sırasında Wei Tang şunları söyledi: "Gelişmiş görüntü sensörü teknolojimizden yararlanarak, günlük yaşamı geliştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz." IMX500, cihazların verileri işlenmek üzere buluta göndermesine gerek kalmadan doğrudan sensör üzerinde işleme biçimini dönüştürerek bu hedefi karşılamak üzere tasarlanmıştır.
İşte temel özelliklerinden bazıları:
IMX500 sadece bir kamera sensörü değil, cihazların çevrelerindeki dünyayı algılama ve etkileşim kurma biçimlerini dönüştüren güçlü bir algılama aracıdır. Sony, yapay zekayı doğrudan sensörün içine yerleştirerek otomotiv, sağlık hizmetleri ve akıllı şehirler gibi sektörler için uç yapay zekayı daha erişilebilir hale getiriyor. Sonraki bölümlerde, uç cihazlarda nesne algılamayı ve veri işlemeyi iyileştirmek için IMX500'ün Ultralytics YOLO modelleriyle nasıl çalıştığını daha derinlemesine inceleyeceğiz.
IMX500 sensörünü tanıttıktan sonra Wei Tang, donanımın çok önemli olduğunu ancak uç yapay zeka dağıtımında karşılaşılan zorlukların tamamını ele almak için tek başına yeterli olmadığını ifade etti. Yapay zekayı kamera ve sensör gibi cihazlara entegre etmenin gelişmiş donanımdan daha fazlasını gerektirdiğinden ve bunu yönetmek için akıllı yazılıma ihtiyaç duyulduğundan bahsetti. Sony'nin AITRIOS platformu bu noktada devreye giriyor ve uç cihazlarda yapay zeka dağıtımını daha basit ve verimli hale getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.
AITRIOS, karmaşık yapay zeka modelleri ile uç cihazların sınırlamaları arasında bir köprü görevi görür. Geliştiricilere, önceden eğitilmiş yapay zeka modellerini hızlı bir şekilde dağıtmak için bir dizi araç sağlar. Ancak daha da önemlisi, AI modellerinin gerçek dünyadaki değişikliklere uyarlanabilir kalabilmesi için sürekli yeniden eğitimi destekler.
Wei ayrıca, AITRIOS'un derin yapay zeka uzmanlığına sahip olmayanlar için süreci nasıl basitleştirdiğini ve belirli uç yapay zeka kullanım durumları için yapay zeka modellerini özelleştirme esnekliği sunduğunu vurguladı. Ayrıca, bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukların üstesinden gelerek, doğruluk veya hızdan ödün vermeden yapay zekayı daha küçük cihazlara entegre etmeyi kolaylaştırıyor.
Konuşmanın ikinci bölümünde mikrofon, Sony'nin IMX500 sensöründe YOLO modellerini nasıl optimize ettiğinin teknik yönünü inceleyen Amir'e geçti.
Amir sözlerine şöyle başladı: " Glenn ve ekibi sayesindeYOLO modelleri uç noktalarda kullanılabiliyor ve optimize edilmeleri oldukça kolay. Sizi bu konuda ikna edeceğim, endişelenmeyin." Amir daha sonra, YZ modelinin kendisinin optimize edilmesine çok fazla odaklanılırken, bu yaklaşımın genellikle çok önemli bir sorunu gözden kaçırdığını açıkladı: işlem sonrası darboğazlar.
Amir, birçok durumda, yapay zeka modeli görevini tamamladıktan sonra, bir ana cihazda veri aktarma ve işlem sonrası işlem yapma sürecinin önemli gecikmelere neden olabileceğine dikkat çekti. Cihaz ve ana bilgisayar arasındaki bu ileri geri veri aktarımı, en iyi performansın elde edilmesinde büyük bir engel olabilecek gecikmeye neden olur.
Amir bunun üstesinden gelmek için sadece AI modeline odaklanmak yerine uçtan uca sistemin tamamına bakmanın önemini vurguladı. IMX500 sensörüyle, işlem sonrası sürecin her şeyi yavaşlatan ana darboğaz olduğunu keşfettiler. Asıl atılımın çip üzerinde maksimum olmayan bastırmanın (NMS) kilidini açmak olduğunu paylaştı.
Post prosesin doğrudan sensör üzerinde gerçekleşmesini sağlayarak büyük miktarda verinin bir ana cihaza aktarılması ihtiyacını ortadan kaldırdı. Sony, NMS'yi doğrudan IMX500 üzerinde çalıştırarak Amir'in "post-processing cam tavan" olarak adlandırdığı durumu aştı ve çok daha iyi performans ve gecikme azaltma elde etti.
Daha sonra, bu yeniliğin özellikle YOLO modellerine nasıl yardımcı olduğuna bir göz atacağız. YOLOv8 Nano, uç cihazlarda daha verimli çalışarak daha küçük, kaynak kısıtlı donanımlarda gerçek zamanlı yapay zeka işleme için yeni fırsatlar yaratır.
Konuşmayı büyük bir notla tamamlayan Amir, NMS'yi edge üzerinde çalıştırarak YOLOv8 Nano modelinin performansını nasıl dört katına çıkarabildiklerini gösterdi. Bunu IMX500 AI sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, post-processing işleminin bir ana cihazda ve IMX500 çipinde gerçekleştirildiği durumlardaki performansı karşılaştırdı.
Sonuçlar, işleme çip üzerinde yapıldığında saniye başına kare sayısında (FPS) ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne algılamayı daha hızlı ve pürüzsüz hale getirdi ve ayrıca Raspberry Pi gibi daha küçük, kaynak kısıtlı cihazlarda gerçek zamanlı yapay zeka işlemenin pratikliğini gösterdi.
Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri, uç yapay zeka geliştirmeyi yeniden şekillendiriyor. Çip üzerinde yapay zeka işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Sadece yapay zeka modeline değil, tüm sisteme odaklanan bu yenilikler, uç yapay zekayı geliştiriciler ve derin yapay zeka uzmanlığı olmayanlar için daha erişilebilir hale getiriyor. Uç yapay zeka teknolojisi gelişmeye devam ettikçe, muhtemelen çok çeşitli sektörlerde ve uygulamalarda daha akıllı cihazlar, daha hızlı karar verme ve daha güçlü gizlilik korumaları sağlayacaktır.
Yapay zeka hakkında bilgi edinmeye devam etmek için topluluğumuzla bağlantıda kalın! Tarım ve üretim gibi çeşitli sektörlerde yenilikçi çözümler oluşturmak için yapay zekayı nasıl kullanabileceğimizi keşfetmek için GitHub depomuza göz atın. 🚀
Makine öğreniminin geleceği ile yolculuğunuza başlayın
