Edge AI ve NVIDIA'nın Jetson, Triton ve TensorRT gibi yeniliklerinin bilgisayarla görme uygulamalarının dağıtımını nasıl basitleştirdiğini keşfedin.
Bilgisayarlı gör ü ve yapay zeka (AI) alanındaki son gelişmeler sayesinde, bir zamanlar sadece bir araştırma alanı olan bu alan artık çeşitli sektörlerde etkili uygulamalara yol açıyor. Sürücüsüz araçlardan tıbbi görüntüleme ve güvenliğe kadar, bilgisayarla görme sistemleri gerçek sorunları büyük ölçekte çözüyor.
Bu uygulamaların çoğu görüntü ve videoların gerçek zamanlı olarak analiz edilmesini içerir ve gecikme, maliyet ve gizlilik endişeleri nedeniyle bulut bilişime güvenmek her zaman pratik değildir. Edge AI bu durumlarda harika bir çözümdür. İşletmeler, Vision AI modellerini doğrudan uç cihazlarda çalıştırarak verileri daha hızlı, daha uygun maliyetli ve daha fazla güvenlikle işleyebilir ve gerçek zamanlı AI'yı daha erişilebilir hale getirebilir.
Ultralytics tarafından düzenlenen yıllık hibrit etkinlik YOLO Vision 2024 (YV24) sırasında ana temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hale getirerek Vision AI' yı demokratikleştirmekti. NVIDIA Kıdemli Çözüm Mimarı Guy Dahan, NVIDIA'nın uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zeka dağıtım SDK'ları dahil olmak üzere donanım ve yazılım çözümlerinin geliştiricilerin uçta yapay zekayı optimize etmelerine nasıl yardımcı olduğunu tartıştı.
Bu makalede Guy Dahan'ın YV24 açılış konuşmasından önemli çıkarımları ve NVIDIA'nın en son yeniliklerinin Vision AI dağıtımını nasıl daha hızlı ve ölçeklenebilir hale getirdiğini inceleyeceğiz.
Guy Dahan konuşmasına YV24'e sanal olarak katılmaktan duyduğu heyecanı ve Ultralytics Python paketi ile Ultraalytics YOLO modellerine duyduğu ilgiyi dile getirerek başladı ve şunları söyledi: " Ultralytics 'i çıktığı günden beri kullanıyorum. Ultralytics 'i gerçekten seviyorum - YOLOv5 'i ondan önce de kullanıyordum ve bu paketin gerçek bir tutkunuyum."
Ardından, Edge AI kavramını tanıtarak, verilerin işlenmek üzere uzaktaki bulut sunucularına gönderilmesi yerine yapay zeka hesaplamalarının doğrudan kameralar, dronlar veya endüstriyel makineler gibi cihazlarda çalıştırılmasını içerdiğini açıkladı.
Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla birlikte geri gönderilmesini beklemek yerine Edge AI, verilerin cihazın kendisinde anında analiz edilmesini mümkün kılar. Bu da Vision AI sistemlerini daha hızlı, daha verimli ve internet bağlantısına daha az bağımlı hale getiriyor. Edge AI özellikle sürücüsüz otomobiller, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamaları için kullanışlıdır.
Guy Dahan, Edge AI'ı tanıttıktan sonra, verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak ana avantajlarını vurguladı. En büyük avantajlardan birinin düşük gecikme süresi olduğunu açıkladı - AI modelleri verileri doğrudan cihaz üzerinde işlediğinden, buluta bilgi göndermeye ve yanıt beklemeye gerek yoktur.
Edge AI ayrıca maliyetleri düşürmeye ve hassas verileri korumaya yardımcı olur. Büyük miktarda veriyi, özellikle de video akışlarını buluta göndermek pahalı olabilir. Ancak yerel olarak işlenmesi bant genişliği ve depolama maliyetlerini azaltır.
Bir diğer önemli avantaj ise veri gizliliğidir çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalır. Bu, verilerin yerel ve güvenli tutulmasının en önemli öncelik olduğu sağlık, finans ve güvenlik uygulamaları için özellikle önemlidir.
Guy Dahan, bu avantajlardan yola çıkarak Edge Yapay Zekanın giderek daha fazla benimsenmesi hakkında yorumda bulundu. NVIDIA 'nın 2014 yılında Jetson'u tanıtmasından bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.
Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış bir yapay zeka uç bilişim cihazları ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarla görme uygulamaları için idealdir. "Jetsonlar, yapay zeka için özel olarak üretilmiş Edge AI cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayarla görme için tasarlandıklarını da ekleyebilirim," diye ekledi Guy Dahan.
Jetson cihazları, her biri farklı ihtiyaçlara uygun üç kademeden oluşuyor:
Ayrıca Guy Dahan, bu yıl piyasaya sürülecek olan Jetson AGX Thor hakkında bilgi verdi ve sekiz kat daha fazla GPU (Grafik İşlem Birimi) performansı, iki kat daha fazla bellek kapasitesi ve gelişmiş CPU (Merkezi İşlem Birimi) performansı sunacağını söyledi. Özellikle insansı robotik ve gelişmiş Edge AI uygulamaları için tasarlanmıştır.
Guy Dahan daha sonra Edge AI'nin yazılım tarafını tartışmaya geçti ve güçlü donanımlarla bile modelleri verimli bir şekilde dağıtmanın zor olabileceğini açıkladı.
Yapay zeka geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı yapay zeka çerçeveleriyle çalıştığından, en büyük engellerden biri uyumluluktur. Bu çerçeveler arasında geçiş yapmak zor olabilir ve geliştiricilerin her şeyin doğru çalıştığından emin olmak için ortamları yeniden oluşturmalarını gerektirir.
Ölçeklenebilirlik bir diğer önemli zorluktur. YZ modelleri önemli ölçüde bilgi işlem gücü gerektiriyor ve Dahan'ın da belirttiği gibi, "Daha az bilgi işlem isteyen bir YZ şirketi hiç olmadı." YZ uygulamalarını birden fazla cihaza genişletmek hızla pahalı hale gelebilir ve bu da optimizasyonu gerekli kılar.
Ayrıca, yapay zeka işlem hatları karmaşıktır ve genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girmesini sağlamak için çok çaba harcarlar. Bu zorlukların üstesinden gelmek, yapay zeka dağıtımlarını daha verimli ve ölçeklenebilir hale getirmenin çok önemli bir parçasıdır.
Ardından Guy Dahan dikkatini NVIDIA'nın Triton Çıkarım Sunucusuna çevirdi. Birçok şirketin ve startup'ın modellerini tam olarak optimize etmeden yapay zeka geliştirmeye başladığına dikkat çekti. Tüm bir yapay zeka işlem hattını sıfırdan yeniden tasarlamak yıkıcı ve zaman alıcı olabilir, bu da verimli bir şekilde ölçeklendirmeyi zorlaştırır.
Triton , komple bir sistem revizyonu gerektirmek yerine, geliştiricilerin mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre ederek yapay zeka iş akışlarını kademeli olarak iyileştirmelerine ve optimize etmelerine olanak tanır. TensorFlow, PyTorch, ONNX ve TensorRT dahil olmak üzere birden fazla yapay zeka çerçevesini destekleyen Triton , bulut ortamları, veri merkezleri ve uç cihazlar arasında minimum ayarlamalarla sorunsuz dağıtım sağlar.
NVIDIA'nın Triton Çıkarım Sunucusunun bazı önemli avantajları şunlardır:
Diyelim ki daha da fazla hızlandırma istiyorsunuz; NVIDIA TensorRT yapay zeka modellerinizi optimize etmek için ilginç bir seçenektir. Guy Dahan, TensorRT 'nin NVIDIA GPU'lar için geliştirilmiş yüksek performanslı bir derin öğrenme iyileştiricisi olduğunu belirtti. TensorFlow, PyTorch, ONNX ve MXNet modelleri, TensorRT kullanılarak yüksek verimli GPU tarafından GPU dosyalara GPU.
TensorRT 'yi bu kadar güvenilir yapan şey, donanıma özel optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model, diğer GPU'larda o kadar verimli çalışmayacaktır çünkü TensorRT , hedef donanıma göre performansa ince ayar yapar. İnce ayarlı bir bilgisayarla görme modeli, optimize edilmemiş modellere kıyasla çıkarım hızında 36 kata kadar artış sağlayabilir.
Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek bunun yapay zeka modeli dağıtımını nasıl daha hızlı ve verimli hale getirdiğinden bahsetti. Ultralytics YOLO modelleri doğrudan TensorRT formatına aktarılabilir ve geliştiricilerin herhangi bir değişiklik yapmasına gerek kalmadan bunları NVIDIA GPU'ları için optimize etmesine olanak tanır.
Guy Dahan, NVIDIA GPU'ları kullanarak video, ses ve sensör verilerinin gerçek zamanlı işlenmesi için tasarlanmış bir yapay zeka çerçevesi olan DeepStream 7.0 'ı tanıttı. Yüksek hızlı bilgisayarla görme uygulamalarını desteklemek üzere tasarlanan DeepStream 7.0, otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirlerde nesne algılama, izleme ve analitiğe olanak tanıyor. Yapay zekayı doğrudan uç cihazlarda çalıştıran DeepStream, bulut bağımlılığını ortadan kaldırarak gecikme süresini azaltır ve verimliliği artırır.
Özellikle DeepStream, yapay zeka destekli video işlemeyi baştan sona gerçekleştirebilir. Video kod çözme ve ön işlemeden yapay zeka çıkarımına ve işleme sonrasına kadar uçtan uca iş akışlarını destekler.
Son zamanlarda DeepStream, yapay zeka dağıtımını geliştirmek, daha erişilebilir ve ölçeklenebilir hale getirmek için çeşitli güncellemeler sundu. Yeni araçlar geliştirmeyi basitleştiriyor, çoklu kamera takibini iyileştiriyor ve daha iyi performans için yapay zeka işlem hatlarını optimize ediyor.
Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan gelen verileri entegre etmek için gelişmiş sensör füzyon yeteneklerine ve dağıtımı hızlandırmak için önceden oluşturulmuş referans uygulamalara erişime sahip. Bu iyileştirmeler DeepStream'i gerçek zamanlı yapay zeka uygulamaları için daha esnek ve verimli bir çözüm haline getirerek geliştiricilerin akıllı video analitiğini kolaylıkla ölçeklendirmelerine yardımcı oluyor.
Guy Dahan'ın YV24'teki açılış konuşmasında da gösterildiği gibi, Edge AI bilgisayarla görme uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki ilerlemelerle gerçek zamanlı işleme daha hızlı, daha verimli ve uygun maliyetli hale geliyor.
Daha fazla sektör Edge AI'ı benimsedikçe, parçalanma ve dağıtım karmaşıklığı gibi zorlukları ele almak, tam potansiyelini ortaya çıkarmanın anahtarı olacaktır. Bu yeniliklerin benimsenmesi daha akıllı, daha duyarlı yapay zeka uygulamalarını teşvik edecek ve bilgisayarla görmenin geleceğini şekillendirecektir.
Büyüyen topluluğumuzun bir parçası olun! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfedin ve Vision AI projelerinizi başlatmak için lisanslama seçeneklerimize göz atın. Sağlık hizmetlerinde yapay zeka ve üretimde bilgisayarla görme gibi yenilikleri merak ediyor musunuz? Daha fazlasını öğrenmek için çözüm sayfalarımızı ziyaret edin!
Makine öğreniminin geleceği ile yolculuğunuza başlayın
