TPU Tensor İşleme Birimi)

Tensor Birimi (TPU), Google tarafından makine öğrenimi (ML) iş yüklerini hızlandırmak için özel olarak tasarlanmış, uygulamaya özel entegre devre (ASIC) dir. Geniş bir yelpazede bilgi işlem görevlerini yerine getiren genel amaçlı işlemcilerin aksine, TPU'lar sinir ağlarının temelini oluşturan devasa matris işlemlerini optimize etmek için sıfırdan tasarlanmıştır. Bu özel odaklanma, TPU'ların olağanüstü yüksek verim ve enerji verimliliği elde etmesini sağlar ve onları, özellikle Google ekosisteminde, modern yapay zeka (AI) altyapısının temel taşı haline getirir. TPU'lar, karmaşık modellerin eğitimi ve gerçek zamanlı çıkarımların büyük ölçekte çalıştırılması için gereken süreyi azaltmada hayati bir rol oynar.

Mimari ve İşlevsellik

TPU mimarisi, geleneksel işlemcilerden önemli ölçüde TPU . Standart bir CPU Merkezi İşlem Birimi) sıralı görevlerde ve karmaşık mantıkta üstünlük sağlarken, GPU Grafik İşlem Birimi) grafikler ve genel hesaplamalar için paralel çekirdekler kullan TPU ise sistolik dizi mimarisi TPU . Bu tasarım, verilerin her işlem için belleğe erişmeden binlerce çarpan üzerinden aynı anda akmasını sağlar. Hesaplama yoğunluğunu en üst düzeye çıkararak ve gecikmeyi en aza indirerek, TPU'lar derin öğrenme (DL) uygulamalarında bulunan ağır doğrusal cebir için benzersiz bir şekilde uygundur. .

Bu özel donanım, aşağıdaki gibi çerçeveler için büyük ölçüde optimize edilmiştir TensorFlow gibi çerçeveler için büyük ölçüde optimize edilmiştir ve PyTorchtarafından giderek daha fazla desteklenmektedir. Bu sayede geliştiriciler, kod tabanlarını tamamen yeniden yazmadan büyük temel modelleri eğitebilir veya verimli uç çözümleri uygulayabilirler.

İşleme Birimlerini Ayırt Etme

Donanım ortamını anlamak, makine öğrenimi operasyonlarını (MLOps) optimize etmek için çok önemlidir. .

• CPU: Bilgisayarın genel amaçlı "beyni" , sıralı işleme, veri ön işleme ve karmaşık mantık işlemleri için idealdir. Genellikle veri artırma boru hatları için kullanılır, ancak ağır matris matematiği için daha yavaştır .
• GPU: Başlangıçta görüntü işleme için tasarlanan GPU'lar, çok yönlülükleri ve büyük paralellikleri nedeniyle model eğitimi için endüstri standardıdır. Ultralytics gibi esnek modellerin eğitimi için mükemmeldirler.
• TPU: tensor esnekliği ham hızla takas eden, özel olarak tasarlanmış bir hızlandırıcıdır. Özellikle sinir ağı hesaplamaları için FLOPS'u (saniye başına kayan nokta işlemleri) en üst düzeye çıkarmak üzere tasarlanmıştır ve genellikle belirli büyük ölçekli iş yükleri için üstün watt başına performans sağlar.

Gerçek Dünya Uygulamaları

TPU'lar, devasa bulut kümelerinden küçük uç cihazlara kadar çeşitli ortamlarda kullanılır.

1. Büyük Dil Modeli Eğitimi: Google , PaLM ve Gemini gibi devasa büyük dil modellerini (LLM) eğitmek için TPU olarak bilinen, birbirine bağlı devasa kümeler Google . Bu sistemler, geleneksel donanımların ihtiyacı olan sürenin çok daha azında petabaytlarca eğitim verisini işleyebiliyor ve bu sayede üretken yapay zeka alanındaki gelişmeleri hızlandırıyor.
2. Edge AI ve IoT: Coral Edge TPU, bu hızlanmayı düşük güç tüketen cihazlara getiriyor. Üretim hattında nesne algılama çalıştırarak kusurları yerel olarak tespit etmek gibi verimli bilgisayar görme (CV) uygulamalarını mümkün kılıyor. Bu, bulut bağlantısına bağlı kalmadan anında karar vermeyi mümkün kılıyor ve bant genişliğini ve gizliliği koruyor.

Ultralytics ile TPU'ları kullanma

Geliştiriciler, özellikle bulut eğitimi için Ultralytics kullanırken veya kenar dağıtımı için modelleri dışa aktarırken Ultralytics için TPU kullanabilirler. Örneğin Edge TPU, modellerin mimarisi için özel olarak nicelendirilmesini ve derlenmesini gerektirir. Geliştiriciler, kenar dağıtımı için modellerin kenar cihazlarında çalıştırılmasını sağlamak için bu tür niceleme ve derleme işlemlerini gerçekleştirmelidir.

Aşağıdaki örnek, YOLO26 modelini TFLite aktarmanın nasıl yapıldığını göstermektedir. Bu, Edge TPU için derleme yapmadan önce gerekli bir adımdır :

from ultralytics import YOLO

# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)

Dışa aktarıldıktan sonra, model Edge TPU TPU Edge TPU için daha da derlenebilir, böylece Coral USB Accelerator ile Raspberry Pi gibi cihazlarda verimli bir şekilde çalışabilir. Dağıtımla ilgili daha fazla ayrıntı için, TFLite belgelerini incelemek çok yararlı olabilir. TFLite belgelerini incelemek çok