TPU (Tensor Processing Unit)

Wie TPUs funktionieren

TPUs sind für die Bewältigung der massiven Berechnungen ausgelegt, die für KI-Modelle erforderlich sind. Ihre Architektur ist in hohem Maße für die wichtigste mathematische Operation in neuronalen Netzen optimiert: die Matrixmultiplikation. Im Gegensatz zu Mehrzweckprozessoren konzentrieren sich TPUs auf durchsatzstarke Arithmetik mit geringer Genauigkeit, was für die Art von Deep-Learning-Modellen gut geeignet ist. Durch die parallele Verarbeitung riesiger Datenmengen können sie die für das Modelltraining und die Echtzeit-Inferenz benötigte Zeit erheblich verkürzen. Am häufigsten wird auf sie über die Google Cloud Platform zugegriffen und sie sind eng mit ML-Frameworks wie TensorFlow und PyTorch integriert.

Anwendungen in der realen Welt

TPUs spielen eine wichtige Rolle bei einigen der anspruchsvollsten KI-Anwendungen, die heute verfügbar sind.

1. Training großer Sprachmodelle (LLMs): Google verwendet große Cluster von TPUs, die als TPU Pods bekannt sind, um seine fortschrittlichsten Basismodelle zu trainieren, einschließlich der Modelle hinter der Suchmaschine und der Konversations-KI wie Gemini. Die massive parallele Rechenleistung der TPU-Pods ermöglicht es ihnen, Modelle mit Billionen von Parametern in einem Bruchteil der Zeit zu trainieren, die auf anderer Hardware erforderlich wäre.
2. Antrieb für Google-Dienste: TPUs werden in zahlreichen Google-Produkten für Inferenzen verwendet. So ermöglichen sie beispielsweise in Google Fotos eine schnelle Bilderkennung für die Suche nach Personen, Objekten und Szenen. In ähnlicher Weise unterstützen sie die Echtzeitübersetzung in Google Translate und werden für die Spracherkennung im Google Assistant verwendet. DeepMind nutzte TPUs auch für das Training von AlphaGo, der KI, die den weltbesten Go-Spieler besiegte.

TPUs vs. GPUs vs. CPUs

TPUs, GPUs und CPUs sind zwar allesamt Prozessoren, aber sie sind für sehr unterschiedliche Zwecke konzipiert.

• CPU (Central Processing Unit): Das "Gehirn" eines Computers, das für allgemeine Aufgaben konzipiert ist. Eine CPU zeichnet sich dadurch aus, dass sie eine Vielzahl von Befehlen sequentiell verarbeiten kann, was sie für die Ausführung von Betriebssystemen und Standardsoftware unverzichtbar macht, aber weniger effizient für die massiven parallelen Berechnungen in der KI.
• GPU (Graphics Processing Unit): Die Architektur eines Grafikprozessors, der ursprünglich für das Rendering von Grafiken entwickelt wurde, enthält Tausende von Kernen, die ihn für die parallele Verarbeitung sehr effektiv machen. GPUs von Unternehmen wie NVIDIA und AMD bieten ein hervorragendes Gleichgewicht zwischen Leistung und Flexibilität, was sie für Trainingsmodelle wie Ultralytics YOLO11 so beliebt macht.
• TPU: Ein hochspezialisierter Beschleuniger, der von Google speziell für neuronale Netzwerke entwickelt wurde. Eine TPU ist zwar weniger flexibel als ein Grafikprozessor für allgemeine Berechnungen, bietet aber eine bessere Leistung pro Watt für umfangreiche Tensor-Operationen. Dies macht sie zu einer ausgezeichneten Wahl für die Bereitstellung und das Training umfangreicher Modelle, insbesondere bei Verwendung des Cloud-Ökosystems von Google.

Die Rolle der TPUs im Ultralytik-Ökosystem

Ultralytics-Benutzer können TPUs nutzen, um ihre Computer-Vision-Projekte zu beschleunigen. Modelle können in TPU-kompatible Formate exportiert werden, wie z. B. TensorFlow Lite für Googles Edge TPU. Dies ermöglicht einen hocheffizienten Einsatz auf Edge-Geräten wie dem Coral Dev Board. Für umfangreiche Trainingsaufgaben können Plattformen wie Ultralytics HUB das Training auf verschiedenen Cloud-Computing-Ressourcen orchestrieren, so dass Benutzer die Leistung von TPUs für ihre benutzerdefinierten Datensätze nutzen können. Diese Integration erleichtert den gesamten Lebenszyklus von MLOps, von der Schulung bis zur Bereitstellung und Überwachung.