Größe der Charge

Die Rolle der Chargengröße beim Modelltraining

Während des Trainings lernt ein neuronales Netz (NN), indem es seine Gewichte auf der Grundlage des Fehlers, den es macht, anpasst. Diese Anpassung wird durch einen Optimierungsalgorithmus wie den Gradientenabstieg gesteuert. Die Stapelgröße bestimmt, wie viele Beispiele das Modell "sieht", bevor es den Gradienten berechnet und eine Aktualisierung der Gewichte vornimmt.

• Stochastischer Gradientenabstieg (SGD): Wenn die Losgröße 1 beträgt, wird der Prozess als stochastischer Gradientenabstieg bezeichnet. Der Gradient wird für jede einzelne Probe berechnet, was zu häufigen, aber verrauschten Aktualisierungen führt.
• Batch-Gradientenabstieg: Wenn die Stapelgröße gleich der Gesamtzahl der Stichproben im Trainingsdatensatz ist, spricht man von Batch-Gradientenabstieg. Diese Methode liefert eine sehr genaue Gradientenschätzung, ist aber rechenintensiv und speicherintensiv.
• Mini-Batch-Gradientenabstieg: Dies ist der gängigste Ansatz, bei dem die Stapelgröße auf einen Wert zwischen 1 und der Gesamtgröße des Datensatzes (z. B. 32, 64, 128) gesetzt wird. Er bietet ein Gleichgewicht zwischen der Stabilität des Batch-Gradientenabstiegs und der Effizienz des stochastischen Gradientenabstiegs.

Die Wahl der Stapelgröße beeinflusst den Trainingsprozess erheblich. Eine größere Stapelgröße liefert eine genauere Schätzung des Gradienten, aber die Rechenkosten für jede Aktualisierung sind höher. Umgekehrt führt eine kleinere Stapelgröße zu weniger genauen Gradientenschätzungen, ermöglicht aber schnellere Aktualisierungen.

Auswahl der richtigen Chargengröße

Die Ermittlung der optimalen Stapelgröße ist ein entscheidender Teil der Abstimmung der Hyperparameter und hängt vom Datensatz, der Modellarchitektur und der verfügbaren Hardware ab.

• Große Stapelgrößen: Wenn mehr Daten auf einmal verarbeitet werden, können die Parallelverarbeitungsfähigkeiten von GPUs voll genutzt werden, was zu schnelleren Trainingszeiten pro Epoche führt. Die Forschung hat jedoch gezeigt, dass sehr große Stapel manchmal zu einer "Generalisierungslücke" führen können, bei der das Modell bei den Trainingsdaten gut abschneidet, bei ungesehenen Daten jedoch schlecht. Außerdem benötigen sie viel Speicherplatz, was ein einschränkender Faktor sein kann.
• Kleine Stapelgrößen: Diese benötigen weniger Speicherplatz und führen oft zu einer besseren Modellgeneralisierung, da das Rauschen in den Gradientenaktualisierungen dem Modell helfen kann, lokale Minima zu umgehen und eine robustere Lösung zu finden. Dies kann dazu beitragen, eine Überanpassung zu verhindern. Der Hauptnachteil besteht darin, dass das Training langsamer ist, da die Gewichtungsaktualisierungen häufiger erfolgen und weniger Daten parallel verarbeitet werden.

Für viele Anwendungen werden Stapelgrößen empfohlen, die Zweierpotenzen sind (z. B. 32, 64, 128, 256), da sie oft gut mit GPU-Speicherarchitekturen zusammenpassen. Tools wie Ultralytics HUB ermöglichen ein einfaches Experimentieren mit verschiedenen Stapelgrößen beim Training von Modellen.

Stapelgröße beim Training vs. Inferenz

Während die Stapelgröße ein zentrales Konzept beim Training ist, gilt sie auch für die Inferenz, allerdings mit einem anderen Zweck. Bei der Inferenz wird die Stapelverarbeitung verwendet, um mehrere Eingaben (z. B. Bilder oder Sätze) gleichzeitig zu verarbeiten und den Durchsatz zu maximieren. Dies wird oft als Batch-Inferenzierung bezeichnet.

Für Anwendungen, die sofortige Ergebnisse erfordern, wie z. B. Echtzeit-Inferenz in einem autonomen Fahrzeug, wird eine Stapelgröße von 1 verwendet, um die Inferenzlatenz zu minimieren. In Offline-Szenarien, z. B. bei der Verarbeitung einer großen Sammlung von Bildern über Nacht, kann eine größere Stapelgröße verwendet werden, um die Effizienz zu verbessern.

Anwendungen in der realen Welt

1. Analyse medizinischer Bildgebung: Beim Training eines YOLO11-Modells für die Tumorerkennung in medizinischen Bildern sind die Bilder oft hochauflösend. Aufgrund von Speicherbeschränkungen auf einem Grafikprozessor wird normalerweise eine kleine Stapelgröße (z. B. 4 oder 8) verwendet. Dadurch kann das Modell auf Daten mit hoher Detailgenauigkeit trainiert werden, ohne dass der verfügbare Speicherplatz überschritten wird, was ein stabiles Training gewährleistet.
2. Qualitätskontrolle in der Fertigung: Im Rahmen der künstlichen Intelligenz in der Fertigung könnte ein Modell trainiert werden, um Fehler an einem Fließband zu erkennen. Bei einem großen Datensatz mit Millionen von Produktbildern kann eine größere Losgröße (z. B. 256 oder 512) auf einem leistungsstarken verteilten Trainingscluster verwendet werden. Dies beschleunigt den Trainingsprozess und ermöglicht eine schnellere Iteration und Bereitstellung des Modells.

Chargengröße vs. verwandte Begriffe

Es ist wichtig, die Losgröße von anderen verwandten Konzepten zu unterscheiden:

• Stapelgröße vs. Epoche und Iteration: Eine Iteration ist eine Aktualisierung der Gewichte des Modells. Eine Epoche ist ein vollständiger Durchlauf durch den gesamten Trainingsdatensatz. Die Anzahl der Iterationen in einer Epoche ist die Gesamtzahl der Trainingsmuster geteilt durch die Stapelgröße.
• Stapelgröße vs. Stapel-Normalisierung: Die Chargennormalisierung (BatchNorm) ist eine Technik, die innerhalb einer neuronalen Netzwerkschicht verwendet wird, um die Eingaben für jede Mini-Charge zu standardisieren. Ihre Effektivität kann zwar von der Stapelgröße beeinflusst werden (sie funktioniert besser bei größeren Stapeln), aber sie ist eine eigene Schicht in der Modellarchitektur und kein Parameter der Trainingsschleife. Die meisten modernen Deep-Learning-Frameworks wie PyTorch und TensorFlow bieten robuste Implementierungen.