Parametereffiziente Feinabstimmung (PEFT)

Wie funktioniert PEFT?

Das Kernprinzip von PEFT besteht darin, gezielte, minimale Änderungen an einem vorab trainierten Modell vorzunehmen. Anstatt jeden Parameter zu aktualisieren, führen PEFT-Methoden eine kleine Menge trainierbarer Parameter ein oder wählen eine winzige Teilmenge der vorhandenen Parameter aus, die während des Trainings aktualisiert werden. Es handelt sich dabei um eine Form des Transfer-Lernens, die auf Effizienz optimiert ist. Es gibt mehrere gängige PEFT-Methoden, die jeweils eine andere Strategie verfolgen:

• LoRA (Low-Rank Adaptation): Bei dieser Technik werden kleine, trainierbare Matrizen mit niedrigem Rang in die Schichten des vortrainierten Modells injiziert, häufig innerhalb des Aufmerksamkeitsmechanismus. Diese "Adapter"-Matrizen sind wesentlich kleiner als die ursprünglichen Gewichtsmatrizen, was das Training schnell und effizient macht. Das ursprüngliche LoRA-Forschungspapier enthält weitere technische Details.
• Prompt-Abstimmung: Anstatt die Architektur des Modells zu verändern, bleibt das Modell bei dieser Methode vollständig eingefroren und lernt eine Reihe von "Soft Prompts" oder trainierbaren Einbettungsvektoren. Diese Vektoren werden der Eingabesequenz hinzugefügt, um die Ausgabe des Modells für eine bestimmte Aufgabe zu steuern, wie in der Grundlagenarbeit beschrieben.
• Adapter-Abstimmung: Bei dieser Methode werden kleine, vollständig verbundene Module des neuronalen Netzes, so genannte "Adapter", zwischen die Schichten des vortrainierten Modells eingefügt. Nur die Parameter dieser neuen Adapter werden trainiert.

Diese und andere Methoden sind über Rahmenwerke wie die Hugging Face PEFT-Bibliothek weithin zugänglich, was ihre Implementierung vereinfacht.

PEFT vs. Verwandte Konzepte

Es ist wichtig, PEFT von anderen Modellanpassungsstrategien zu unterscheiden:

• Vollständige Feinabstimmung: Im Gegensatz zu PEFT werden bei der vollständigen Feinabstimmung alle Gewichte eines vorab trainierten Modells aktualisiert. Dies ist ressourcenintensiv und erfordert einen leistungsstarken Grafikprozessor und einen großen Speicherplatz für jede feinabgestimmte Modellversion.
• Eingabeaufforderungstechnik: Bei dieser Technik werden effektive textbasierte Prompts manuell entworfen, um das Verhalten eines Modells zu steuern. Es geht dabei nicht um Training oder Parameteraktualisierungen, sondern lediglich darum, die Eingabe so zu gestalten, dass ein eingefrorenes Modell den gewünschten Output liefert.
• Wissensdestillation: Dabei wird ein kleineres "Schüler"-Modell trainiert, das das Verhalten eines größeren, vorab trainierten "Lehrermodells" nachahmt. Dadurch entsteht zwar ein kleineres Modell, aber der Prozess selbst kann immer noch sehr rechenintensiv sein.

Anwendungen in der realen Welt

PEFT ermöglicht die praktische Anwendung von großen Modellen in verschiedenen Bereichen:

• Verarbeitung natürlicher Sprache (NLP): Ein Unternehmen kann PEFT nutzen, um ein Allzweckmodell wie GPT-4 oder BERT anzupassen, um einen spezialisierten Chatbot für seine interne Wissensdatenbank zu erstellen. Anstelle einer kostspieligen vollständigen Umschulung können sie eine Methode wie LoRA verwenden, um dem Modell unternehmensspezifische Terminologie und Verfahren beizubringen, was zu genaueren Antworten für den Kundendienst oder den internen Support führt. Forschungsgruppen wie die Stanford NLP Group erforschen diese Art von Anwendungen.
• Computer Vision (CV): PEFT kann große Bildverarbeitungsmodelle wie Vision Transformers (ViT) oder Ultralytics YOLO-Modelle für spezifische visuelle Erkennungsaufgaben anpassen. So kann beispielsweise ein Modell, das zuvor auf dem breiten COCO-Datensatz trainiert wurde, mit PEFT für die präzise Objekterkennung einzigartiger Defekte bei der Qualitätskontrolle in der Fertigung, für die Durchführung spezieller Bildsegmentierungen bei der medizinischen Bildanalyse oder für die Identifizierung bestimmter Tierarten in Kamerafallen zum Schutz von Wildtieren angepasst werden. Plattformen wie Ultralytics HUB können bei der Verwaltung dieser angepassten Modelle und Experimente helfen.

Die parameter-effiziente Feinabstimmung macht hochmoderne KI-Modelle vielseitiger und kosteneffizienter in der Anpassung, wodurch der Zugang zu leistungsstarken KI-Funktionen für eine Vielzahl spezifischer Anwendungen demokratisiert wird.