Föderiertes Lernen

Kernkonzepte des föderierten Lernens

Federated Learning funktioniert über einen iterativen Prozess, der normalerweise von einem zentralen Server oder Koordinator gesteuert wird:

1. Initialisierung: Der zentrale Server startet mit einem anfänglichen globalen Modell (z. B. einem generischen Ultralytics YOLO Modell für die Objekterkennung).
2. Verteilung: Dieses globale Modell wird an eine Auswahl von Client-Geräten (z. B. Mobiltelefone, lokale Server) gesendet.
3. Lokales Training: Jedes Client-Gerät trainiert das empfangene Modell anhand seiner eigenen lokalen Daten. Da diese Daten das Gerät nie verlassen, bleibt die Privatsphäre gewahrt. Bei diesem Schritt werden die lokalen Rechenressourcen genutzt.
4. Update-Übertragung: Anstatt Rohdaten zu senden, senden die Clients nur die aktualisierten Modellparameterweights and biases) oder berechnete Gradienten an den zentralen Server. Techniken wie die sichere Aggregation und die differentielle Privatsphäre können hier für zusätzliche Sicherheit eingesetzt werden.
5. Aggregation: Der zentrale Server aggregiert die Aktualisierungen der teilnehmenden Clients (z. B. durch Mittelung der Gewichte), um das gemeinsame globale Modell zu verbessern.
6. Iteration: Die Schritte 2-5 werden so lange wiederholt, bis das globale Modell das gewünschte Leistungsniveau erreicht hat. Dies wird oft anhand von Standardkennzahlen bewertet, die in Leitfäden wie YOLO Performance Metrics beschrieben werden.

Dieses Verfahren ermöglicht es dem globalen Modell, aus einer Vielzahl von Daten zu lernen, die über viele Standorte verteilt sind, ohne die Privatsphäre der Nutzer/innen zu gefährden. Weitere Hintergründe zum Thema Federated Learning findest du unter Forschung und Anwendungen.

Föderiertes Lernen vs. Verteilte Ausbildung

Federated Learning beinhaltet das Training auf mehreren Rechnern, unterscheidet sich aber deutlich vom traditionellen Distributed Training:

• Datenverteilung: Bei der verteilten Schulung wird davon ausgegangen, dass die Daten zentral gesammelt und dann (oft identisch und unabhängig, oder IID) auf Knotenpunkte in einer kontrollierten Umgebung wie einem Rechenzentrum verteilt werden. Beim föderierten Lernen wird davon ausgegangen, dass die Daten von Anfang an dezentralisiert sind und oft nicht identisch sind, da die Daten in der realen Welt je nach Nutzer oder Standort variieren.
• Datenschutz: Die Wahrung der Privatsphäre ist ein grundlegendes Ziel von Federated Learning. Das Hauptziel des verteilten Lernens ist in der Regel Skalierbarkeit und Geschwindigkeit, während der Datenschutz während des Lernprozesses selbst weniger im Vordergrund steht.
• Netzwerk und Hardware: Federated Learning muss mit unzuverlässigen Netzwerkverbindungen und heterogenen Hardware-Fähigkeiten der Client-Geräte umgehen, während verteiltes Training oft auf Netzwerken mit hoher Bandbreite und einheitlicherer Hardware läuft.

Anwendungen des föderierten Lernens

Federated Learning ist besonders wertvoll in Szenarien, in denen die Daten sensibel, groß oder von Natur aus verteilt sind:

• Gesundheitswesen: Training von Diagnosemodellen für Aufgaben wie die medizinische Bildanalyse über mehrere Krankenhäuser hinweg, ohne sensible Patientendaten auszutauschen. So können robustere Modelle erstellt werden, indem verschiedene Patientendaten genutzt werden, während gleichzeitig strenge Datenschutzbestimmungen wie HIPAA eingehalten werden. Sieh dir Beispiele in Federated Learning for Healthcare Informatics an und erkunde verwandte KI-Lösungen im Gesundheitswesen.
• Mobile Geräte: Verbesserung von geräteinternen Funktionen wie Textvorhersagetastaturen (z. B. Google Gboard), Erkennung von Sprachassistentenbefehlen oder personalisierten Empfehlungen durch das Trainieren von Modellen direkt auf den Telefonen der Nutzer/innen, ohne dass persönliche Daten oder der Kommunikationsverlauf auf zentrale Server hochgeladen werden.
• Finanzen: Erkennung von betrügerischen Transaktionen durch Training von Modellen auf Transaktionsdaten verschiedener Banken, ohne dass die Banken vertrauliche Kundendaten weitergeben müssen.
• Industrielles IoT: Entwicklung von vorausschauenden Wartungsmodellen für Maschinen auf der Grundlage von Sensordaten aus verschiedenen Fabriken oder Standorten, ohne potenziell proprietäre Betriebsdaten zu zentralisieren.

Vorteile von föderalem Lernen

• Verbesserter Datenschutz: Die Rohdaten bleiben auf dem Client-Gerät lokalisiert, was die Risiken für den Datenschutz deutlich reduziert.
• Geringere Kommunikationslast: Die Übertragung von Modellaktualisierungen ist in der Regel weit weniger bandbreitenintensiv als die Übertragung ganzer Datensätze.
• Lernen in Echtzeit: Modelle können potenziell häufiger aktualisiert werden, indem die neuesten lokalen Daten auf Edge-Geräten verwendet werden.
• Nutzung vielfältiger Daten: Ermöglicht den Zugang zu größeren, vielfältigeren Datensätzen, die aus rechtlichen, ethischen oder logistischen Gründen nicht zentralisiert werden können, und reduziert so möglicherweise Overfitting.

Herausforderungen des föderierten Lernens

Trotz seiner Vorteile steht Federated Learning vor einigen Hürden:

• Effiziente Kommunikation: Die Koordinierung und Zusammenführung von Aktualisierungen von möglicherweise Tausenden oder Millionen von Geräten kann langsam und komplex sein, insbesondere bei begrenzter Bandbreite oder unzuverlässigen Verbindungen.
• Heterogenität der Systeme: Client-Geräte unterscheiden sich stark in Bezug auf die Rechenleistung (CPU/GPU), Speicher, Netzwerkanbindung und Stromverfügbarkeit.
• Statistische Heterogenität: Die Daten auf den Geräten sind in der Regel nicht IID (nicht identisch und unabhängig verteilt), was das globale Modell verzerren oder die Konvergenz verlangsamen kann.
• Sicherheitsprobleme: Während der Datenschutz verbessert wird, kann das System selbst anfällig für Angriffe auf Modellaktualisierungen oder potenzielle Sicherheitslücken auf dem zentralen Server sein. Die Gewährleistung der allgemeinen Datensicherheit bleibt entscheidend.
• Kundenmanagement: Die Auswahl geeigneter Kunden, die Verwaltung der Teilnahme und der Umgang mit Aussteigern sind logistische Herausforderungen.

Frameworks wie TensorFlow Federated und Bibliotheken von Organisationen wie OpenMined versuchen, einige dieser Herausforderungen zu meistern. Federated Learning ist zwar komplex, aber eine vielversprechende Richtung für den Aufbau groß angelegter, datenschutzfreundlicher KI-Systeme. Plattformen wie Ultralytics HUB erleichtern den gesamten Lebenszyklus der Modellbereitstellung und -verwaltung und können Modelle, die mit föderierten Ansätzen entwickelt wurden, mit einbeziehen. Innerhalb des Ultralytics kannst du verschiedene Optionen für die Modellbereitstellung erkunden. Die Kombination von FL mit anderen Techniken wie Active Learning ist ebenfalls ein aktuelles Forschungsthema, wie im Blogbeitrag Active Learning beschleunigt die Entwicklung von Computer Visionen beschrieben.