Markov-Entscheidungsprozess (MDP)

Schlüsselkomponenten eines MDP

Ein MDP wird in der Regel durch mehrere Schlüsselkomponenten definiert:

• Zustände (S): Eine Reihe von möglichen Situationen oder Konfigurationen, in denen sich der Agent befinden kann. Bei einer Roboternavigationsaufgabe kann ein Zustand zum Beispiel die Position des Roboters in einem Gitter darstellen.
• Handlungen (A): Eine Reihe von Möglichkeiten, die dem Agenten in jedem Zustand zur Verfügung stehen. Welche Aktionen zur Verfügung stehen, kann vom aktuellen Zustand abhängen. Für den Roboter könnten die Aktionen "nach Norden gehen", "nach Süden gehen", "nach Osten gehen", "nach Westen gehen" sein.
• Übergangswahrscheinlichkeiten (P): Definiert die Wahrscheinlichkeit, von einem Zustand (s) in einen anderen Zustand (s') zu gelangen, nachdem eine bestimmte Handlung (a) ausgeführt wurde. Damit wird die Ungewissheit in der Umgebung erfasst; eine Aktion führt möglicherweise nicht immer zu dem beabsichtigten Ergebnis. Wenn ein Roboter zum Beispiel versucht, sich nach Norden zu bewegen, besteht eine kleine Chance, dass er ausrutscht und an der gleichen Stelle bleibt oder leicht vom Kurs abweicht.
• Belohnungen (R): Ein numerischer Wert, den der Agent erhält, wenn er aufgrund einer Aktion (a) vom Zustand (s) in den Zustand (s') wechselt. Belohnungen zeigen an, wie gut oder schlecht ein bestimmter Übergang oder Zustand ist. Das Ziel ist in der Regel, die Gesamtbelohnung im Laufe der Zeit zu maximieren. Das Erreichen eines Zielortes kann eine große positive Belohnung bringen, während das Auftreffen auf ein Hindernis eine negative Belohnung nach sich ziehen kann.
• Abzinsungsfaktor (γ): Ein Wert zwischen 0 und 1, der die Bedeutung zukünftiger Gewinne im Vergleich zu unmittelbaren Gewinnen bestimmt. Ein niedriger Abzinsungsfaktor gibt kurzfristigen Gewinnen den Vorrang, während ein höherer Wert den langfristigen Erfolg betont.

Ein entscheidender Aspekt von MDPs ist die Markov-Eigenschaftdie besagt, dass der zukünftige Zustand und die Belohnung nur vom aktuellen Zustand und der aktuellen Aktion abhängen, nicht aber von der Abfolge der Zustände und Aktionen, die zum aktuellen Zustand geführt haben.

Wie MDPs in KI und maschinellem Lernen funktionieren

Im Kontext des maschinellen Lernens (ML) bilden MDPs die Grundlage für die meisten Reinforcement Learning Algorithmen. Das Ziel eines MDPs ist es, eine optimale Strategie (π) zu finden. Dabei handelt es sich um eine Strategie oder Regel, die dem Agenten sagt, welche Aktion er in jedem Zustand ausführen soll, um seine erwartete kumulierte diskontierte Belohnung zu maximieren.

Algorithmen wie Q-Learning, SARSA und Policy-Gradient-Methoden wurden entwickelt, um MDPs zu lösen, oft ohne explizite Kenntnis der Übergangswahrscheinlichkeiten oder Belohnungsfunktionen, sondern durch Interaktion mit der Umwelt. In dieser Interaktionsschleife beobachtet der Agent den aktuellen Zustand, wählt eine Aktion auf der Grundlage seiner Strategie, erhält eine Belohnung und wechselt entsprechend der Dynamik der Umgebung in einen neuen Zustand. Dieser Prozess wiederholt sich und ermöglicht es dem Agenten, seine Strategie schrittweise zu verfeinern. Dieses Lernparadigma unterscheidet sich deutlich vom überwachten Lernen (Lernen aus markierten Daten) und vom unüberwachten Lernen (Finden von Mustern in unmarkierten Daten).

Anwendungen in der realen Welt

MDPs und die RL-Techniken, mit denen sie gelöst werden, haben zahlreiche praktische Anwendungen:

• Robotik: Training von Robotern für komplexe Aufgaben wie Navigation in unbekanntem Terrain, Objektmanipulation oder Fließbandarbeit. Der Roboter lernt die beste Abfolge von Aktionen, um sein Ziel zu erreichen, während er mit physikalischen Unwägbarkeiten umgeht. Hier erfährst du, wie Computer Vision in die Robotik integriert wird.
• Autonome Systeme: Optimierung des Verhaltens von autonomen Fahrzeugen, z. B. die Entscheidung, wann sie die Spur wechseln oder wie sie sicher und effizient durch Kreuzungen fahren(KI in selbstfahrenden Autos).
• Finanzen: Entwicklung von algorithmischen Handelsstrategien, bei denen ein Agent auf der Grundlage von Marktzuständen optimale Kauf-/Verkaufsstrategien erlernt, oder Optimierung von Anlageportfolios(AI in Finance Blog).
• Ressourcenmanagement: Optimierung von Entscheidungen in Bereichen wie Bestandskontrolle, Energieverteilung in Smart Grids(KI im Energieblog) oder dynamische Kanalzuweisung in drahtlosen Netzwerken.
• Spiele spielen: Training von KI-Agenten, um komplexe Brettspiele (wie Go oder Schach) oder Videospiele auf übermenschlichem Niveau zu spielen, wie z.B. DeepMinds AlphaGo.

Beziehung zu anderen Konzepten

Es ist sinnvoll, MDPs von verwandten Konzepten zu unterscheiden:

• Reinforcement Learning (RL): RL ist ein Bereich des maschinellen Lernens, der sich damit beschäftigt, wie Agenten durch Versuch und Irrtum optimale Verhaltensweisen erlernen. MDPs bilden den formalen mathematischen Rahmen, der das Problem definiert, das RL-Algorithmen lösen sollen. Deep Reinforcement Learning kombiniert RL mit Deep Learning (DL), um komplexe, hochdimensionale Zustandsräume zu bearbeiten.
• Hidden Markov Models (HMM): HMMs sind statistische Modelle, die verwendet werden, wenn man davon ausgeht, dass das zu modellierende System ein Markov-Prozess mit unbeobachteten (verborgenen) Zuständen ist. Im Gegensatz zu MDPs geht es bei HMMs in erster Linie darum, verborgene Zustände aus Beobachtungen abzuleiten, und sie beinhalten in der Regel keine Aktionen oder Belohnungen für Entscheidungen.
• Dynamische Programmierung: Techniken wie Value Iteration und Policy Iteration, die MDPs lösen können, wenn das Modell (Übergänge und Belohnungen) bekannt ist, basieren auf den Prinzipien der dynamischen Programmierung.

Bei der Entwicklung von Lösungen auf der Grundlage von MDPs werden häufig RL-Bibliotheken verwendet, die auf Frameworks wie PyTorch oder TensorFlow. Zur Verwaltung der Experimente und des Modelltrainings können Plattformen wie Ultralytics HUB eingesetzt werden, um die Arbeitsabläufe von KI-Projekten zu optimieren. Eine effektive Modellbewertung ist entscheidend, um die Leistung der erlernten Strategie zu beurteilen.