Hidden Markov Model (HMM)

Kernkonzepte

HMMs werden durch zwei wesentliche stochastische (zufällige) Prozesse definiert:

1. Verborgene Zustände: Eine zugrunde liegende, nicht beobachtbare Markov-Kette von Zuständen. Das System wechselt zwischen diesen verborgenen Zuständen nach bestimmten Wahrscheinlichkeiten. Die Kernannahme ist die Markov-Eigenschaft: Die Wahrscheinlichkeit des Übergangs in den nächsten Zustand hängt nur vom aktuellen Zustand ab, nicht von der Abfolge der vorherigen Zustände.
2. Beobachtbare Emissionen: Jeder verborgene Zustand erzeugt eine beobachtbare Ausgabe oder Emission, die auf einer bestimmten Wahrscheinlichkeitsverteilung basiert. Diese Emissionen sind die Daten, die wir tatsächlich beobachten.

Das Modell ist gekennzeichnet durch:

• Zustände: Eine endliche Menge von versteckten Zuständen.
• Beobachtungen: Eine endliche Menge von möglichen Emissionen oder Beobachtungen.
• Übergangswahrscheinlichkeiten: Die Wahrscheinlichkeiten, von einem verborgenen Zustand in einen anderen zu wechseln.
• Emissionswahrscheinlichkeiten: Die Wahrscheinlichkeiten, eine bestimmte Emission zu beobachten, wenn sich das System in einem bestimmten verborgenen Zustand befindet.
• Anfangszustandsverteilung: Die Wahrscheinlichkeiten, dass das System in jedem verborgenen Zustand startet.

Wie Hidden Markov Modelle funktionieren

Bei der Arbeit mit HMMs geht es in der Regel um drei grundlegende Probleme, die oft mit speziellen Algorithmen angegangen werden, die in Tutorials wie dem von Rabiner beschrieben werden:

1. Auswertungsproblem: Wie hoch ist die Wahrscheinlichkeit, dass ein HMM und eine Folge von Beobachtungen durch das Modell erzeugt wurden? (Gelöst mit dem Forward-Algorithmus).
2. Dekodierungsproblem: Wie lautet die wahrscheinlichste Abfolge von verborgenen Zuständen, die zu diesen Beobachtungen geführt haben, wenn ein HMM und eine Folge von Beobachtungen gegeben sind? (Gelöst mit dem Viterbi-Algorithmus).
3. Lernproblem: Wie können wir bei einer Folge von Beobachtungen (oder mehreren Folgen) die HMM-Parameter (Übergangs- und Emissionswahrscheinlichkeiten) anpassen, um die beobachteten Daten bestmöglich zu berücksichtigen? (Diese Aufgabe wird oft mit dem Baum-Welch-Algorithmus gelöst, einer Variante des Erwartungs-Maximierungs-Algorithmus). Dies ist entscheidend für das Training des Modells.

Anwendungen in der realen Welt

HMMs wurden bereits in zahlreichen Bereichen erfolgreich eingesetzt:

• Spracherkennung: Dies ist eine klassische Anwendung. Ausgeblendete Zustände können Phoneme (Grundeinheiten des Klangs) darstellen, während Beobachtungen akustische Merkmale sind, die aus dem Sprachsignal extrahiert werden. Das HMM dekodiert die wahrscheinlichste Abfolge von Phonemen aus dem Audiosignal und bildet so die Grundlage für die Erkennung von Wörtern. Tools wie CMU Sphinx haben sich in der Vergangenheit stark auf HMMs verlassen.
• Bioinformatik: HMMs werden häufig für die Sequenzanalyse verwendet. Bei der Gensuche können die versteckten Zustände zum Beispiel kodierende Regionen, nicht kodierende Regionen oder bestimmte Genstrukturen (wie Startcodons, Exons, Introns) darstellen. Die Beobachtungen sind die DNA-Basenpaare (A, C, G, T). Das Modell hilft dabei, Genorte innerhalb einer langen DNA-Sequenz zu identifizieren. Software wie HMMER verwendet Profil-HMMs für die Proteinsequenzanalyse und vergleicht Sequenzen mit Datenbanken wie der NCBI Gendatenbank.
• Natürliche Sprachverarbeitung (NLP): Wird für Aufgaben wie das Part-of-Speech-Tagging verwendet, bei dem verborgene Zustände grammatikalische Tags (Substantiv, Verb, Adjektiv) und Beobachtungen die Wörter in einem Satz sind. Wird auch bei der Named Entity Recognition (NER) eingesetzt.
• Computer Vision (CV): Wird bei der Gestenerkennung, der Aktivitätserkennung aus Videos und manchmal auch bei der Objektverfolgung eingesetzt, obwohl sie oft von Methoden wie Kalman-Filtern oder Deep-Learning-Ansätzen abgelöst wird.
• Finanzen: Modellierung von Marktregimen (z.B. Bullen- und Bärenmärkte) als verborgene Zustände auf der Grundlage beobachtbarer Finanzindikatoren.
• Medizinische Bildanalyse: Die Analyse von Sequenzen medizinischer Bilder oder Signale im Zeitverlauf.

Vergleich mit verwandten Konzepten

Es ist wichtig, HMMs von anderen Sequenzmodellen zu unterscheiden:

• Markov Decision Processes (MDPs): Während beide Zustände und Übergänge beinhalten, gehen MDPs davon aus, dass die Zustände vollständig beobachtbar sind, und konzentrieren sich auf die Entscheidungsfindung (das Finden optimaler Aktionen) im Rahmen des Reinforcement Learning (RL). HMMs konzentrieren sich darauf, verborgene Zustände aus Beobachtungen abzuleiten. Ressourcen wie die Einführungsmaterialien von DeepMind behandeln RL und MDPs.
• Rekurrente Neuronale Netze (RNNs) und Long Short-Term Memory (LSTMs): Dies sind Deep Learning (DL) -Modelle, die ebenfalls für sequentielle Daten entwickelt wurden. Im Gegensatz zu den expliziten probabilistischen Zuständen von HMMs behalten RNNs/LSTMs einen internen verborgenen Zustandsvektor, der sich implizit entwickelt, während sie Sequenzen verarbeiten. Sie können komplexere und weitreichendere Abhängigkeiten erfassen und erreichen oft eine höhere Genauigkeit bei Aufgaben wie maschineller Übersetzung und fortgeschrittener Spracherkennung. Das Verständnis von LSTMs bietet einen guten Überblick. Moderne Bildverarbeitungsmodelle wie Ultralytics YOLO verwenden DL-Architekturen, die oft mit Frameworks wie PyTorch oder TensorFlowfür Aufgaben wie Objekterkennung und Instanzsegmentierung.

Während neuere Deep-Learning-Methoden oft State-of-the-Art-Ergebnisse erzielen, bleiben HMMs aufgrund ihrer Interpretierbarkeit (explizite Zustände und Wahrscheinlichkeiten) und Effektivität wertvoll, insbesondere wenn die Trainingsdaten begrenzt sind oder Fachwissen in die Modellstruktur einfließen kann. Das Verständnis grundlegender Konzepte wie HMMs bietet einen wertvollen Kontext in der breiteren ML-Landschaft, selbst wenn man Plattformen wie Ultralytics HUB nutzt, die in erster Linie die Entwicklung und den Einsatz von DL-Modellen wie YOLOv8 oder YOLO11.